Connery a skóciai Edinburgh-ben született 1930-ban. Apja gyári munkás volt, anyja háztartási takarítónő volt. Connery 13 évesen otthagyta az iskolát, és tejesemberként kezdett dolgozni. Később csatlakozott a Királyi Haditengerészethez, ahol három évig szolgált.
Connery színészi karrierje az 1950-es évek elején kezdődött, amikor számos kisebb szerepben szerepelt brit filmekben. A nagy áttörés 1962-ben következett be, amikor a Dr. No című filmben James Bond szerepét választották. A film hatalmas sikert aratott, és Connery gyorsan a világ egyik legnépszerűbb színészévé vált.
Connery további hat filmben játszotta tovább James Bondot, köztük a From Russia with Love (1963), a Goldfinger (1964), a Thunderball (1965), a You Only Live Twice (1967), a Diamonds Are Forever (1971) és a Never Say Never Again című filmekben. (1983). Az 1960-as és 1970-es években számos más sikeres filmben is szerepelt, köztük a Nagy szökésben (1963), a Gyilkosság az Orient expresszen (1974) és a The Man Who Should Be King (1975).
Az 1980-as években Connery karrierje hanyatlásnak indult. Számos rosszul fogadott filmben szerepelt, köztük az Outlandben (1981), a Never Say Never Againban (1983) és a The League of Extraordinary Gentlemenben (2003). Mindazonáltal néhány kritikai elismerést kapott a The Untouchables (1987), az Indiana Jones és az utolsó keresztes hadjárat (1989) és a The Rock (1996) című filmekben játszott szerepeiért.
Connery 2006-ban vonult vissza a színészettől. Munkájáért számos díjat kapott, köztük egy Oscar-díjat, két BAFTA-díjat és három Golden Globe-díjat. Erzsébet királynő is lovaggá ütötte 2000-ben.