Costello a New Jersey állambeli Patersonban született olasz bevándorlók gyermekeként. Pályafutását a show-bizniszben tinédzserként kezdte, vaudeville-ben és burleszkben lépett fel. 1936-ban ismerkedett meg Bud Abbottal, és ők ketten egy komikus csapatot alkottak. Gyorsan a világ egyik legnépszerűbb vígjátékává váltak, felléptek éjszakai klubokban, rádiókban és filmekben.
Abbott és Costello komédiáját a pofonegyszerű rutin, Costello magas hangja és eltúlzott arckifejezései jellemezték. Összesen 36 filmben szerepeltek együtt, köztük az "One Night in the Tropics" (1940), a "Buck Privates" (1941) és az "Abbott és Costello Meet Frankenstein" (1948) című filmekben.
Costello egészségi állapota az 1950-es évek elején kezdett romlani, és több szívműtéten esett át. 1959-ben, 52 évesen szívrohamban halt meg.
Korai halála ellenére Costello a 20. század egyik legbefolyásosabb komikusa. Bud Abbotttal végzett munkája segített meghatározni a vígjáték műfaját, és számtalan más komikust inspirált.