Hirt a Louisiana állambeli New Orleans-ban született zenész apa és háztartásbeli anya gyermekeként. Hatéves korában kezdett trombitálni, és középiskolás koráig professzionálisan helyi klubokban játszott. Miután a második világháború alatt az Egyesült Államok haditengerészeténél szolgált, Hirt visszatért New Orleansba, és folytatta zenei karrierjét.
1950-ben Hirt csatlakozott Louis Prima trombitás zenekarához, és több évig turnézott a Primával. 1957-ben Hirt kilépett a Prima együtteséből, és megalapította saját csoportját. Gyorsan a világ egyik legnépszerűbb jazztrombitása lett, és számos slágerlemezt rögzített.
Zenei karrierje mellett Hirt sikeres televíziós személyiség is volt. 1964-től 1968-ig saját varietéműsort vezetett, a "The Al Hirt Show"-t. Számos más televíziós műsorban is szerepelt, köztük a "The Tonight Show Johnny Carson főszereplésével", az "Ed Sullivan Show" és a "The Merv Griffin" Megmutat."
Hirt rákban halt meg 1999-ben New Orleansban. 76 éves volt.