Sousa 1854-ben született Washingtonban, D.C.-ben. Korán kezdett zenei tanulmányokat folytatni, és nagy tehetségről tett tanúbizonyságot. 1872-ben csatlakozott az Egyesült Államok Tengerészgyalogságához, és gyorsan emelkedett a ranglétrán. 1880-ban a zenekar karmestere volt.
Sousa 35 évig vezette a Marine Bandet, ezalatt számos leghíresebb felvonulását komponálta, köztük a "The Stars and Stripes Forever" és a "Semper Fidelis"-t. Több operettet és egyéb művet is írt.
Sousa 1929-ben visszavonult a Marine Band-től, de 1932-ben bekövetkezett haláláig folytatta a zeneszerzést. Zenéjét a mai napig előadják zenekarok és zenekarok szerte a világon, és minden idők egyik legnagyobb zenekarmestereként tartják számon.