Johnson az Indiana állambeli Indianapolisban született. 11 évesen kezdett harsonán játszani. Tanulmányait az Arthur Jordan Conservatory of Music-ban és az Indiana University School of Music-ban végezte.
Johnson 1942-ben New Yorkba költözött, és gyorsan a város egyik legkeresettebb harsonásává vált. Játszott Charlie Parkerrel, Dizzy Gillespie-vel, Bud Powell-lel és más bebop legendákkal.
Az 1950-es években Johnson elkezdte felfedezni a hard bopot, a jazz egy újabb, agresszívebb stílusát. Számos befolyásos albumot rögzített saját zenekaraival, köztük a "The Eminent Jay Jay Johnson Volume 1" (1954) és a "Jay Jay Johnson with Clifford Brown" (1955).
Johnson az 1960-as és 1970-es években folytatta a turnét és a lemezfelvételeket. Tanított a Berklee College of Music-ban és a Manhattan School of Music-ban is.
Johnson szívrohamban halt meg 2001-ben Indianapolisban. 77 éves volt.
Johnson a harsona mestere volt. Egyedülálló hangja volt, ami azonnal felismerhető volt. Tehetséges improvizátor és zeneszerző is volt. Zenéje számtalan harsonásra hatott világszerte.
Íme néhány Johnson leghíresebb szerzeménye:
* "Siralom"
* "Ezz-thetic"
* "Enigma"
* "Csillagpor"
* "Blue Funk"