Joachim csodagyerek volt, és hét évesen debütált. Tanulmányait Stanisław Serwaczyńskinál, majd Ferdinand Davidnél tanulta a lipcsei konzervatóriumban. Zeneszerzést is tanult Moritz Hauptmannnál.
Joachim szólista pályafutása Európa-szerte bejárta, és számos korabeli vezető zenekarral lépett fel. Kamarazenész is volt, és korának számos vezető zenésszel lépett fel, köztük Clara Schumannal, Johannes Brahms-szal és Joseph Hellmesbergerrel, Sr.
Joachim emellett elhivatott tanár volt, 1869 és 1907 között a Bécsi Konzervatóriumban tanított. Ő volt a Joachim Quartet alapítója is, amely a kor egyik leghíresebb vonósnégyese volt.
Joachim nagy hatással volt a hegedűjáték fejlődésére, és tanításai mély hatást gyakoroltak a hegedűsökre szerte a világon. Minden idők egyik legnagyobb hegedűművészeként tartják számon, öröksége a mai napig inspirálja és neveli a zenészeket.