Terrell Philadelphiában, Pennsylvaniában született, és tinédzserként kezdte karrierjét, különböző helyi csoportokban énekelt. 1961-ben leszerződött a Motown Records-szal, és kiadta debütáló szólóját, az "I Can't Believe You Love Me" címet. A dal kisebb sikert aratott, de segített Terrellnek elismerést szerezni a Motown szervezeten belül.
1964-ben Terrell felvette az "Ain't No Mountain High Enough" duettet Marvin Gaye-vel. A dal nagy siker lett, elérte a Billboard Hot 100 toplistájának első helyét és két Grammy-díjat is nyert. Terrell és Gaye folytatta az együttműködést, és több sikeres duettet is kiadtak, köztük a "Your Precious Love", a "You're All I Need to Get By" és az "If I Could Build My Whole World Around You".
1967-ben Terrellnél agyrákot diagnosztizáltak. Megműtötték és kezelték, de a rák 1969-ben visszatért. Terrell Philadelphiában halt meg 1970. március 16-án, 24 évesen.