A dal szövege kiemeli azt az érzelmi zűrzavart és belső konfliktust, amit a férfi átél. Bevallja, hogy még mindig "minden éjjel és nap" gondol exére, és "nem tud nem csodálkozni", vajon ő is gondol-e rá. Elismeri, hogy tovább kellene lépnie, de úgy találja, hogy nem tudja megtenni, mivel a szíve még mindig hozzá van kötve.
A kórus azt hangsúlyozza, hogy a férfi nem tudja viszonozni azt a szeretetet, amelyet valaki más kínál neki. Azt énekli:"Nem tudlak visszaszeretni, bár nagyon próbálkozol" és "Még mindig ragaszkodom annak szelleméhez, amink volt." Ez arra utal, hogy érzelmileg nem áll készen egy új kapcsolatra, és még mindig felemésztik a volt partnere iránti érzései.
A férfi a dalban végig kifejezi a múlt utáni vágyát és azt a vágyát, hogy újra együtt lehessen az exével. Azt énekli:"Bárcsak visszamehetnék, és visszavonhatnám mindazt, amit tettünk" és "Bárcsak újra a karomban tarthatnálak." Ez arra utal, hogy megbánta a szakítást, és nehezen fogadja el a válásuk valóságát.
Összességében az „I Can't Love You Back” egy megrendítő dal a szívfájdalomról, a veszteségről és a múltbeli kapcsolatból való továbblépés kihívásairól. Megragadja annak érzelmi zűrzavarát és kiszolgáltatottságát, aki még mindig a szakítás következményeivel küzd, és képtelen újra megtalálni a szerelmet.