A dal refrénje megismétli a "Nem akarom a maradékaidat" sort, kifejezve az énekesnő elutasítását a múltbeli kapcsolat maradványaival szemben, és eltökéltségét, hogy új és teljes jövőt teremtsenek maguknak.
A dalszövegek az énekesnő érzelmi útjáról is képet festenek, ahogy megbékélnek a kapcsolat végével. Leírják, hogy „szellemnek” érzik magukat az életükben, és küzdenek azért, hogy megtalálják helyüket a világban korábbi partnerük nélkül.
A fájdalom és a bizonytalanság ellenére a dal a rugalmasság és a remény érzését sugallja. Az énekes elismeri, hogy még mindig kísértheti őket a múlt, de kifejezi eltökéltségét, hogy továbbmenjenek.
Összességében a "Your Leftovers" egy megrendítő dal a szerelemről, a veszteségről és az új kezdetek kereséséről. Megragadja azokat a nyers érzelmeket és kihívásokat, amelyek egy jelentős kapcsolatból való továbblépéssel járnak.