Kétségtelen, hogy Dickens beleszeretett Ternanbe. Szenvedélyes leveleket írt neki, amelyek kifejezett szexuális utalásokat tartalmaztak. Egy levelében azt írta, hogy vágyik arra, hogy "megkóstolja azt az érett vörös szájat... felfalja [a] zamatos testét".
Fizikai kapcsolatuk mértéke azonban nem ismert. Egyes életrajzírók úgy vélik, hogy valójában soha nem szexeltek, míg mások azt hiszik, hogy igen.
Az egyértelmű, hogy a kapcsolat végül teherré vált Dickens számára. Bűntudatot érzett amiatt, hogy megcsalta a feleségét, és aggódott a nyilvános botrány miatt.
1858-ban Dickens véget vetett az ügynek, és külföldre küldte Ternan Franciaországba. Néhány évvel később visszatért Angliába, de soha többé nem látta Dickenst.
Ternan maga soha nem beszélt nyilvánosan Dickensszel való kapcsolatáról. Egyik rokona szerint "sírjába vitte".
Bár kapcsolatuk konkrét részleteit soha nem ismerjük meg, kétségtelen, hogy Charles Dickens és Ellen Ternan románca jelentős és végső soron tragikus volt.