Dickens 1857-ben ismerkedett meg Ellen Ternannal, amikor ő még csak 18 éves volt, ő pedig 45 éves volt. Ternan színpadi színésznő volt, és Dickenst azonnal lenyűgözte. Titkos viszonyba kezdtek, amely több évig tartott.
Dickens és Ternan nagyon szerelmesek voltak, és azt tervezték, hogy összeházasodnak, miután Dickens elvált feleségétől, Catherine-től. Dickens felesége azonban nem volt hajlandó elválni, így ő és Ternan soha nem tudtak nyíltan együtt lenni.
1865-ben Dickensnek és Ternannek közös gyermekük született, egy fiút, akit Charlesnak hívtak. Dickens nagyon boldog volt, hogy újra apa lehet, és rajongott a fiáért. A felesége azonban tudomást szerzett a gyerekről, és dühös lett. A nő azzal fenyegetőzött, hogy nyilvánosságra hozza az ügyet, és Dickens kénytelen volt szakítani Ternannal.
Dickens és Ternan 1865 után soha többé nem látták egymást. Dickens 1870-ben halt meg, Ternan pedig 1914-ig élt. Soha nem ment férjhez, és soha nem volt más gyermeke.