A szüleik Steve Fanning és Heather Joy Arrington .
Közvetlen családján kívül Elle Fanning távoli rokonságban áll Susan Sarandonnal , a család nagyanyja oldalán keresztül.