A babiloni zsidók egy kis csoportja Babilonban maradt a perzsa hódítás után, és később a második templom időszakában fontos szerepet játszottak a zsidó kultúra és vallás fejlődésében. Ebben az időben Babilonban állították össze a babiloni talmudot, a zsidó törvények egyik legfontosabb szövegét.
Az i.sz. 7. században Babilont meghódították az arab muszlimok, és az iszlám világ részévé vált. A város tovább hanyatlott, és a 10. századra nagyrészt elhagyatott volt. Babilon romjai ma Hillah városa közelében hevernek a mai Irak területén.