Míg családja generációk óta Amerikában élt, végül angol származásúak voltak. Apja, Joseph Allen Connecticutban született, de nagyapja Angliából érkezett Amerikába.
Míg Allen családja és élete szorosan kötődött az amerikai gyarmatokhoz, felmenői továbbra is szilárdan Angliában gyökereznek.