Íme, amit tudunk:
* Nincs bizonyíték a sportról: Nincsenek történelmi feljegyzések arról, hogy Madison részt vett bármilyen szervezett sportban vagy fizikai tevékenységben.
* Korlátozott szabadidős tevékenységek: Madison életét nagyrészt a politika és a szellemi törekvések emésztették fel. Falánk olvasó volt, lelkes megfigyelője a kormányzásnak, a történelem és a filozófia elkötelezett hallgatója.
* Lovaglás: Bár Madison nem sport, köztudottan szereti a lovaglást, valószínűleg közlekedés és kikapcsolódás céljából.
* Kertészet: Madison a gazdálkodás és a kertészkedés iránt is élénken érdeklődött, gyakran saját birtokát kezelte.
Összefoglalva, James Madison élete az intellektuális törekvésekre és a közszolgálatra összpontosult, kevés bizonyítékkal arra, hogy jelentős sportolási vagy szabadidős hobbiról van szó.