Castagne pályafutását a Virtonnál kezdte, ahol 1995-ben debütált profiban. 1997-ben Anderlechtbe költözött, ahol három belga profi liga címet és két belga kupát nyert. 2004-ben csatlakozott a Milanhoz, ahol 2004-ben a Serie A-t, 2007-ben pedig az UEFA Bajnokok Ligáját nyerte meg.
Castagne 1999-ben debütált a belga válogatottban. Hazájában 54 alkalommal lépett pályára, és négy gólt szerzett. Belgiumot képviselte a 2002-es labdarúgó-világbajnokságon és a 2000-es UEFA Európa-bajnokságon.
Miután 2008-ban visszavonult a futballtól, Castagne szakértőként dolgozott a belga televíziónál és rádiónál. Emellett sikeres üzletember, több céget alapított.
2021-ben Castagne bekerült a belga labdarúgó Hírességek Csarnokába.