Op twaalfjarige leeftijd verruilde Agger amateurclubRosenhøj BK voor de jeugdopleiding vanBrøndby IF. Daar werd hij in juli 2004 voor het eerst bij de hoofdmacht gehaald, nadat verdediger Andreas Jakobsson Brøndby de rug toe keerde. In het eerste team van Brøndby groeide hij in het seizoen 2004/05 uit tot een van de basisspelers die de club dat jaar naar deDeense landstitel brachten. Liverpool zag het gebeuren en nam Agger in januari 2006 voor 5,8 miljoen pond over van Brøndby IF. Op 1 februari 2006 maakte hij zijn debuut voor de Engelse club, in de in 1-1 geëindigde thuiswedstrijd tegenBirmingham City FC. Agger zou uiteindelijk acht jaar bij de Engelse club blijven. In 2014 maakte hij bekend terug te keren naar Brøndby. In juni 2016 zette hij een punt achter zijn voetbalcarrière.
Voor zijn vaderland was Agger onder meer actief op hetWK 2010 onder bondscoachMorten Olsen. Hij speelde alle drie de groepswedstrijden van Denemarken van begin tot eind. In het eerste dueltegen Nederland (2-0 verlies) maakte Agger officieel het eerste eigen doelpunt van het toernooi. Een kopbal van ploeggenootSimon Poulsen caramboleerde via zijn rug in het Deense doel.
Agger nam met Denemarken ook deel aan hetEK voetbal 2012 inPolen enOekraïne, waar de selectie van bondscoach Olsen in de groepsfase werd uitgeschakeld. Op de verrassende1-0-overwinning opNederland volgden nederlagen tegenPortugal (2-3) enDuitsland (1-2), waardoor de Denen als derde eindigden in groep B.