Ta alustas klubikarjääriSheffield Unitedis, mille noorteakadeemiaga liitus ta 1998. aastal. Klubi põhimeeskonnas debüteeris ta hooajal 1999–2000. Seitse esimest hooaega mängis ta Sheffield Unitediga Inglismaa esiliigas, mil hooajal 2005–06 saadi liigas teine koht ja kindlustati pääs kõrgliigasse. Hooaegadel 2003–04 ja 2005–06 valiti Jagielka esiliiga sümboolsesse koosseisu. 2006. aastal valiti ta liiga parimaks mängijaks. Lisaks valiti ta aastatel 2005–2007 kolm korda järjest Sheffield Unitedi aasta mängijaks. Jagielka ainsaks hooajaks Sheffield Unitediga Inglismaa kõrgliigas jäi2006–07, mil langeti napilt liigast välja.
2007. aasta juunis sõlmis ta lepingu kõrgliigas mängiva Evertoniga. Üleminekusumma oli neli miljonit naelsterlingit. Evertonis mängis Jagielka aastatel 2007–2019. 2015. aastal valiti ta Evertoni aasta mängijaks.
Aastatel 2019–2021 mängis ta taas Sheffiled Unitedis. 2021. aasta augustis sõlmis ta poole aasta pikkuse lepinguDerby Countyga. 2022. aasta jaanuaris liitus ta Stoke Cityga.