Rahimić zahájil svou fotbalovou kariéru v regionálním bosenském klubuNK Slaven Živinice, odkud v lednu 1995 přestoupil do prvoligového celkuNK Bosna Visoko. Odtud v lednu 1997 odešel do slovinského týmuNK Interblock Lublaň. V červenci 1998 přestoupil do rakouského klubuSK Vorwärts Steyr. Již v lednu 1999 přišel transfer do ruského týmuAnži Machačkala a v červenci 2001 přestup doCSKA Moskva.[2]
S CSKA získal řadu trofejí, mj. vruské lize,ruském poháru a především vPoháru UEFA v sezóně2004/05.[2] V klubu si také získal přezdívku „Željeznyj“ (železný) díky své stabilní výkonnosti. V roce 2013 se zde stal hrajícím trenérem.[1][3]
V bosenském reprezentačním A-mužstvu debutoval pod trenéremFuadem Muzurovićem 2. června 2007 proti hostujícímuTurecku, kde nastoupil na hřiště v základní sestavě a odehrál kompletní utkání.Bosna a Hercegovina vyhrála tento kvalifikační zápas 3:2.[4]
Obrázky, zvuky či videa k tématuElvir Rahimić na Wikimedia Commons
Pohár UEFA 2004/2005 –PFK CSKA Moskva
