Gloverin musiikkiura alkoiLontoossa, jonne hän oli muuttanut perheensä mukana 10-vuotiaana. Kouluaikaisesta yhtyeestä kehittyi hänen ensimmäinen ammattimainen yhtye,Episode Six, joka julkaisi joitain singlejä, mutta ei kuitenkaan menestynyt mainittavammin. Vuonna1965 yhtyeen laulajaksi tuliIan Gillan, josta tuli Gloverin pitkäaikainen bändikaveri ja joka vaikutti Gloverin uraan merkittävästi.
Hieman jo mainetta saavuttaneen Deep Purplen jäsenet pyysivät Gillania laulajakseen vuonna1969. Gillanin myötävaikutuksesta myös Glover liittyi tuolloin yhtyeeseen, ensin basistiksi äänityssessioon ja sen jälkeen vakinaiseksi jäseneksi.[1] Glover toimi Deep Purplen basistina ja yhtenä lauluntekijänä vuoteen1973 asti. Tuona aikana Deep Purple julkaisi menestyneimmät albuminsa;Deep Purple in Rock jaMachine Head. Gloverin lähdön syynä Deep Purplesta oli yhtyeen kitaristiRitchie Blackmoren halu vaihtaa basisti.[1]
Seuraavina vuosina Glover keskittyi pääasiassa musiikin tuottamiseen, mutta julkaisi myös muutaman sooloalbumin. Vuonna1979 Blackmore pyysi Gloveria aluksi tuottajaksi ja myöhemmin basistiksi aiemmin perustamaansaRainbow -yhtyeeseen. Glover toimi Rainbowssa vuoteen1984 asti, jolloin yhtye hajosi, koska Glover ja Blackmore siirtyivät uudelleen kasattuun Deep Purpleen. Gloverin ura jatkuu edelleen Deep Purplessa.