W 1982 Völler przybył doWerderu Brema i w tym samym roku zadebiutował w reprezentacji narodowej. W 1987 został sprzedany doAS Roma, z którym zdobyłPuchar Włoch w 1991.
W 1992 Völler przeszedł do francuskiego potentataOlympique Marsylia. Tam zdobył najważniejsze klubowe trofeumPuchar Mistrzów w 1993. Po powrocie doNiemiec grał wBayerze 04 Leverkusen (1994-96), gdzie zakończył karierę piłkarską i zajął się pracą trenerską.
Niemiecki trener piłkarski Rudi Völler w czerwcu 2009 r.
Po rozczarowaniu, jakie przyniosły NiemcomMistrzostwa Europy w Belgii i Holandii 2000, gdzie reprezentację trenowałErich Ribbeck, federacja DFB zatrudniła Völlera jako nowego selekcjonera, chociaż nie miał pełnej licencji trenerskiej. Początkowo planowano mu pracę tylko przez jeden rok, jednak kontrakt przedłużono po skandalu narkotykowym, jaki wybuchł wokół jego potencjalnego następcyChristopha Dauma. Reprezentacja zdobyła niespodziewanie srebrny medal naazjatyckim mundialu 2002. Jednak kolejna wielka impreza okazała się porażką. Po odpadnięciu w fazie grupowejEuro w Portugalii 2004 Völler zrezygnował z prowadzenia kadry. Po dymisjiCesarego Prandellego z funkcji treneraRomy, przejął ten klub w roku 2004, jednak szybko zrezygnował, po paśmie porażek i nieporozumień z zawodnikami, m.in. zAntonio Cassano.