Koeman startede sin professionelle karriere i1980, hvor han skrev kontrakt med nordhollandske traditionsklubFC Groningen. Her tilbragte han de første tre år af sin karriere, og hans præstationer skaffede ham i1983 bådelandsholdsdebut samt et skifte til storklubbenAjax Amsterdam.
Koeman tilbragte de følgende tre sæsoner hos hovedstadsklubben, og det var i denne periode at hans karriere for alvor tog fart. Han var med til at gøre holdet tilhollandsk mester i1985, og året efter sikrede man sig landets pokalturneringKNVB Cup. I1986 valgte han imidlertid at skifte til Ajax' ærkerivaler,PSV Eindhoven.
Udover de fire mesterskaber, der blev sikret i årene1991 til1994, vandt Koeman med Barcelona pokalturneringenCopa del Rey i1990, tre spanske Super Cup-titler, samtMesterholdenes Europa Cup ogUEFA Super Cup i1992. Finalen i Mesterholdenes Europa Cup, der i øvrigt var den sidste inden turneringen skiftede navn tilUEFA Champions League, blev vundet med 1-0 overitalienskeUC Sampdoria. Koeman blev matchvinder, da han i anden halvleg af overtiden scorede sejrsmålet direkte på frispark. Netop frisparkene viste sig som en af den hårdtskydende Koemans allerstørste forcer.
Efter at have opnået legendestatus påCamp Nou forlod Koeman i1995 FC Barcelona, og skiftede tilbage til hjemlandet, hvor han skrev kontrakt medRotterdam-klubbenFeyenoord. Her spillede han de sidste to sæsoner af sin aktive karriere, på et tidspunkt hvor han allerede havde trukket sig tilbage fra landsholdet. Han sluttede sin karriere med at have spillet 533 kampe og scoret 193 mål. Dette gør ham til den mest scorendeforsvarsspiller nogensinde i fodboldens historie, foranargentinerenDaniel Passarella.
Koeman spillede i årene mellem1983 og1994 78 kampe forHollands landshold, hvori han scorede 14 mål. Hans første slutrunde varEM i 1988 iVesttyskland, hvor han var med til at føre hollænderne frem til deres første titel nogensinde. Han var efterfølgende med tilVM i 1990 iItalien ogEM i 1992 iSverige, inden han sluttede sin karriere efter at have ført holdet frem til kvartfinalerne vedVM i 1994 iUSA.
Efter at have indstillet sin aktive karriere i1997 kastede Koeman sig overtrænergerningen, hvor hans første job blev en assistentstilling på det hollandske landshold. Fra1998 til2000 var han desuden assistent i sin gamle hjerteklubFC Barcelona, der på dette tidspunkt var under ledelse af Koemans landsmandLouis van Gaal.
I år2000 fik Koeman sin første stilling som cheftræner, da han fik overdraget ansvaret forVitesse Arnhem. Efter kun én sæson i klubben blev han dog headhuntet til et job i sin gamle klubAjax Amsterdam. Her stod han i fire år i spidsen for holdet, og førte i denne periode klubben frem til tohollandske mesterskaber og énpokaltitel.
Efter at have tilbragt et enkelt skuffende år iportugisiskeSL Benfica blev Koeman i2006 for tredje gang træner for en af sine gamle hold som spiller, da han overtog ansvaret forPSV Eindhoven. Han stod kun i spidsen for holdet en enkelt sæson, og vandt mesterskabet. Derefter kom han tilSpanien og var i én sæson træner forValencia CF. Han hjalp holdet til enCopa del Rey-sejr, men blev alligevel fyret på grund af skuffende resultater i ligaen.
Efter at Koemans gamle chef i FC Barcelona,Louis van Gaal, i sommeren2009 forlod klubben, blev Koeman udnævnt til ny træner forAZ Alkmaar.
Koeman var senest træner forFC Barcelona. Han blev opsagt i oktober 2021 efter svigtende resultater for klubben.[2]