Kompany a jucat pe posturile de fundaș central și mijlocaș defensiv. Și-a început cariera laAnderlecht Bruxelles, unde a câștigat premii precum: cel mai bun jucător dinJupiler League și cel mai bun jucător african. La plecarea de la clubul belgian, atacantulAruna Dindane a decis să poarte numărul27 la clubulRC Lens - unde tocmai se transferase - în onoarea lui Kompany.
Pe9 iunie2006, clubulHamburger SV a anunțat transferul fundașului belgian pentru suma de 10 milioane de dolari, fiind adus în locul luiDaniel van Buyten. În primul său sezon petrecut înBundesliga, el a jucat doar 6 meciuri din cauza unei accidentări.
La 22 august 2008,Manchester City a confirmat sosirea lui Vincent Kompany de la Hamburg, suma de transfer fiind aproximativ zece milioane de lire sterline. A debutat pentru Cetățeni două zile mai târziu, într-un meci cuWest Ham United, purtând tricoul cu numărul 33. A marcat primul său gol pentru City pe 28 septembrie într-un meci pierdut de echipa sa, scor 2-1, cuWigan Athletic. În acel meci, Kompany a primit și un cartonaș galben, la 11 minute după ce marcase golul.
A petrecut unsprezece ani la Man.City, iar în 19 mai 2019, la o zi după ce a câștigatFA Cup, și-a anunțat plecarea de la City.
La câteva ore după anunțul plecării de la City, a fost confirmată oficial revenirea sa laRSC Anderlecht, începând cu sezonul 2019-20, urmând să ocupe și postul de antrenor. După un start slab de sezon, pe 22 august 2019, a anunțat că nu va mai antrena și echipa, axându-se doar pe cariera de jucător. La 2 octombrie, Anderlecht l-a instalat în funcția de antrenor peFranky Vercauteren, iar Kompany a rămas doar jucător.
La 17 august 2020, a anunțat că renunță la cariera de fotbalist și se va ocupa doar de antrenorat, semnând un contract pentru patru ani cu Anderlecht.
În primul sezon la conducerea lui RSC Anderlecht, a calificat echipa înUEFA Europa Conference League după ce echipa a încheiat pe locul 4 în Pro League. Sezonul următor a adus o îmbunătățire, echipa încheind pe locul 3 și ajungând în finala Cupei Belgiei, pierdută la lovituri de departajare în fața luiKAA Gent. La finalul sezonului, a ajuns la un comun acord cu conducerea clubului privind rezilierea contractului.
La 14 iunie 2022, a fost numit antrenor principal laBurnley FC, echipă care tocmai a retrogradat dinPremier League, obiectivul fiind revenirea imediată în primul eșalon englez. A promovat cu Burnley, câștigândEFL Championship în sezonul 2022-2023. Însă Burnley nu și-a putut păstra locul în Premier League în sezonul următor, încheind pe locul 18 și retrogradând înapoi în Championship.
În mai 2024, Kompany s-a despărțit de Burnley și a devenit antrenorul echipei germaneBayern München cu care a semnat un contract până în 2028.[7]