Klubben blev grundlagt i1948 som en sammenslutning af to mindre klubber, og ret hurtigt efter blev de blandt landets stærkeste. Således var de i pokalfinalen allerede i1954 og finalen om det tyske mesterskab i1960, inden det første mesterskab kom i hus i1962.
Köln kom som følge af disse resultater med i den nyoprettede professionelleBundesliga fra starten i1963 og blev mester i ligaens allerførste år. I de første mange år var klubben blandt de mest succesrige i Bundesligaen og vandt pokalen i 1977, the double i 1978 og pokalen igen i 1983.
Men fra begyndelsen af1990'erne begyndte det at gå ned af bakke, og i1998 blev det for første gang til nedrykning til 2. Bundesliga. Siden da har klubben været lidt af en "elevatorklub" med fire ned- og oprykninger. Siden 2014/15 er klubben med i det gode selskab igen.
NordmandenStåle Solbakken, der er træner forFC København fra 2013, var klubbens træner fra sommeren 2011 til 2012.Den nuværende træner er Peter Stöger fra Østrig.
