Kline werd in 1947 geboren in St. Louis, Missouri. Zijn ouders Robert Kline en Peggy Delaney hadden een speelgoed- en platenzaak. Hoewel de vader van Kline was opgevoed in de Joodse religie, kreeg Kline zelf een katholieke opvoeding. Robert Kline interesseerde zich niet zo voor religie en Peggy Kline was van oorsprong rooms-katholiek. In 1966 ging Kline naar de Indiana University in Bloomington waar hij klassiek piano studeerde. Nadat hij had meegedaan aan een theatervoorstelling van studenten (de "Vest Pocket Players") kreeg hij de smaak van het acteren te pakken. Hij besloot om het acteren tot zijn hoofdvak te maken. In 1970 studeerde hij af. Hij had een beurs gekregen om te mogen studeren aan de drama-afdeling van de Juilliard School in New York. Na zijn afstuderen in 1972 begon hij met een aantal medestudenten de City Center Acting Company.
Hoewel hij al wat kleine rollen in films had gespeeld, kwam de doorbraak van Kline in Hollywood pas in 1982 met de filmSophie's Choice van Alan J. Pakula. Kline's vertolking van de gekwelde Nathan leverde hem een nominatie voor eenGolden Globe op. In de daarop volgende jaren was Kline te zien in een groot aantal films, waaronder een aantal in een regie vanLawrence Kasdan, zoalsThe Big Chill,Silverado,Grand Canyon,I Love You to Death,French Kiss enDarling Companion. Kline was een groot fan van het Britse televisieprogrammaMonty Python's Flying Circus, en in 1988 ging een grote wens in vervulling toen hij met de twee PythonledenJohn Cleese enMichael Palin meespeelde in de Britse komedieA Fish Called Wanda. Het leverde hem eenAcademy Award op. Ondanks alle successen weigerde Kline om zich een sterrenstatus aan te laten leunen. Hij weigerde veel rollen in films die hem niet bevielen (ook al waren het potentiële blockbusters) en zocht met zorg zijn rollen uit. Dit leverde hem de bijnaam 'Kevin Decline' (Kevin de weigeraar) op.
Kline bleef ook toneelspelen. Hij speelde onder andere de hoofdrol inKing Lear enCyrano de Bergerac. In 2004 kreeg hij een ster op de Hollywood Walk of Fame (bij 7000, Hollywood Boulevard).
In de jaren zeventig kreeg Kline een verhouding met zijn klasgenote op Juillard, Patti LuPone. Het paar had een stormachtige relatie die uiteindelijk in 1978 schipbreuk leed. In 1989 trouwde hij met actricePhoebe Cates die 16 jaar jonger is. Ze hebben samen een zoon (Owen) en een dochter (Greta).