La prima menzione del centro abitato risale al 1088.[3] La città fu fondata daiGuelfi, una dinastia franca proveniente dallaSvevia che divenne più tardi ilDucato di Baviera eSassonia, la stessa dinastia che edificò la fortezza ora chiamataVeitsburg sulla collina soprastante il nucleo abitato.L'ultimo dei Welfen che risiedette a Ravensburg fuGuelfo I, marchese diToscana e duca diSpoleto, alla morte del suo unico figlio destinò i possedimenti al nipoteFederico Barbarossa, l'area di Ravenburg divenne quindi dominio degliStaufer.[4]
Nel 1256 la città divennecittà libera dell'Impero e ottenne il diritto di mercato e di battere moneta. Nei due secoli successivi, fino allaguerra dei trent'anni, la città ebbe un periodo florido che la portò ad essere uno dei maggiori centri commerciali dellaGermania meridionale, questo successo era dovuto soprattutto all'iniziativa della casata degliHumpis che insieme ad altre famiglie di mercanti fondò laCompagnia grande di Ravensburg (anche conosciuta comeCompagnia di Humpis) che operava in tuttaEuropa. In Italia la Compagnia mantenne uffici aVenezia,Milano eGenova. Tra i prodotti esportati il principale erano i tessuti di cotone e in particolare ilfustagno, la carta e i pellami[3].
Il centro storico della città era un tempo circondato da una cinta muraria smantellata parzialmente nel XIX secolo per utilizzarne i materiali per edificare la stazione. Rimangono alcune porte di accesso e numerose torri che hanno fatto guadagnare a Ravensburg il soprannome di città delle torri e delle porte (Stadt der Türme und Tore)[5].
Risparmiato dalle distruzioni della seconda guerra mondiale il centro storico è stato risanato neglianni '80 del XX secolo[6], ed è attraversato da nord a sud dall'estesa Marienplatz su cui si affacciano diversi edifici storici tra cui il municipio neogotico, laWaaghaus, un tempo sede della pesa pubblica e della zecca cittadina, con la sua caratteristica torre chiamataBlaserturm che un tempo faceva parte della prima cinta muraria.
Il centro si divide in due zone, laOberstadt ad est della Marienplatz contraddistinta da edifici signorili e laUnterstadt caratterizzata da abitazioni più piccole in cui in passato risiedevano gli artigiani della città.
Grüner Turm (torre verde), torre nordorientale della Unterstadt collegata tramite un edificio allaFrauentor, una delle porte di accesso al centro storico, il nome deriva dal rivestimento del tetto smaltato in verde
Schellenbergerturm, popolarmente noto comeKatzelieselesturm è stato parzialmente distrutto da un fulmine e successivo incendio
Obertor, la porta di accesso a sud-est
Mehlsack (letteralmente, sacco di farina), la caratteristica torre tonda alta 51 metri simbolo della città
Sauturm oSpitalturm, torre dell'estremo sud-ovest della cinta muraria, un tempo stalla dell'ospedale cittadino
Untertor, porta di accesso occidentale
Tra le torri più importanti e le porte vi sono numerosi torri minori che interrompevano i tratti più lunghi della cinta muraria.
La festa più popolare ed apprezzata della città è la "Rutenfest" che avviene nel periodo estivo (solitamente luglio) prima della fine dell'anno scolastico e la cui origine risale al 1546.[8]