Klub je osnovan 1920. godine. Proveo je 1950-e godine uSerie C iSerie B, dok je slavno doba kluba uslijedilo krajem 1960-ih. Prvo su izborili promociju uSerie A 1964. godine s igračima kao što su biliMario Martiradonn,Pierluigi Cera,Nene iRicciotti Greatti, a predvodnik je bio napadačLuigi Riva. U prvom dijelu sezone igrali su jako loše i osvojili samo 9 bodova. Nakon toga su proljetni dio prvenstva odigrali sjajno i završili na 7. mjestu s 34 boda. Tokom proljeća uspjeli su pobijediti ekipe kaoJuventus iliMilan. Dvije sezone kasnije Riva je prvi put bio najbolji strijelac Serie A, a Cagliari je imao najmanje primljenih golova tokom sezone.
U ljeto 1967. Cagliari je igrao utakmice uSjevernoj Americi kao dio lige koja se zvalaUnited Soccer Association. Ovo je bila liga koja se sastojala odevropskih ijužnoameričkih timova koji su igrali u američkim i kanadskim gradovima, a svaki tim je nosio ime nekog od gradova tog područja. Oni su igrali kaoChicago Mustangs, i završili drugi u Zapadnoj diviziji s 13 bodova, iza kasnijeg šampionaLos Angeles Wolvesa. Najbolji strijelac lige bio jeRoberto Bonisegna iz Cagliarija, koji je postigao 10 golova u 9 utakmica.
Prvi put su bili ozbiljni kandidati za osvajanje titule 1969. kad su se za nju borili sFiorentinom i Milanom. Ipak, Fiorentina je osvojila ligu te godine. Godinu kasnije Cagliari je osvojio trofej. U klub je došaoAngelo Domenghini, a ekipa je te sezone izgubila samo 2 utakmice i primila tek 11 golova (najmanje u bilo kojoj velikoj nogometnoj ligi u Evropi ikada), a Riva je još jednom bio najbolji strijelac lige. Igrači kao Cera, Domenghini i Riva igrali su za Italiju u finaluSvjetskog prvenstva 1970.
Nakon toga je forma počela padati, iako su se 2 godine kasnije borili za titulu, ali je nisu osvojili. Konačni pad doživjeli su 1976. kad je tim izbačen u Serie B, a Riva završio karijeru. Godinu dana nakon izbacivanja izgubili su u razigravanju za Serie A, ali su se već 1979. vratili. Ipak, 1983. uslijedio je povratak u Serie B. 1980-e bile su teške za klub sa Sardinije s obzirom na to da su ispali i u Serie C1 1987.
U Serie C1 proveli su 2 sezone. U prvoj su teško uspjeli osigurati ostanak u toj ligi. 1988. za trenera su doveliClaudija Ranierija, koji je tim za 2 godine doveo do Serie A. Prve dvije sezone borili su se za opstanak, dok su se u trećoj godini za plasman u evropska takmičenja, u čemu su uspjeli pod vodstvomCarla Mazzonea. 1994. uspjeli su doći do polufinalaKupa UEFA, što je najveći međunarodni uspjeh kluba. 1997. vratili su se u Serie B nakon poraza u razigravanju od Piacenze. Nakon toga su se selili iz Serie A u Serie B i obratno, dok na klupu nije stigaoGianfranco Zola, koji je napravio solidan tim za sredinu tabele u Serie A.
