De oude stad is gebouwd op een driehoekigschiereiland aan eennatuurlijke haven aan de westelijke zijde van het eiland. De stad bestaat uit een wirwar van kleine, smalle straatjes met huizen, winkels,bazaars,hamams enmoskeeën. Dearchitectuur is een combinatie van Arabische, Perzische, Indische en Europese.
De naamStone Town verwijst naar de vele gebouwen die zijn opgetrokken uitkalksteen dat gewonnen werd uit de omliggendekoraalriffen. Hierdoor zijn de gebouwen wit met rood. Er werd overigens pas sinds 1830 steen gebruikt. Omdat de straten in deregentijd blank komen te staan hebben de oude gebouwen vaak een stoep die eenbaraza wordt genoemd. De Arabische huizen zijn het meest herkenbaar door de grote houten deuren enbalustrades met gedetailleerdhoutsnijwerk. Omdat de straten te smal zijn voor auto's vindt het transport plaats te voet, per fiets of bromfiets. Langs de noordelijke waterkant staan een aantal grotere gebouwen. Hier is ook de haven waar de veerboot uitDar es Salaam aanlegt. In de stad staat een fort waar elk jaar hetZanzibar International Film Festival wordt gehouden.
Tot aan 1503 behoorde Zanzibar tot het Sultanaat vanKilwa Kisiwani. Daarna werd het eenPortugese kolonie. De Portugezen begonnen met de bouw van het fort. Tegen het einde van de17e eeuw namen deOmani's geleidelijk het gezag over en werd het eiland onderdeel van het sultanaatOman, dat de heleSwahilikust onder controle had. In 1840 werd Stone Town de hoofdstad van Oman. In deze tijd werden een aantal grote gebouwen in de stad gebouwd. In 1866 verbleefDavid Livingstone in de stad om zich voor te bereiden op een van zijn expedities. Steeds meer migranten uit India, Oman en China vestigden zich in Stone Town wat tot gevolg had dat er gebouwen in verschillende stijlen werden neergezet.
De bezienswaardigheden staan grotendeels langs de noordkant aan het water.
Het Wonderpaleis (Beit-al-Ajaib ofHouse of Wonders) is het grootste gebouw van de stad en was tot 2015 een museum. Vanwege instortingsgevaar is het museum daarna gesloten. Het is een van de zes paleizen die destijds gebouwd werden in opdracht vanSayyid Barghash bin Said Al-Busaid, de tweedesultan van Zanzibar. Het werd gebouwd in 1883 en moest symbool staan voor de technologische vooruitgang van het land. Het was het eerste gebouw op Zanzibar dat elektriciteit had en had de eerste lift van Oost-Afrika. De veranda's worden ondersteund doorgietijzeren pilaren. De hoofdingang was groot genoeg voor de sultan om op de rug van een olifant naar binnen te rijden. In1897 werd eenklokkentoren toegevoegd. Sinds 2000 is het een museum over de geschiedenis en cultuur van Zanzibar en deSwahilikust.
Het fort (Ngome Kongwe), staat naast het Wonderpaleis. Het werd gebouwd in de17e eeuw. Het bestaat uit een vierkant ommuurd terrein metkantelen. Het gebouw heeft gediend als gevangenis en als kazerne. Tegenwoordig is er eenamfitheater ingericht waar elk jaar hetZanzibar International Film Festival wordt gehouden en hetSauti za Busara, een Afrikaans muziekfestival.
Het paleis van de sultan (Beit el-Sahel) werd tijdens deEngels-Zanzibarese Oorlog grotendeels vernietigd en later in bescheidener vorm weer herbouwd. Het is nu een museum gewijd aan de sultans van Zanzibar. Er is een kleine permanente tentoonstelling overSayyida Salme, een prinses die in 1866 wegliep met een Duitse echtgenoot en schrijfster werd.
Deoude apotheek (Ithnashiri Dispensary) werd in tegen het eind van de negentiende eeuw gebouwd. Het is eenneoclassicistisch gebouw metgebrandschilderd glas,stucwerk, houtgesneden veranda's en Indiase kenmerken.
De Anglicaanse kathedraal (Kathedraal van Christus) werd gebouwd van 1873 tot 1883 op de plek waar eerst de grootste slavenmarkt was. Naast de kerk is een slavernijmonument te vinden. Tegenover het plein staat een gebouw waar vroeger slaven gevangen werden gehouden voordat ze verhandeld werden.
De katholiekeSint-Jozefkathedraal werd gebouwd door Fransemissionarissen tussen 1893 en 1898. Deze blijkt ondanks dat het een hoog gebouw is toch vaak moeilijk te vinden in de steegjes van de stad.
Het Forodhani Park is een klein park aan de noordkant van de stad tussen de belangrijkste bezienswaardigheden. Vooral tegen de avond is het hier druk en worden er allerlei gerechten uit de lokale keuken verkocht. Zowel toeristen als de lokale bevolking komen hier dan naartoe om te eten.