U 11. stoljeću otok Kilwa Kisiwani je prodan perzijskom trgovcu Ali bin Al-Hasanu koji je osnovao grad iKilwanski sultanat. Slijedećih stoljeća Kilwa je izrasla u glavno trgovačko središte, njegov teritorij se prostirao i na kopno, uključujući gradZimbabve. Trgovci s Kilwa Kisiwanija su trgovali zlatom i srebrom iz Zimbabvea, slonovačom iz Tanzanije, biserima i parfemima iz Arabije, te azijskim začinima, perzijskom lončarijom, i kineskim porculanom. Većina ukupne robe Indijskog oceana prolazila je kroz njihove ruke. Do 12. stoljeća Kilwa je, pod upravomMahdalija, postala najsnažnija sila istočnoafričke obale.Omanski dokumental-Maqama al Kilwiyya iz oko 1200. godine navodi detalje misije koja je preobratila Kilwu naibadizam (oblikislama odvojen odsunita išijita). God. 1330.,Abu Abdullah Ibn Battuta je zabilježio svoju posjetu gradu i pohvalio je poniznost i vjeru Kilwanskog vladara,sultanaal-Hasan ibn Sulaimana[2]. Iz ovog razdoblja potječepalačaHusuni Kubwa i najveći dio Velikedžamije (slika desno) koja je izgrađena još u 10. st.
Na vrhuncu moći u 15. stoljeću Kilwanski sultanat je vladao gradovima-državama kao što su:Malindi,Mombassa,Pemba,Zanzibar,Mafia,Comoro,Mozambik,Sofala; a imao je svoje trgovačke postaje s druge strane kanala naMadagaskaru. Početkom 16. stoljeća,Vasco da Gama je uspio izvući danak od ove bogate islamske države, ali je nedugo potom, 1505. god.,portugalska flota, pod vodstvomFrancisca Alemide, okupirala otok. Grad su zauzeli arapski plaćenici već 1512. godine i grad je uspio donekle povratiti svoj prijašnji utjecaj.
God. 1784. Kilwa je pala pod utjecaj omanskih vladara Zanzibara, aFrancuzi su se utvrdili na sjevernom vrhu otoka. Grad je zbog učestalih sukoba napušten 1840-ih, a od 1886. do 1918. godine bio jenjemačkomkolonijom.
Ozbiljnija arheološka iskapanja su otpočela tek 1950-ih kada su javnosti otkriveni spomenici poput palače Husuni Kubwa, Velike džamije i palače Mkutini. ovi spomenici su u velikoj opasnosti od erozije tla usljed padalina, ali i od vegetacije koja drobi njihove zidove.