Palee ulatus idast läände on 400 m ja põhjast lõunasse 350 m. Seda ümbritsevadmüürid on keskmiselt 3 m paksud, aga alusel koguni 5 m paksud. Palees on 13 korrust, üle 1000 toa ja 10 000altari ning umbes 200 tuhat skulptuuri. Palee kõrgub 117 m kõrgusena Marpo Ri (Punase mäe) tipus, kerkides orupõhjast rohkem kui 300 m kõrgemale.
Esimese palee ehitas selle koha pealeSongtsen Gampo637. aastal. Seda nimetati kas valgeks või punaseks lossiks.
Tänapäevase palee rajamine algas1645 V dalai-laamaLozang Gyatso juhtimisel pärast seda, kui tema nõuandjaKonchog Chophel (surnud 1646) juhtis tähelepanu sellele, et see koht oli valitsuse asupaigaks väga sobiv, asudesDrepungi jaSera kloostrite ning Lhasa vanalinna vahel. Palee rajati varasema lossi varemeile.
Palee välisehitiste ehitus kestis 3 aastat, aga siseehitiste ja nende sisemuse ehitamine koos kõigi kaunistustega kestis 45 aastat. Dalai-laama kolis koos oma valitsusega palees olevasse Valgesse lossi (Potrang Karpo) juba1649, aga ehitus valmis1694, 12 aastat pärast dalai-laama surma. Viimasena,1690–94, ehitati paleesse Punane loss (Potrang Marpo). Esialgu kasutas dalai-laama Potalat üksnes talveresidentsina.
1959 toimunud Tiibeti ülestõusu ajal sai Potala suhteliselt vähe kahjustada, kuigi Hiina väed pommitasid palee aknaid. Samuti pääses Potala kahjustustest1966Kultuurirevolutsiooni ajal tänuZhou Enlai isiklikule sekkumisele. Enlai oli tollalHiina Rahvavabariigi peaminister. Sellegipoolest hävis paleearhiiv, kus oli enam kui 100 tuhatkäsikirja,ürikut ja muud dokumenti. Need kas tassiti laiali, lihtsalt hävitati või said muul viisil kahjustada.
Selleks, et vältida ülerahvastusest tulenevaid kahjustusi hoonele, on alates1. maist2003 palee külastajate arv piiratud 1600-ga. Ühtlasi vähendati palee lahtiolekuaega 6 tunnile päevas. Enne seda oli palees külastajaid keskmiselt 1500 päevas, aga see kõikus suurelt, ulatudes vahel isegi 5 tuhandeni. Pärast2006 lõpetatudrestaureerimist ei lasta külastajaid enam paleekatusele. Pärast seda, kui1. juulil 2006 avati Lhasani viivQingzangi raudtee ja seega lihtsustus Lhasasse pääsemine, suurendati külastajate arvu, keda päevas paleesse lastakse, 2300-ni, aga see arv saab sageli juba keskhommikuks täis. Samuti pikendati turismi tippajaksjuulistseptembrini lahtiolekuaega.
