Óvenjulegt við höllina og hallargarðinn var að garðurinn varð til á undan. Það var Friðrik mikli, konungurPrússlands, sem gaf fyrirskipun um að breyta hæð einni í Potsdam í víngarð árið1744. Áður voru þar eikur, en þær voru höggnar niður og viðurinn notaður til að þurrka mýrlendi við borgarmörkin. Víngarðurinn var gerður í stöllum með 120 þrepum (132 í dag). Vínviðurinn var fluttur inn fráPortúgal,Ítalíu ogFrakklandi. Auk þess voru ýmsar aðrar plöntur og tré gróðursett þarna til að fegra garðinn enn frekar. Rúmlega 3000 ný ávaxtatré voru gróðursett og ýmsar garðbyggingar voru reistar. Brunnar og gosbrunnar voru settir niður hér og þar og til þess var stór vatnsdælustöð reist. Enn frekar voru myndastyttur settar upp í garðinum og voru þær aðallega í formi rómverskra goði og gyðja.
1745, þegar garðurinn fór að taka á sig mynd, fyrirskipaði Friðrik mikli byggingu lítillar hallar. Höll þessi átti ekki að vera skrauthöll til móttöku erlendra þjóðhöfðingja, heldur sumardvalarstaður konungs. Konungur sjálfur tók þátt í skipulagningunni og réði til um gerð hallarinnar. Hún var reist á tveimur árum og vígð1747, þó að innréttingar væru langt frá því að vera tilbúnar enn. Höllin var aðeins ein hæð og laus við alla íburði. Friðrik bjó í þessari höll öll sumur fráaprílloka tiloktóber. Höllin var kvennalaus (sens femmes), því konungur bjó einn ásamt þjónustuliði sínu. Eiginkona hans bjó í annarri höll. En tæpri öld seinna létFriðrik Vilhjálmur IV. konungur reisa stórar viðbyggingar1840-42 og ekki sparaði hann íburðinn. Hann lést1861 og var jarðaður í hallargarðinum. Eftir það var höllinni breytt í safn og er eitt elsta hallarsafn Þýskalands. Hvorki höllin né garðurinn skemmdust íheimstyrjöldinni síðari. En Sovétmenn fluttu nokkuð af listaverkum hallarinnar tilSovétríkjanna. Aðeins örfáum munum hefur verið skilað.1990 var Sanssouci ásamt hallargarðinum og öllu því sem í honum er sett á heimsminjaskrá UNESCO.
Friðrik mikli lést1786 í Sanssouci. Hann óskaði sér þess að fá að vera jarðsettur í hallargarðinum, en eftirmaður hans og frændi, Friðrik Vilhjálmur II, virti það að vettugi og lét jarðsetja hann í kirkju í borginni. Í lok heimstyrjaldarinnar síðari fluttu þýskir hermenn kistu hans á öruggari stað til að hún yrði ekki fyrir skemmdum í stríðinu. Bandarískir hermenn fluttu kistuna svo til Marburg íHessen. Þar var hún allt til1952, er hún var flutt til Hohenzollern-kastalans íBaden-Württemberg. Það var ekki fyrr en eftir sameiningu Þýskalands1991 að kista Friðriks mikla var flutt til Potsdam á ný og sett í jörð í hallargarðinum Sanssouci, 205 árum eftir andlát hans.
Neues Palais heitir hallarinnar við vesturenda Sanssouci-garðanna. Það var Friðrik mikli sem lét reisa hana1763 í lok 7 ára stríðsins og lauk smíðinni1769. Höllin er í barokkstíl og átti ekki að þjóna sem aðsetur konungs, heldur sem híbýli fyrir gesti hans. Í höllini eru 200 herbergi, fjórir viðhafnarsalir og heilt leikhús í rókókóstíl.1859 flutti krónprinsinn Friðrik Vilhjálmur inn í höllina, en hann varð síðar keisari, reyndar aðeins í 99 daga árið1888. Eftir að síðasti keisarinn afþakkaði1918 og fór tilHollands, varð höllin að safni. Síðan 1990 er höllin notuð sem háskólabygging.