Kastel del Montė pastatytas ant mažos kalvos 540 m aukštyje virš jūros lygioAndrijoje, neapgyvendintoje teritorijoje, todėl gerai matoma iš toli. Netoliese yraSanta Maria del Monte vienuolynas. Pilis pastatyta seniau čia buvusios tvirtovės vietoje, tačiau jos liekanų teritorijoje neliko.
Nors pilis buvo pastatyta Frydricho II įsakymu, jis niekada į ją neatvyko. Pilis buvo naudojama kaip karališkos šeimos narių prieglobstis medžioklės metu. Po Frydricho mirties1250 m. pilies paskirtis buvo keletą kartų keičiama – čia buvo kalėjimas, vėliau ten žmonės slėpdavosi nuo maro bei kitų epidemijų. Galiausiai pilis liko užmiršta. Kadaise pilyje buvomarmurinės sienos bei kolonos, tačiau jas išardė vandalai. Istorikai iki šiol negali nustatyti, kokia buvo pagrindinė pilies paskirtis – Frydrichas jos net nematė. Teorijos yra įvairiausios, viena iš jų netgi teigia, kad pilis taiNSO nusileidimų vieta. Dauguma istorikų sutinka, kad pilis nebuvo pastatyta gynybos tikslams.
Kastel del Montė tai taisyklingojo aštuonkampio formos dviaukštis pastatas. Kiekviename aukšte yra 8 pereinamos patalpos, išdėstytos aplink nedidelį aštuonkampį kiemą. Kiekviename pilies išoriniame kampe yra bokštas (trijuose yra laiptai, vedantys į viršų). Oktagonas (aštuonkampis) – tai simbolis, jungiantis kvadratą (žemės simbolis) bei apskritimą (dangaus simbolį). Manoma, kad daug keliavusį Frydrichą II tokiam pastatui įkvėpė musulmonųUolos kupolasJeruzalėje arbaAcheno katedros rūmų koplyčia.
Pilies sienos yra 25 m aukščio, bokštų aukštis – 26 m. Vidinio aštuonkampio kraštinių ilgis – 16,5 m, bokštų – 3,1 m. Įėjimas į pilį – iš rytų.