1778 m. įkurta amerikiečių tvirtovė Vest Pointas, esanti vakariniameHadsono upės krante, apie 57 km į šiaurę nuoNiujorko, turėjo didelę strateginę reikšmę. Tai buvo pagrindinė kliūtis britų veržimuisi prieŠampleno ežero irKanados. Britai vis dar tikėjosi atkirstiNaująją Angliją nuo kitų sukilėlių kolonijų. Vietą fortui išrinkoGeorge Washington, o įtvirtinumus suprojektavoTadas Kosciuška. Ir šiandien paminklas T. Kosciuškai stovi karo akademijos parke.
Nuo1802 m. Vest Pointe pagal kongreso nutarimą buvo įkurtaJungtinių Valstijų karo akademija ir į pirmą kursą priimta dešimt kadetų. Iš pradžių akademija veikė tik kaip artilerininkų ir inžinierių mokykla.
1817 m. Vest Pointo akademijos komendantu tapo majorasSilvanusas Tajeris (Sylvanus Thayer), kuris daug padarė, kad Vest Pointas taptų panašus į šiandieninį.
Akademija užima daugiau nei 6 475 ha žemės. Per ketverius metus apie 4 400 kadetų gauna ir karinį, ir akademinį išsilavinimą. Mokydamiesi mažomis grupėmis po 12–15, jaunuoliai studijuoja humanitarinius, socialinius, fizikos, inžinerinius ir karinius mokslus. Kandidatai, kurių daugumą paskiriaJAV Senatas ir Atstovų rūmų nariai, privalo būti 17–22 metų, nevedę ir fiziškai tinkami, turi atitikti akademinius reikalavimus, keliamus stojant į universitetą.