Vzniku Armie Krajowej predchádzalo vytvorenieZväzu ozbrojeného odboja (Związek Walki Zbrojnej, ZWZ) v novembri1939. Túto apolitickú organizáciu vytvoril generálWładysław Sikorski, vrchný veliteľ len nedávno porazných poľských ozbrojených síl. Zväz ozbrojeného boja pôsobil na poľskom území, ktoré okupovaloNemecko ajSovietsky zväz. V roku1942 sa ZWZ spojil s ďalšími odbojovými organizáciami a vzniklaArmia Krajowa. Hlavnou úlohou AK bolo vedenie ozbrojeného boja proti nemeckým okupantom a príprava na celopoľské povstanie, ktoré malo vypuknúť vo vhodnom okamihu.
Armia Krajowa sa skladala zo siedmich odborov: informačného, organizačno-výzvedného, školiaceho, ubytovacieho, spojovacieho, informačného a propagandistického ako aj finančného. Mala aj vlastné duchovenstvo. V januári1943 bola vytvorená zvláštna jednotkaKedyw (z poľských slovkierownictwo dywersji - diverzné ústredie), ktorá uskutočňovala diverzné a zvláštne akcie.
Varšavskí povstalci
V roku1944 malaArmia Krajowa takmer 200 000 príslušníkov, z toho asi 20 000 bolipartizánski bojovníci vteréne. Ostatní plnili úlohy spojené srozviedkou či zberom informácií, školeniami,propagandou a podobne. V čase maximálnej bojovej schopnosti (leto1944) sily Armii Krajowej predstavovali asi 380 000 osôb, z toho 10 000 dôstojníkov. Predvojnový dôstojnícky káder doplňovaliabsolventi tajných kurzov a výsadkári (tzv.cichociemni). PočasVaršavského povstania bojovalo 30 000 príslušníkov v uniformách alebo aspoň s červeno-bielou páskou (poľské národné farby) na paži, nebojovali skryto, ale pod jednotným označením a bolo ich teda možné považovať za pravidelnú armádu. Nemci (aj keď neradi) s nimi po kapitulácii museli zaobchádzať podľa konvencií o vojnových zajatcoch.
Straty Armie Krajowej sa odhadujú asi na 100 000 padlých v dôsledku bojov s nacistickými jednotkami.
Keď na predvojnové územie Poľska na jar1944 vstúpila Červená armáda, skončila síceokupácia hitlerovským Nemeckom, začal všakteror sovietskejNKVD a neskôr poľského Úradu bezpečnosti (Urząd Bezpieczeństwa, poľský ekvivalent NKVD). Armia Krajowa bola totiž predĺženou ozbrojenou rukou exilovej poľskej vlády, ktorá sa nevzdala východných častí Poľska (ktoré zabral Sovietsky zväz) a nesúhlasila s tým, aby Poľsko bolo podriadenéMoskve, pretoJosif Vissarionovič Stalin nariadil Armiu Krajowu zničiť.
Hlavný veliteľ Armii KrajowejLeopold Okulicki aliasNiedźwiadek vydal19. januára1945 rozkaz, ktorým Armiu Krajowu rozpúšťal, ale časť príslušníkov Armii Krajowej odmietla uskutočniť demobilizáciu a pokračovala v boji v rámciHnutia odporu Armii Krajowej (Ruch Oporu Armii Krajowej),Združenia Sloboda a nezávislosť (Zrzeszenia Wolność i Niezawisłość) a ďalších organizácií až do roku1948. Asi 50 000 príslušníkov Armie Krajowej bolo sovietskymi represívnymi zložkami deportovaných doZSSR a uväznených.
Príslušníkov Armii Krajowej hromadne prenasledovali komunistické úrady počas celého obdobia trvaniastalinizmu. Po roku1956 komunistická propaganda začala hlásať, že mladí vojaci Armii Krajowej síce hrdinsky bojovali, ale hanebne ich klamali zločinní spiatočníci vo vyššom velení a exilová londýnska vláda.
Armia Krajowa pochádzala hlavne zoZväzu ozbrojeného boja (Związek Walki Zbrojnej) aPoľského povstaleckého zväzu (Polski Związek Powstańczy), ale pripojilo sa aj mnoho menších podzemných organizácií, napr.:
Národná vojenská organizácia (Narodowa Organizacja Wojskowa) - od roku1942 (čiastočne)
Konfederácia národa (Konfederacja Narodu) - od augusta1943
Národné ozbrojené sily (Narodowe Siły Zbrojne) - od roku1944 (čiastočne)
Územná organizácia sa delila na oblasti (Białystok,Ľvov, pravobrežná a ľavobrežnáVaršava, západ) a samostatné okruhy pre väčšie mestá. Menšími jednotkami boli podokruhy, obvody a inšpektoráty. Armia Krajowa mala svoje štruktúry aj vMaďarsku a vBerlíne.