A régészeti leletek tanúsága szerint területén már a kőkorszakban éltek emberek. A bádeni kultúra vonaldíszes kerámiái kerültek itt elő.
Vágbesztercevára a13. században épült, első írásos említése1316-ban történt. ElőbbCsák Mátéé, majd királyi vár volt.1325-ben Héderváry Sándor királybíró kapta meg, majd1354-ig fia, Héderváry Miklós birtoka. Ekkor Ugali Pál kancellár, királybíró birtoka lett. A14. század végén Ostrorogi Szudivoj halicsi báné.1400 és1424 között Beckó várának ura:Stíbor, majd fia Stíbor volt a birtokosa. 1424-ben Zsigmond király Borbála királynénak adta.1439-től1455-ig Cillei Ulrik tulajdona.1458-tól a Podmaniczkyaké, akik1526 után rablóvárrá változtatták. A család kihalása után,1559-től újra a királyé, majd1560-ban Serédy Gáspár adományként kapta meg.1571-től1700-ig a Balassáké, akiktől összeesküvés miatt elkobozták. 1631-ben a Balassák a vár alatt reneszánsz várkastélyt építettek, amely ma is fennáll. A várat1689-ben a császáriak felrobbantották. Uradalma1830-ig a Balassa és Szapáry családoké, majd1859-ig a Balassa családé és Ulmann Móric nagykereskedőé, illetve1846 és 1859 között az Andrássyaké. 1859 és1919 között Lord József és Popper Lipót, továbbá 1863-tól Hanh Sámuel a birtokosai.
A vár látképe a főútról
A vár alatti település története szorosan kapcsolódik a vár történetéhez. Legkorábbi említése1330.július 13-án történt. Temploma a14. században épült.1432-ben a várost felgyújtották ahusziták. A tűzvészben elégtek a város oklevelei, így lakói a kiváltságokat igazoló okiratok nélkül maradtak. KérésükreLuxemburgi Zsigmond1435.április 23-án kelt oklevelében megerősítette a város korábbi kiváltságait.1458-banHunyadi Mátyás a várost 16 faluval együtt hűséges szolgálaiért Podmaniczky Lászlónak adta. Ezzel a vár és uradalma száz évre a család tulajdonába került. László fia: Podmaniczky JánosPozsony vármegye főispánja,pozsonyi várkapitány végrendeletében Vágbesztercét is megemlíti. Ebben meghagyja, hogy védőszentje, Szent János tiszteletére itt templomot építsenek.1506.január 2-án 30 tagú városi tanácsot hozott létre. A városban ekkor már céhek is működtek. Céhe volt a mészárosoknak, takácsoknak, csizmadiáknak és iskola is működött a településen. Vágbeszterce Óvárral együtt azok közé a települések közé tartozott, ahol a céhek okiratai szlovák nyelven íródtak.
Amohácsi csata után birtokosai Podmaniczky János és Rafael lettek. A Podmaniczky család Rafael halálával1558-ban kihalt és az uradalom a Balassáké lett.1571-ben Miksa császár évi két országos vásárt engedélyezett a városnak, egyet aHáromkirályok, egyet pedig aSzentháromság ünnepén.1604-benBocskai hajdúi dúlták a környékét.1656-banIII. Ferdinánd megerősítette és kiterjesztette a város kiváltságait, újabb két vásárt engedélyezett számára és a felső malom mellé fűrészmalom építését is engedélyezte.1679-ben és1680-banThököly Imre kuruc hadai, majd aRákóczi-szabadságharc idején1707-benBercsényi ésOcskay hadai pusztították a területét.
A plébániatemplom
A 18. század végénVályi András így ír róla: „Vág Besztertze, Besztercz, Povaszka Bisztricza, elegyes lakosú Város Trentsén Vármegyében, földes Urai Gróf Balassa, és Gróf Szapáry Uraságok, lakosai katolikusok, fekszik Vág vize mellett, némelly Nemesek is lakják, a’ kiknek itten tulajdon házaik vagynak, külömbféle mester Emberei között Korabinszky Mátyás Lekszikonnya szerént leg többek a’ fazekasok; kivűl a’ Városon nem meszsze egy dombon van egy remete ház is, hozzá tartozó kapolnátskával, más felől pedig az Uraságnak nagy tégla égető kementzéje. Határja jó termékenységű, réttyei jó szénát teremnek, legelője tágas, itatója alkalmatos, fája mind a’ kétféle, piatzozása ís meglehetős; de Vág vize nem tsak határjának ártalmas megáradásakor; hanem még magának a’ Városnak is, mindazáltal jó tulajdonságai szerént, első Osztálybéli.”[2]
1813. augusztusában nagy árvíz pusztított. A Vág áradása embereket, állatokat, lakóházakat és gazdasági épületeket sodort el. Több mint száz lakos esett áldozatul a városban, a károk elérték a milliós nagyságrendet.1831-ben akolerajárványban 135 lakos pusztult el.1832-ben a város egyik része,1834-ben másik része égett le.
A Szent Ilona kápolna
Fényes Elek1851-ben kiadott geográfiai szótárában így ír a városról: „Besztercze (Vág), tót m. v., Trencsén vgyében, a Vágh vize balpartján. Nevezetességei közé tartozik a régi góth izlésre épült kath. paroch. templom, rézzel fedett toronynyal; a Vághon lévő hid, mellyen b. Balassa részére vám szedetik, és a zsidónak nagy synagógájok sat. A várason keresztülfolyó Rieka patak két 4 kerekü malmot hajt. Határa hegyes völgyes, és sokat szenved a Vágh kiöntéseitől. Lakosai közt, kik 1939 kath. és 254 zsidókra mennek, igen sok mesterember, és nemes személy találtatik, legtöbb van fazekas, azonban mind ezek mezei munkát is folytatnak. A régi Beszterczei vár északra mintegy 1/2 órányira fekszik a várostól, egy a Vágh partján felemelkedő, nem megmászhatatlan kőszikla tetején, honnan a kies Vágh völgyére felséges kilátás esik. Ezen várnak már régenten a Balassa familia örököse volt, s most is az, de gr. Szapáry nemzetséggel megosztva, s feje egy 26 helységből álló uradalomnak. – A vár alatt fekszik Podragy nevü helység, mellyről alább bővebben. Ut. p. Zsolna.”[3]
Városi rangját1948-ban kapta vissza. A város modern arculata az 1970-es és 1980-as években alakult ki. Új lakótelepek, szállodák, éttermek épültek, megújultak a város régi épületei, parkjai.
A Vágváralja nevű településrész felett, a Vág jobb partján emelkedő 497 m magas hegy csúcsát koronázza Vágbeszterce13. századi várának emeletnyi magas maradványa.
Szűz Mária tiszteletére szenteltrómai katolikus plébániatemploma14. századi gótikus eredetű. Az eredetileg egyhajós, sokszögzáródású szentéllyel ellátott templomot többször átépítették. Benne a Balassa, Podmaniczky és Mérey család síremlékei találhatók, melyek közül Podmaniczky Rafael 1558-ból származó reneszánsz síremléke és Balassa Zsigmond 1620-as késő reneszánsz síremléke az említésre méltó.
A vágzsigmondházi kastélyt1612-ben Balassa Zsigmond építtette a Vág folyóparti teraszán, reneszánsz stílusban.1616-ban leégett.1733-ban bővítették és barokk stílusban építették át. Kápolnája Nepomuki Szent János tiszteletére van szentelve.