Galleriet si historie tek til i 1856 då den moskovittiske handelsmannen og industrimagnatenPavel Tretjakov byrja å kjøpe verk av samtidas russiske kunstnarar, med formål å opprette ei samling som seinare kunne vekse til eitmuseum for nasjonal kunst. I 1892 skjenka Tretjakov si allereie då berømte samling til den russiske nasjonen.
Fasaden på galleribygninga vart teikna av målarenViktor Vasnjetsov i ein særeigen russiskeventyrstil. Galleriet vart bygt i 1902-04 sør forKreml. I løpet av 1900-talet ekspanderte galleriet til fleire nærliggjande bygningar, mellom anna til Nikolaikyrkja i Tolmatsji frå 1600-talet.
I 1985 vart Tretjakovgalleriet slått saman med eit galleri for samtidskunst, som heldt til i ein stor, moderne bygning like sør forKrimbrua. Denne greina av museet inneheld ei samling skulpturar innansosialistisk realisme, til dømes høgdepunkt somJevgenij Vutsjetitsj sin ikoniske statue av «Jarn-Feliks» (som vart flytta fråLubjankaplassen i 1991), skulpturen «Smi!» som framstiller ein naken arbeidar som smir eit sverd, og «Unge Russland»-monumentet. Like ved står ogsåZurab Tsereteli sin 86 meter høge statue avPeter den store, ein av verdas høgaste statuar.
