Rođen u mjestoOita u porodici siromašnog ribara, pred krajDrugog svjetskog rata je bio mobiliziran uJapansku carsku vojsku. Po završetku rata je postao aktivan usindikatima. Političku karijeru je započeo kada je 1955. izabran u gradsko vijeće Oite. Godine 1963. je izabran u vijeće prefekture, a 1972. u Dijetu. Nakonizbora 1993. godine, u kojima je Socijalistička partija postala diokoalicijske vlade, izabran je za njenog predsjednika.
Premijerom je postao 30. juna 1994. kada je došlo do novog koalicijskog "preslagivanja" u kome su se socijalisti udružili sa nedavno poraženomLiberalnom demokratskom partijom (LDP). Murayamin mandat je pao u vrijeme 50. obljetnice završnice rata, a što je Murayama obilježioizjavom kojom se u ime svih Japanaca izvinjava za sva stradanja koja su zbog Japana proživjeli njegovi susjedi. Murayamina odluka da očuva sigurnosne sporazume saSAD su, pak, izazvali nezadovoljstvo stranačke ljevice. Murayamin su mandat, pak, daleko više obilježili dramatični događaji kao što su katastrofalnizemljotres u Kobeu inapad sarinom na tokijski metro, pri čemu je njegova vlada oba puta bila kritizirana zbog spore i neadekvatne reakcije. Murayama je zbog toga mislio podnijeti ostavku, ali su ga stranački drugovi nagovorili da ostane na mjestu premijera sve do 1996. godine. Nakon ostavke ga je zamijenio zamijenio koalicijski partner iz LDP-aRyutaro Hashimoto.