Mifune wuchs in der KüstenstadtDalian im japanisch besetzten China auf. Sein Vater war Inhaber eines Fotogeschäfts, in dem Mifune bereits als Kind mithalf. 1940 wurde er in dieArmee einberufen und diente in derFliegertruppe, wo er Luftaufnahmen anfertigte.
Eigentlich auf der Suche nach einer Beschäftigung als Kameramann, erhielt er 1946 in Tokio einen Job in der FilmgesellschaftTōhō. Seine erste Hauptrolle, einen Bankräuber, spielte er inSenkichi TaniguchisGinrei no Hate (1947). Die Rolle des Negativhelden dominiert unter seinen frühen Filmen, so trat er als Gangster inEngel der Verlorenen (Yoidore Tenshi, 1948) und als Räuber inRashomon – Das Lustwäldchen (Rashō-Mon, 1950) auf, ferner in dem FilmDie verborgene Festung (1958) als zwielichtiger General Makabe. In sein dynamisches Spiel ließ Mifune auch humoristische Elemente einfließen.
Von 1948 bis 1965 verkörperte er die Hauptrollen in den meisten Filmen des RegisseursAkira Kurosawa. Mit seiner Darstellung des Außenseiters unter den sieben Samurai in KurosawasDie sieben Samurai (Shichinin no Samurai, 1954) erlangte Mifune weltweite Popularität. Er trat in Kurosawas Adaptionen westlicher Literatur als Dieb inNachtasyl (Donzoko, 1957) und in der Macbeth-Rolle inDas Schloss im Spinnwebwald (Kumo-no-Su-Jō, 1957) sowie inZwischen Himmel und Hölle (Tengoku to Jigoku, 1963) – der Verfilmung eines Kriminalromans vonEd McBain – auf.
1962 gründete er seine eigene Produktionsfirma „Mifune Productions“, und hatte 1963 mitGojū-man-nin no Isan sein Regiedebüt. 1966 errichtete er eigene Studios in Tokio, die er 1981 um eine privateSchauspielschule erweiterte. Aufgrund von Missmanagement musste die Schule aber drei Jahre später geschlossen werden.
Sein SohnShiro Mifune (* 1950) ist ebenfalls Schauspieler und Produzent, seine TochterMika ist ebenfalls Schauspielerin.