Josephine naît en1915 (1914 selon d'autres sources) àOakland,Californie. Elle est la plus jeunes des deux filles du couple Roy H. Van Fleet et Elizabeth "Bessie" Catherine Gardner, venant de l'Indiana et duMichigan. Son père Roy travaillait pour lechemin de fer mais est mort d'un infection de la gorge àstreptocoque, laquelle s'est propagée à tout son corps.
Les archives du recensement fédéral montrent qu'aux 5 ans de Josephine, sa sœur de 18 ans, Corinne, et leur mère vivaient àOakland avec la famille proche de Bessie, Ralph et Mary Gardner. Pour subvenir à ses besoins et à ceux de ses deux filles, Bessie, devenue veuve en1920, travaille comme vendeuse dans un magasin de produits secs àOakland.
Tandis qu'elle montre un intérêt précoce pour les productions théâtrales, Jo est diplômée de l'Université de Californie en1936, se concentrant sur des sujets variés et passant ensuite plusieurs années comme professeur de lycée àMorro Bay, enCalifornie. Elle poursuit sa formation théâtrale à travers un programme d'études supérieures au College of the Pacific àStockton, enCalifornie. Après l'obtention de son diplôme, elle part àNew York pour un programme de maîtrise. Elle y continue sa formation avecSanford Meisner à laNeighborhood Playhouse.
Malgré ses rapides succès sur scène, Van Fleet travaille à améliorer ses compétences à la fin des années 1940 et au début des années 1950, en étudiant avecElia Kazan etLee Strasberg à l'Actors Studio deNew York. En1952,Kazan la dirige dans la pièceLa Fuite en Egypte et, l'année suivante, dansCamino Real. En1954, il l'encourage à travailler pour le cinéma àHollywood. Là-bas,Kazan la lance dans son adaptation à l'écran de l’œuvre deJohn Steinbeck,A l'est d'Eden (1955) pourWarner Bros. Dans cette production, Van Fleet, pour ses débuts au cinéma, joue Cathy Ames, la mère du personnage interprété parJames Dean. Sa performance, largement saluée par les critiques, lui fait remporter unOscar de la Meilleure Actrice dans un second rôle. Sa carrière cinématographique est constante tout au long des années 1960 et comprend des films tels queLa Rose tatouée (1955),Une femme en enfer (1955),Le Roi et Quatre Reines (1956), etRèglements de comptes à O.K. Corral (1957). Cependant, sa carrière ne progresse pas comme elle l'avait espérée. Son ami et mentor,Kazan, confirme personnellement ses frustrations : "Jo a stagné et, depuis qu'elle en a conscience, est amère. Et comme elle est devenue amère, elle est devenue plus difficile". Dans une interview pour leLos Angeles Times après son Oscar pourA l'est d'Eden, Van Fleet a exprimé ouvertement ses inquiétudes "de devenir cantonnée aux rôles tragiques".