Filho de um professor deLiteratura, suas principais ligações de juventude estavam relacionadas com a literatura e oteatro. A família bem que tentou impedi-lo de trabalhar emHollywood, mas seu irmão mais velho Herman já era nessa época roteirista, tendo inclusive assinado oroteiro deCidadão Kane (Citizen Kane, 1941).
Joseph acabou sendo contratado pelaParamount no final dadécada de 30 comoroteirista. Ganhou seu primeiroÓscar em 1949 com o roteiro e adireção deQuem É O Infiel? (A Letter to Three Wives, 1949) e repetiu no ano seguinte com o seu filme mais famoso,A Malvada (All About Eve, 1950), estrelado porBette Davis eAnne Baxter.
Outros sucessos de público e de crítica foramJúlio César (Julius Caesar, 1953) comMarlon Brando;A Condessa Descalça (The Barefoot Contessa, 1954) comAva Gardner;De Repente, no Último Verão (Suddenly Last Summer, 1959) eJogo Mortal (Sleuth, 1972), seu último filme, comLaurence Olivier eMichael Caine.
Recebeu quatro nomeações aoÓscar, na categoria de Melhor Realizador, porQuem É O Infiel?,A Malvada,Cinco Dedos (5 Fingers, 1952) eJogo Mortal (Sleuth, 1972). Venceu em 1949 e 1950.
Recebeu duas nomeações aoÓscar, na categoria de Melhor História e Argumento, porO Ódio É Cego (No Way Out, 1950) eA Condessa Descalça (The Barefoot Contessa, 1954).