Rodzina przeniosła się doNowego Jorku, gdy Jason Jr. był jeszcze małym dzieckiem, a następnie, gdy miał sześć lat, przeprowadził się z rodziną doLos Angeles. Późniejsze wywiady z Robardsem sugerowały, że trauma rozwodów jego rodziców, która miała miejsce w latach nauki w szkole średniej, miała ogromny wpływ na jego osobowość i światopogląd. Jako nastolatek podczas nauki w Hollywood High School w Los Angeles, startował w zawodach lekkoatletycznych, biegając milę w czasie 4:18. Chociaż jego sprawność sportowa wzbudziła zainteresowanie kilku uniwersytetów, podczasII wojny światowej, od 1940 Robards służył wUS Navy jako radiooperator i był jednym z ocalałych zataku Japończyków na Pearl Harbor 7 grudnia 1941. OtrzymałKrzyż Marynarki Wojennej, drugie w hierarchii ważności odznaczenie w marynarce wojennej Stanów Zjednoczonych Ameryki. W latach 1946–47 studiował wAmerican Academy of Dramatic Arts[1].