Dorothy Barton (1952-1953), Jane Mitchum (1953-1957), Jaren Elizabeth Gunn Pate (1971-1982), Shawn Stephens (1983-1983), Karrie McCarver (1984-2005), Judith Lewis (2012-2022), Myra Gale Brown (1957-1970)
Under enturné iStorbritannien kom det frem, at den 23-årige stjerne i sit tredje ægteskab havde giftet sig med en halvkusines 13-årige datter, Myra Gale Brown, hvilket medførte at hans turné blev aflyst efter kun tre måneder. Skandalen fulgte ham tilbage til USA, hvor hans karriere gik næsten i stå de følgende ti år. IEuropa, særligt i Storbritannien ogTyskland, genvandt han i midten af1960'erne noget af sin popularitet.
I1968 fik Lewis et comeback med countrysangen "Another Place, Another Time", og i resten af1960'erne og1970'erne fulgte flere countryhits, mens han gradvist gjorde sine udgivelser mere rockede.
1970'erne og de tidlige1980'ere var præget af hansskilsmisse fra Myra i1970, hans 19 år gamle søns død i en bilulykke, narkotika- og alkoholmisbrug og en vådeskudsulykke hvorbassisten Butch Owens blev såret.
En film om Lewis tidlige karriere,Great Balls of Fire, kom i biograferne i1989. Filmen bragte Lewis tilbage i rampelyset, særligt fordi han besluttede at genindspille sine sange til filmens soundtrack.