Varney est né et a grandi dans leLexington,Kentucky, quatrième enfant de James Albert Varney, Sr. ( –) et Louise Varney (née Howard, –).
Enfant, il avait la capacité de mémoriser des poèmes, des documents et des textes de livres qu'il récitait devant sa famille et ses amis. Il imitait les personnages des dessins animés qui passaient à la télévision, sa mère décida donc de l'inscrire au théâtre alors qu'il avait 8 ans. Il développe alors un talent pour la comédie tout en étudiant àLafayette High School deLexington. À 15 ans il étudie à l'université d'État de Murray, puis interprèteEbenezer Scrooge dans une production théâtrale à 17 ans. Il se produit ensuite dans des boites de nuit et des cafés.
Il meurt d'un cancer du poumon diagnostiqué en 1998, rendu public en 1999, mais continua à travailler pour son dernier projetDaddy and Them[1].
Lors des séries de lacoupe Stanley de 1993 (LNH), les membres de l'équipe desCanadiens de Montréal visionnaient des extraits de ses films, provenant notamment deErnest en prison afin de diminuer le niveau de stress de l'équipe qui était a son paroxysme.Brian Bellows, un fan de la série, fut l'instigateur de cette curieuse coutume qui, du moins en partie, permit à l'équipe de mettre la main sur le fameux trophée pour la24e fois de son histoire.
