1966-ban született a California állambeli Anaheim-ben Mary Guibert és Tim Buckley gyermekeként. Édesanyja felől panamai, görög és francia, míg édesapja felől ír-amerikai és olasz-amerikai felmenőkkel rendelkezett.
Jeff életében egyszer találkozott édesapjával, aki nem sokkal azután kábítószer-túladagolásban elhunyt 1975-ben. Nevelőapja Ron Moorhead volt, így Jeff-et gyermekkorában Scottie Moorhead-nak hívták. Nevét az apja halála után változtatta meg.
Buckley édesanyja gyakorlott zongorista és csellista volt, így Jeff-nek már korán kialakultak a kapcsolatai a zenével. Nevelőapja megismertette vele a Led Zeppelin, Queen, Jimi Hendrix, The Who és Pink Floyd zenéjét. Jeff rengeteget énekelt gyermekkorában, gitározni ötévesen kezdett el, mikor rábukkant egy akusztikus gitárra a nagyanyja szekrényében. Tizenkét évesen eldöntötte, hogy később a zenével szeretne foglalkozni, így a középiskola befejezése után a hollywoodi Musicians Institute-ban folytatta tanulmányait. Buckley később egy Rolling Stone-nak adott interjúban az itt töltött éveire elpazarolt időként hivatkozott, viszont egy másik interjúban bevallotta, hogy öröm volt itt megismernie a zenetudományt.
Az 1986 és 1990 közötti időszakot Jeff egy hotelben töltötte, ahol gitározott különféle zenekarokban. 1990-ben New York-ba költözött, hogy elindítsa önálló zenei karrierjét, ami 1994-ben rohamosan el is indult. Leszerződött a Columbia-hoz és meg is kezdte az első albumának a felvételeit.
Legismertebb albuma az 1994-ben megjelent ,,Grace", ami egyben az első és az utolsó volt. Az ezt követő három évben Matt Johnson-nal, Michael Tighe-val és Mick Grondahl-val egy zenekarban készítette újabb dalait és turnézott. Bejárták az Egyesült Államokat, eljutottak Európába, Ausztráliába és Japánba is. 1996-ban szüneteltették a turnét, hogy megkezdjék a második album munkálatait. Ez viszont Buckley hirtelen bekövetkezett halála miatt nem valósult meg.
A zenész életének következő és utolsó állomása a Tenessee állambeli Memphis volt, ahol a második albumához gyűjtött ihleteket.
1997. május 29-én a zenekar Memphisben várta a New Yorkból ideköltöző Jeff-et. A zenész az érkezés után nem sokkal úgy döntött, kipiheni az utazást és megmártózik a Mississippi mellékágában, a Wolf folyóban. Zenekarának ügynöke, Keith Foti is vele tartott, viszont ő a parton maradt. Amikor közeledett egy vontatóhajó, Foti a parton lévő gitárhoz és rádióhoz futott, hogy mentse azokat az esetleges hullámoktól. Mikor az ügynök visszanézett a folyóra, Jeff-nek nyoma veszett.
Holttestét pár nappal később, június negyedikén találták meg. Az ezt megelőző napokban találgatások folytak az eltűnésével/halálával kapcsolatban. Felmerült az alkohol, a kábítószer gyanúja, néhányan azt feltételezték, hogy a zenész öngyilkos lett. A boncolás alapján a halálának oka a véletlen vízbefúlás volt, Jeff nem állt semmilyen tudatmódosító hatása alatt.
Halála után rengeteg posztumusz mű jelent meg, köztük a második albumának, a ,,My Sweetheart The Drunk" első négy dala.
A Radiohead brit alternatív-rockot játszó zenekar énekese, Thom Yorke egy Jeff Buckley koncert után írta meg a ,,Fake Plastic Trees" névre hallgató számot 1995-ben, ami ma az együttes egyik legismertebb dala.
Buckley zenéje hatással volt többek között a Coldplay-re, a Muse-ra, a U2-ra, Adele-ra és Lana Del Rey-re.
Külön érdekesség, hogy Brad Pitt rajong az énekes zenéjéért. A 2002-ben bemutatott ,,Everybody Here Wants You" című dokumentumfilmben említi a színész, hogy a volt felesége indította el a ,,Mojo Pin"-t a lemezlejátszójukon és azóta rajong Buckley-ért.