Happel entrò giovanissimo nel settore giovanile delRapid Vienna, con cui debuttò nel 1942 a soli 17 anni. Atletico e abile nel palleggio, divenne presto un beniamino dei tifosi, che lo soprannominarono "Aschyl", per la somiglianza ad un attore turco, e "der Zauberer", il mago. Con i viennesi vinse i primi titoli, ilcampionato e lacoppa nazionale, nel 1946, le prime manifestazioni organizzate dalla ricostituzione dell'Austria dopo il conflitto mondiale. Un suo gol al 90º valse l'affermazione nella finale diMitropa Cup del 1951.
Conta 51 presenze con lanazionale austriaca, con la quale disputò due fasi finali dei mondiali. Raggiunse il terzo posto alcampionato mondiale del 1954 inSvizzera. In patria, dopo il bruciante 1-6 in semifinale contro laGermania Ovest, fu ingiustamente accusato di essere stato comprato, assieme all'amico portiere Zeman, e per tre anni rinunciò alle chiamate della nazionale. A fine carriera disputò anche ilcampionato mondiale del 1958 inSvezia.
A livello di club giocò per 14 anni nel Rapid Vienna, dal 1943 al 1954 e dal 1956 al 1959, vincendo il campionato austriaco per ben 6 volte e costituendo un formidabile duo difensivo conGerhard Hanappi, agendo prima da stopper e poi da libero. Dal 1954 al 1956 giocò nelRacing Parigi, inFrancia.
Nel 1967, con l'ADO Den Haag nelle vesti delSan Francisco Golden Gate Gales, partecipò all'unica edizione del campionato dell'United Soccer Association, lega calcistica nordamericana che poteva fregiarsi del titolo di campionato di Prima Divisione su riconoscimento dellaFIFA, nel 1967: quell'edizione della Lega fu disputata utilizzando squadre europee e sudamericane in rappresentanza di quelle USA, che non avevano avuto tempo di riorganizzarsi dopo la scissione che aveva dato vita al campionato concorrente dellaNational Professional Soccer League. I Golden Gate Gales non superarono le qualificazioni per iplay-off, chiudendo la stagione al secondo posto della Western Division.[2][3]
Al mondiale del 1978 inArgentina, Happel fu ilcommissario tecnico della nazionale olandese, con la quale raggiunse la finale contro l'Argentina, poi persa. Sempre uomo di poche parole, si dice che il discorso d'incoraggiamento nel pre-partita della finale 1978 sia stato solo: «signori, due punti». Curioso il fatto che egli fu il "giustiziere" proprio della nazionale del proprio paese, l'Austria, sconfitta dai Paesi Bassi con un sonoro 5-1.
Nel 1987 Happel ritornò in Austria come allenatore delloSwarovski Tirol. Con questi vinse il campionato austriaco altre due volte (1988-1989 e 1989-1990) prima di diventare CT dell'Austria all'inizio del 1992. Nel novembre dello stesso anno scomparve, stroncato da uncancro, all'età di 66 anni. Dopo la sua morte il più grande stadio d'Austria, lo stadio Prater diVienna, è stato ridenominato in suo onorestadio Ernst Happel.
Nel 1999 i tifosi del Rapid Vienna lo hanno eletto secondo miglior giocatore del Rapid del secolo (Rapidler des Jahrhunderts).