Dopo il ritiro dal calcio giocato Rexach entrò nello staff tecnico delBarcelona Atlétic. Nel1984, insieme ad altri ex-calciatori comeAntoni Torres,Juan Manuel Asensi eJoaquim Rifé, fondò una scuola-calcio, laEscuela TARR. Rexach fu quindi assistente dell'allenatoreLuis Aragonés nella stagione1987-88, diventando per breve tempo allenatoread interim dopo la partenza di Aragonés. QuandoJohan Cruyff venne scelto come successore di Aragonés, Rexach rimase come vice. Durante lastagione 1990-91 Cryuff dovette sottoporsi ad un intervento alcuore e Rexach ancora una volta dovette subentrare. Rimase in carica sulla panchina delBarça dal febbraio1991 fino al termine della stagione, guidando la squadra alla vittoria dellaPrimera División. Continuò ad assistere Cryuff nel periodo delDream Team, ma dopo che i contrasti col presidenteJosep Lluís Núñez portarono Cruyff alle dimissioni nel1996, Rexach divenne ancora una volta allenatore. La controversa decisione probabilmente causò una rottura nel rapporto di amicizia conCruyff. Sotto Bobby Robson lavorò come scout dove scopre Lionel Messi, ma nel 1998 partì per il Giappone e trascorse una stagione come allenatore della Yokohama F. Marinos. Venne portato aYokohama daJulio Salinas eAndoni Goikoetxea, che giocavano là.
Dopo l'esonero diLlorenç Serra Ferrer dalla panchina del Barcellona nellastagione 2000-01, Rexach diventò di nuovo l'allenatore vicario. L'unico obiettivo rimasto era la qualificazione per laChampions League 2002. Rexach guidò la squadra nelle ultime sette partite di campionato: nell'ultima gara, contro ilValencia, un gol diRivaldo permette alla squadra di chiudere al quarto posto e di accedere alla massima competizione europea. Questo piccolo successo diede a Rexach la possibilità di essere scelto come allenatore daJoan Gaspart per lastagione 2001-02. Quella stagione, pur con un quarto posto nellaPrimera División e le semifinali diChampions League raggiunte, fu una delle peggiori per il club catalano. Quell'annata vide ilBarça perdere con due squadre diTercera División, ilFigueres e ilBalaguer, rispettivamente nellaCoppa del Re e nella finale diCopa Catalunya. Si aggiunse anche un'umiliante sconfitta per 3-1 (totale tra andata e ritorno) con ilReal Madrid nelle semifinali di Champions. La stagione successiva Rexach venne rimpiazzato da un redivivoLouis van Gaal, di ritorno dopo due anni. Nel luglio2003 Rexach pose termine al lungo rapporto (44 anni) con la società.