Il débute professionnellement en 1923 comme violoniste et pianiste dans les cinémas, pour accompagner les films muets. En 1931 et 1932, il joue dans l’orchestre du club la Croix du Sud, dirigé parAndré Ekyan, aux côtés deDjango Reinhardt etAlix Combelle.
En 1934, lui et Django Reinhardt créent leQuintette du Hot Club de France avec le contrebassisteLouis Vola, ainsi queJoseph Reinhardt (le frère de Django) etRoger Chaput, tous deux à la guitare. Un violon, une contrebasse et trois guitares : le Quintette était né[6]. Ce dernier aura toujours une existence « intermittente », malgré plusieurs tournées et de très nombreux enregistrements.
Parallèlement, il travaille, durant lesannées 1920 et lesannées 1930, avec tous les musiciens du moment et fréquente de nombreux orchestres, plus souvent au piano qu'au violon. Il est notamment très présent d'abord comme pianiste, ensuite comme violoniste dans l'orchestre deKrikor Kelekian (dit Grégor), dont la formation, connue sous le nom deGrégor et ses Grégoriens, fait partie des meilleurs orchestres du moment, regroupant la fine fleur des musiciens comme le jeune batteurJerry Mengo. Il y retrouve notamment son ami le violonisteMichel Warlop, mais égalementSylvio Schmidt, talentueux violoniste lui aussi, ou encoreStéphane Mougin, un des meilleurs pianistes de jazz dans cette riche « faune » musicale.
Quand laguerre en 1939 éclate, il se trouve en tournée avec le Quintette du Hot Club de France en Angleterre. Le 3 septembre, lorsque les sirènes se déclenchent, Reinhardt est pris de panique et rentre aussitôt en France, mais Grappelli, malade, reste bloqué à Londres. Il est remplacé à Paris par le clarinettiste et saxophoniste de jazzHubert Rostaing.
Il passe la guerre en Angleterre, y jouant notamment avec le pianisteGeorge Shearing. Il y développe sa carrière de manière importante, peaufinant et affinant sa technique, son style, sa musicalité, et y compose beaucoup. Quand il retrouve Django Reinhardt, en 1946, ils jouent et enregistrent spontanémentLa Marseillaise rebaptiséeEchoes of France[7] pour cause d'enregistrement en Angleterre.L'enregistrement fait scandale[pourquoi ?] et la matrice est d'ailleurs détruite[8].
Après avoir joué en quartet ou trio avec guitares (Diz Disley, Ike Isaac,Martin Taylor,Louis Stewart, Bucky Pizzarelli…) et contrebasse (Patrice Caratini, Jack Sewing, Jon Burr…) depuis le début des années 1970, il termine sa carrière au sein d'un trio comprenantMarc Fosset à la guitare etJean-Philippe Viret à la contrebasse.