Filho domarquês Ernesto Grappelli e Anna Emilie Hanoque, foi encaminhado a um orfanato após a morte de sua mãe quando tinha apenas quatro anos e seu pai foi combater na Primeira Guerra Mundial.
Começou seus estudos de violino aos 12 anos de idade e estudou noConservatório de Paris estudando piano, entre1924 e1928.
Em1940, Grappelli começou a sua parceria com o pianista inglêsGeorge Shearing e manteve colaborações com Django, esporadicamente até a sua morte em1953.
Após a guerra, ele aparece em centenas de gravações incluindo o pianistaOscar Peterson, o violinistaJean-Luc Ponty, vibrafonista Gary Burton, o cantor popPaul Simon, o bandolinista David Grisman, o violinista clássicoYehudi Menuhin, o maestroAndré Previn, e o violinista Mark O'Connor. Também colaborou com o guitarrista britânico Diz Disley, gravando 13 álbuns com seu trio. Também colaborou com o renomado guitarrista britânicoMartin Taylor. Em suas parcerias mundo afora, Grappelli também gravou com o ilustreBaden Powell. Tocou Violino na músicaWish You Were Here, no álbum do mesmo nome, da banda britânicaPink Floyd, mas a música não foi aproveitada na edição final do álbum. Essa versão aparece no segundo CD do box Wish You Were Here - Immersion, lançado em2011.