Stéphane Grappelli olasz szülők gyermekeként született Párizsban. Árvaházba került, miután 4 éves korában elvesztette édesanyját, nem sokkal később pedig filozófiatanár édesapját behívták katonának. Élete csak az első világháború után rendeződött; édesapjával szeretetben, de meglehetősen nehéz anyagi körülmények között éltek. Gyermekként először a zongorával ismerkedett meg, csak később, 13 évesen kezdett el hegedülni tanulni, miután édesapja vett neki egy használt hegedűt. Miközben utcai zenéléssel némi pénzt is keresett, a fiatal hegedűvirtuóz egyre nagyobb hírnévre tett szert. Az 1920-as években már különböző párizsi tánczenekarokban muzsikált. Szaxofonozott és harmonikázott is, kevés szabadidejében pedig mozikban néma filmek alá zongorázott. 1924 és 1928 között a párizsi konzervatóriumban tanult zeneelméletet, miközben egyre nagyobb érdeklődést mutatott a dzsessz iránt.
A ’30-as évek elején találkozott Django Reinhardttal, 1934-ben létrehozták a Quintette du Hot Club de France-ot.
Grappelli és Reinhardt egy véletlennek köszönhetően találkoztak. Felkértek 14 zenészt, hogy egy este egy hotelben játsszanak. Az egyik szünetben Django leült egy sarokba és gitározni kezdett. Nemsokára beszállt Grappelli is. Az így kialakult hangzás mindkettőjük tetszését elnyerte, ezért ezután gyakrabban összejártak zenélni. Végül bőgő (Louis Vola), ritmusgitár (Roger Chapu, Joseph Reinhardt), szólógitár (Django Reinhardt) és hegedű (Stéphane Grappelli) felállásban megalakult a quintett. Az egyik első, csak húrosokból álló dzsesszegyüttes hegedűs, bőgős és három gitáros felállásával a harmincas évek egyik legnépszerűbb európai dzsessz-zenekara lett.
Grappelli technikai és improvizációs képessége, elegáns, lírai játéka elkápráztatta közönségét. Neki köszönhetően lett ismét népszerű a dzsesszhegedű, s a dzsesszműfaj első autentikus nem amerikai tehetségének nevezik.
1971-ben megismerkedett Yehudi Menuhinnal, akivel több különleges duettet játszottak lemezre. Az együttes munkát Menuhin később úgy jellemezte: „Grappelli olyan, mint azok a zsonglőrök, akik tíz tányért feldobnak és mindet elkapják.”
A 80-as években és a 90-es évek elején folyamatosan turnézott, Európától a Távol-Keleten át az Egyesült Államokig a világ számos pontján koncertezett óriási sikerrel. Közben sok lemezfelvételt is készített,
1995-ben beválasztották a Jazz Hall of Fame-be, a világ legjelentősebb dzsesszhírességei közé.
1997-ben életművéért Grammy-díjjal jutalmazták.