Levegh valójában Pierre Eugene Alfred Bouillin néven született Párizsban 1905-ben, és elhíresült vezetéknevét csak később, szintén versenyző nagybátyja emlékére vette fel, amikor megkezdte saját karrierjét az autósportok világában.
Élete során különleges sportteljesítményt nyújtott, hiszen három teljesen eltérő területen, a technikai sportok mellett jégkorongban és teniszben is kiemelkedő eredményeket ért el. Az autóversenyzéssel 1937-ben kezdett el komolyabban foglalkozni, elsősorban a sportautók és a hosszútávú versenyek voltak ínyére, és már a következő évben ott volt a Le Mans-i 24 óráson is.
Levegh is abban a korban élt, amikor a versenyzők karrierjét keresztbetörte a második világháború, de amint beköszöntött a béke, ismét volán mögé ült, noha már 40. életévét is elérte. Kipróbálta magát a frissen megalakult Formula-1-ben is, 1950-ben és 51-ben összesen hat versenyen indult el egy Talbot Lago autóval, de pontot nem szerzett, legjobb eredménye pedig egy 7. hely volt Spából, a világbajnokság történetének ötödik versenyén.
Emellett a Talbot Lago képviseletében Le Mans-ban állandó résztvevővé vált. 1951-ben negyedik lett, a következő évben pedig karnyújtásnyira került attól, hogy sporttörténelmet írjon, ugyanis egyedül vezetve teljesített több mint 23 órát a versenyből, és az élen állva négykörös előnnyel száguldott a valószínűtlen győzelem felé. A garázsban ugyan várta őt egy helyettes, de Levegh nem akarta átadni a volánt, hiszen meggyőződése volt, hogy csak ő tudja épségben a célba juttatni az autót. Végül neki sem lett igaza: az utolsó órában autója motorhiba miatt megállt, így nem sikerült a történelmi tett végrehajtása. Egyes vélemények szerint a hibát a pilóta fáradtsága idézte elő, aki egy alkalommal hibásan váltott, ami végzetes kárt okozott az erőforrásban.
Mégsem ez az emberfeletti tett, hanem az 1955-ös verseny miatt maradt meg Levegh neve a köztudatban, ugyanis ő ült abban az autóban, amely a futam harmadik órájánál egy baleset következtében a nézőtérre vágódott, összesen 84 ember életét - köztük a sajátját is - követelve az autóversenyzés történetének egyik legszörnyűbb tragédiájában. Abban az évben már a Mercedes autóját vezette, és a futamon éppen közvetlenül a másik Ezüst Nyilat vezető Juan Manuel Fangio előtt haladt, amikor a baleset történt. Levegh két másik autót üldözött. A legelöl lévő Mike Hawthorn az utolsó pillanatban döntött úgy, hogy a bokszba hajt, így váratlanul rántotta félre az autóját. Emiatt az őt követő Lance Macklinnek is hirtelen manővert kellett végrehajtania és balra vágott ki, közvetlenül Levegh autója elé. A francia már nem tudta elkerülni Macklint, a két autó összeütközött, a Mercedes a levegőbe emelkedett és a nézők közé csapódott. A helyzetet súlyosbította, hogy autójának karosszériája a súlycsökkentés érdekében magnézium használatával készült, ami köztudottan igencsak gyúlékony, így nem is kellett sok ahhoz, hogy a roncs lángba boruljon.
A tűz nagyjából két órán át égett, de a versenyt nem állították le, a hivatalos álláspont szerint azért, mert ebben az esetben a távozó nézők miatt nehezen megközelíthető lett volna a pálya a mentők számára, akiknek még a több mint száz sérültet is el kellett látniuk. A történtek késztették a Mercedest arra, hogy hosszú évtizedekre, egészen a ’80-as évekig kivonja magát az autóversenyzésből.
Bár az autójából kirepülve halálos koponyasérülést szenvedő Levegh neve örökre egybeforrt a történtekkel, Fangio az eset után tett nyilatkozatában felfedte, szerinte csapattársának köszönhető, hogy nem követelt még több életet a szerencsétlen ütközés. Elmondása szerint ugyanis Levegh, amikor látta, hogy már nem tudja elkerülni a Macklin autójával való kontaktot, szándékosan vagy természetes reakcióból adódóan felemelte az egyik kezét, ezzel jelezve a mögötte haladó argentin bajnoknak a veszélyt. Fangio még éppen időben el tudta venni a gázt, így kimaradt a balesetből, s később úgy tartotta, hogy Levegh mentette meg az ő, és talán további nézők életét is.