Henri Caffarel urodził się 30 lipca 1903 roku w Lyonie. Uczęszczał do szkoły średniej prowadzonej przez braci marystów, kończąc ją bakalaureatem z matematyki. Zapisał się na studia prawnicze, lecz ich odbywanie uniemożliwiła mu niedokrwistość mózgowa, z którą zmagał się do końca życia. Pomagał więc swemu ojcu w pracy w handlu. W wieku 20 lat przeczytał książkę „Vademecum proponowane duszom zakonnym” włoskiej wizytki s. Benigny Consolaty Ferrero i zaczął myśleć o podjęciu życia konsekrowanego. Dwa lata później, po odbyciu służby wojskowej, chciał wstąpić do klasztoru trapistów, ale jego kierownik duchowy odradził mu, obawiając się, że problemy zdrowotne nie pozwolą mu przestrzegać surowej reguły zakonnej i odbywać studiów. Caffarel nie mógł z powodów zdrowotnych pójść do seminarium duchownego, ale rektor seminarium przy Instytucie Katolickim w Paryżu prał. Jean Verdier przygotował go do kapłaństwa i zapisał jako wolnego słuchacza w Instytucie.