El compromiso del Abbé Pierre con la Resistencia comenzó el 18 de julio de 1942, día en el que acogió a dos judíos perseguidos que habían llamado a su puerta. En aquel momento se dio cuenta de la auténtica persecución que estaba sufriendo la población judía y pasó espontáneamente a la acción: a través de una religiosa, consiguió documentación falsa para aquellas personas y las ayudó a huir a Suiza; después, organizó una red para que los perseguidos pudieran atravesar los Alpes y montó en su casa un laboratorio de fabricación de documentos de identidad.

En febrero de 1943, Alemania adoptó una ley por la que se estableció el Servicio de Trabajo Obligatorio (STO), que se encargaba de enviar a franceses a Alemania para que realizaran tareas forzosas. El Abbé Pierre fundó una organización de resistencia para los jóvenes que se negaban a colaborar con aquel sistema y, en abril de 1943, creó una publicación periódica para la red. En aquella tarea necesitaba la ayuda de una secretaria. Fue así como conoció a Lucie Coutaz, quien se convirtió en su fiel colaboradora durante 39 años, lo acompañó en todas sus luchas y fundó junto con él Emaús.

Durante este periodo, Henri Grouès utilizó cuatro seudónimos, uno tras otro. Entre ellos estaba el de «Abbé Pierre». De este modo evitó ser descubierto por la Gestapo y la policía de Vichy a medida que se fue implicando de un modo cada vez más activo en los círculos de la Resistencia. En mayo de 1944, sus jefes le ordenaron atravesar clandestinamente los Pirineos para reunirse con Charles de Gaulle en Argel.

El Abbé Pierre volvió a Francia a mediados de enero de 1945, después de que acabase la ocupación nazi.

Fue entonces cuando se le solicitó que representara a la resistencia católica francesa en la Asamblea Nacional que iba a constituirse.

El 21 de octubre de 1945 resultó elegido como diputado de la Asamblea Nacional Constituyente por la circunscripción del departamento de Meurthe y Mosela, dentro del Movimiento Republicano Popular (MRP), aunque el propio Abbé Pierre se definía como un «independiente elegido para encabezar las listas del MRP».

Durante sus tres mandatos, trabajó especialmente por la defensa de los miembros de la Resistencia, la difusión de las ideas federalistas y el fomento de la objeción de conciencia. Poco a poco se fue alejando del MRP, hasta tal punto que en 1950 dimitió en protesta por la violencia de la represión policial durante una huelga. Junto con otros diputados, fundó el grupo de la Izquierda Independiente, por el que volvió a presentarse a las elecciones del 17 de junio de 1951, aunque sin éxito. 

Sin embargo, no recibió aquel resultado con amargura.