La confrérie toulousaine des pénitents gris s'était installée en 1578 dans trois petites maisons de la rue des Lois et avaient obtenu de l'archevêque de Toulouse, le cardinal Georges d'Armagnac, d'y construire leur chapelle. En 1608, ils l'agrandissaient par l'achat d'un terrain de l'actuelle rue des Pénitents-Gris. À la Révolution, les confréries ayant été dissoutes par décret le 18 août 1792, la chapelle fut détruite.
La confrérie s'est reconstituée en 1822 et s'est installée en 1827 dans la chapelle Saint-Jean-Baptiste.