Comme souvent au Moyen Âge, c’est autour d’un édifice religieux que s’est construit une bonne partie du village. Ce Castet-debas (ou Castel de bas), bourg sur la moitié en contrebas du village actuel, a obtenu son nom dès 1687. Lorsque le terme de « castel » et ses dérivés sont utilisés, c’est qu’à l’époque de cette nomination, il existait un château ou des fortifications dans la zone, aujourd’hui souvent disparus. C’est l’église paroissiale Notre-Dame de Saint-Puy qui agit désormais en point culminant du périmètre.

​Cette église est d’implantation ancienne, on ne saurait en douter. Sur le mur nord de la nef, on peut y remarquer quelques rares vestiges de style roman – c’est-à-dire d’une architecture souvent antérieure au XII^e siècle – ainsi qu’une dédicace à la Vierge. Il semblerait que l’église soit antérieure à la construction du Castet-debas autour d’elle, qui, lui, daterait des alentours du XII^e siècle.

​Le nom complet de l’édifice est Notre-Dame-de-la-Nativité. Sa nef rectangulaire possède six travées et une abside à cinq pans, coupés un peu plus large que le vaisseau. C’est devant l’entrée principale et sa grande horloge que l’on peut retrouver une statue de l’Immaculée Conception, sur un petit promontoire herbeux.

​La guerre de Cent Ans lui vaut d’être détruite puis reconstruite. Elle présente encore aujourd’hui de puissants contreforts aux angles et des constructions secondaires servant d’appui aux murs du sanctuaire et de la nef. Suite à sa reconstruction, on peut aussi y retrouver les influences d’un gothique flamboyant ; parmi ces éléments, les fenêtres de chevet ainsi que les trois lancettes qui surmontent les remplages sur l’abside. Elle connaît d’autres remaniements importants au XIX^e siècle, pour aboutir à sa beauté actuelle.