Le village de Pellegrue, érigé en bastide, occupe une position dominante qui avait par conséquent une valeur stratégique durant les périodes conflictuelles. L'église Saint-André, de facture romane, était liée au bourg castral avant même la fondation de la bastide. Le chevet du XIIe siècle avec son abside semi-circulaire voûtée en cul de four montre un appareillage parfait. Le portail, à quatre voussures en arc brisé, a été exécuté au XIIIe siècle . Quant au clocher, surmonté d'une coupole oblongue de style néo-bysantin, il a été élevé à la fin du XIXe siècle en remplacement d'un clocher mur détruit par la foudre.

L'abbaye de Saint-Ferme appartenait à des moines bénédictins qui dépendaient de saint Firmin à Pampelune. Ce puissant monastère construit au XII et XIIIe siècle accueillait les pèlerins. Situé au cœur des conflits durant la guerre de Cent Ans, les bâtiments conventuels sont fortifiés, des douves sont creusées, les fenêtres murées ou bien transformées en meurtrières. Au XVe siècle, c'est au tour de la grande rosace d'être murée. Toutes ces transformations expliquent la physionomie austère sinon militaire de l'abbaye telle que nous la découvrons aujourd'hui. Au Moyen Âge, l'hostellerie qui occupait le rez de chaussée de l'abbaye, formait une grande et unique salle totalement coupée du reste des bâtiments conventuels. C'est dans cette salle, la plus vaste de toute l'Aquitaine, qu'étaient hébergés les pèlerins de passage.Durant la guerre de Cent Ans, les moines jugèrent bon de cloisonner ce grand espace où les assaillants éventuels pouvaient concentrer leurs forces ou faire démarrer un incendie capable de s'étendre à toute l'abbaye. L'abbatiale présente la même austérité que les bâtiments conventuels. Le portail roman a disparu et la façade reconstruite au XVIe siècle possède la sévérité d'une forteresse. A l'intérieur, le regard est surtout attiré par la beauté des chapiteaux. Ils reprennent des thèmes bibliques comme David et Goliath ou encore Adam et Eve dans le jardin d'Eden. L'abbatiale conserve également un remarquable chevet roman du XIIe siècle avec une abside en demi-cercle. On accède à la cour du monastère par une porte étroite. Le cloître a disparu, il ne subsiste que les hautes murailles du monastère et aussi un puits au centre de la cour. Le bâtiment plus récent, orné d'une tourelle et de fenêtres à meneaux était, autrefois, le logis de l'abbé; il héberge à présent la mairie.