L'église de Castets est bâtie sur un tertre où se trouvaient un fort romain, puis un château féodal qui a donné son nom au village. Le château a disparu, on a seulement réemployé son ancienne porte lors de la reconstruction de l'église en 1880. Comme souvent dans cette région riche en sources et étangs, deux fontaines sacrées attiraient les pèlerins : l'une dédiée à saint Jean et l'autre à saint Pierre, mais il n'en reste aucune trace ...