L’histoire de Tastavy commence sous la Restauration, avec la création d’une paroisse autonome de la paroisse de Nages (et de celles de La Salvetat et de Lacaune). A cela, trois raisons :

l’augmentation démographique liée à l’exploitation forestière par lous bouscassiès, les bûcherons des hameaux de Crozés, des Barthésés, de Salamou, de Rieufrech,

le renouveau religieux suite aux persécutions pendant la Révolution,

les dissensions nées à Nages, suite au déplacement de l’abbé Calas.C’est en 1827 qu’est prise la décision de construire une église à Tastavy. La commune possède encore copie de l’acte notarié établi par Me Gros qui détaille les dimensions, les formes, les matériaux et le devis de cette construction.L’acte notarié est passé entre 18 habitants des hameaux autour de Tastavy qui financent l’opération, fournissent le terrain et paient un entrepreneur de maçonnerie de Lacaune qui s’engage à réaliser l’ouvrage dans l’année. Les requérants expliquent que « l’extrême éloignement des paroisses voisines les avait déterminés concurremment avec les autres habitants de leur hameau à construire une église succursale, dans un lieu à portée des uns et des autres.
Les matériaux, en particulier les pierres, sont apportés par tous les habitants.

L’église est livrée effectivement pour le 25 juin 1828. Elle est dédiée à Saint Pierre que l’on fête le 29 juin. Les archives locales ont également la trace d’un rapport à l’évêché daté de 1877 qui note que l’église est trop petite pour les besoins de la population. Il se félicite de l’existence de trois confréries sur la paroisse : l’une pour le Saint-Sacrement, une seconde pour le Rosaire, la troisième pour l’Immaculée cœur de Marie et la conversion des pêcheurs. Le rapport note également, pour les regretter, les faiblesses de la population : les jurons, les gros mots, la manie de plaider, l’émigration vers l’Hérault, qui fait baisser la pratique religieuse. Le presbytère contigu à l’église a été construit ensuite avec l’aide des paroissiens, mais en étant propriété du curé. On a trace de l’acquisition pour extension du presbytère par l’abbé Jean Roque de Labessière en 1860, qui est cédé à l’abbé Floutard en 1914. En 1905, lors de la séparation de l’Eglise et de l’Etat, le presbytère avait été mis sous séquestre par le préfet. Ce séquestre a été levé ensuite en 1910 et le bien rendu à la famille Roque.Le dernier prêtre propriétaire fut donc l’abbé Floutard. Après son départ de Tastavy, le maire de Nages essaya, mais en vain, de récupérer le presbytère. A sa mort, en 1970, l’abbé Floutard légua ses biens à un héritier qui s’en désintéressa. La mairie de Nages put récupérer le presbytère en 1979, dans le cadre de la procédure des biens vacants et sans maître.Tastavy était la paroisse la plus éloignée d’Albi, la plus isolée et une des moins riches. Une plaisanterie courrait à l’époque au Grand séminaire d’Albi où l’on disait que les fortes têtes risquaient d’être nommées « au bout du monde », vicaire à Tastavy !Aujourd’hui, bien que située dans le Diocèse d’Albi, l’église est desservie par un prêtre du diocèse de Montpellier : la limite entre le Tarn et l’Hérault passe à 20 mètres du presbytère ! D’ailleurs la moitié de la paroisse est dans l’Hérault.