En 1173, l’évêque Hugues donne l’Eglise St Julien à la communauté d’Agen. L’édifice actuel fut remanié au 15ème et 16ème siècle.
A cette époque, la léproserie de St Lazare avait été rattachée au diocèse de Clermont d’Auvergne. Il nous reste une petite chapelle romane en corbeau du 12ème siècle.
Le 12ème siècle est l’âge d’or de la langue occitane véhiculée par les troubadours qui jettent les bases de la civilisation européenne. Daudé de Prades, troubadour local très influent à la cour des comtes de Rodez, participera activement à cette aventure.
Au 14ème siècle, la grotte des Demoiselles à Caylus rappelle l’épisode tragique des grandes pestes du Moyen Age. Durant la guerre de Cent Ans, les Routiers s’installèrent dans les palanges et ravagèrent la région. Pour protéger les populations on fortifia les Eglises (Ex : Inières , Ste Radegonde ).
Pour soulager la misère, l’Abbesse du Monastère donna en 1600, 700 hectares de terres aux habitants de la communauté d’Agen pour qu’ils puissent améliorer l’ordinaire.
En 1766, l’Abbé Antoine Izarn, curé du lieu, créa une manufacture de tissage pour donner du travail aux jeunes filles pauvres de la paroisse. Antoine Izarn, prêtre réfractaire, fut déporté au fort de Hà où il mourut sans abjurer sa foi.
Du Moyen Age au 19ème siècle, Agen connut une activité industrielle liée à la foret des Palanges : coupes de bois de taillis de chêne, fagots d’écorce pour l’extraction du tanin servant à l’approvisionnement des tanneries de Rodez,et confection de fagots « los faisses » fait pas les Faisseliers pour chauffer les fours des boulangers de Rodez et des environs.
Au 19ème siècle, Agen s’enorgueillit de ses gloires locales :
- Le sculpteur Marc Robert auteur du monument Fançois Fabié à Rodez ;
- Le poète occitan Pierre Vernhet qui brosse un tableau de la vie rurale d’Agen au 19ème siècle. ;
- Le général Pierre Cussac qui participa aux guerres coloniales de la Illème République.
