L'idée de la pratique du rugby à Agen est née de la rencontre fortuite, vers 1900, d'un lecteur d'anglais du lycée, d'un compatriote dentiste et d'un certain Alfred Armandie - Agenais - tous trois férus de sports nautiques (ils appartenaient à l'Aviron Agenais) et de boxe. Le centre d'attraction pour l'exploitation de cette nouveauté était fixé dans la rue Saint-Jean (Camille-Desmoulins), où voisinaient de petites industries : "gaufres" de Caban, "croquignants" de la mère Paga, "queues à la graisse" d'Honorine Bruffat, et surtout grand entrepôt de chiffons de la maison Albenque.

Les jeunes athlètes ont fait venir d'Angleterre les règles du nouveau sport et se sont mis en devoir de les apprendre. Les jeudis et dimanches, ces adeptes se réunissaient chez Albenque ou dans un coin discret du coteau de l'ermitage - le cirque - pour écouter l'homme dont le stade actuel porte le nom : Alfred Armandie, lire et commenter les règles. Il y avait là Armandie et Albenque, mais encore Lafon, Brufeat, Piquemal, Andrieu, Larrieu, Molinié, Trenque, Casteinaud, Tinchou... qui ont créé la "barette agenaise".

Le désir de former une équipe a incité ces jeunes gens à élargir leur cercle ; le siège s'est transporté dans la salle à manger d'Armandie pour se fixer ensuite chez Albenque. C'est de là qu'est véritablement partie la fortune du Sporting Club Agenais commandé par Armandie qui doit être considéré comme le véritable fondateur du premier club de rugby à Agen, et dont le nom mérite bien d'avoir été perpétué...

Si l'après-guerre constitue, et de loin, la meilleure période du SUA, celui-ci remporte dès 1930 son premier titre de champion de france. La scène se déroule au Parc Lescure à Bordeaux et la victime se nomme l'US Quillan. Ce bouclier de brennus conquis de justesse après prolongations en appellera bien d'autres. Au total, le Sporting Union Agenais en remportera huit pour un total de treize finales disputées. Pour ne pas en rester là, le club du lot-et-garonne, cher à Albert Ferasse l'ancien président de la FFR, compte également deux succès en coupe de france et quatre victoires en challenge Yves du Manoir. De nombreux internationaux ont porté les couleurs du SUA : Pierre Berbizier, Daniel Dubroca, Abdelatif Benazzi, Philippe Benetton, Philippe Sella, Laurent Seigne, Guy Basquet...