Onder druk van koning Philips IV van Frankrijk had de eerste paus van Avignon Clemens V de ontbinding van de orde van de tempeliers wegens ketterij hoog op de agenda geplaatst van het concilie van Vienne (1311-1312), waarmee de kardinalen in een geheim consistorie morrend hebben ingestemd. In de aanloop naar dit concilie waren tijdens de gigantische razzia van 13 oktober 1307 alle Franse tempeliers op last van de koning gearresteerd. Avignon dat niet in Frans gebied lag ontsprong deze dans, maar niet voor lang. Want, Clemens V poogde zijn grip op de kwestie van de tempeliers te herwinnen met het decreet Pastoralis praeeminentiae van Allerzielen waarin hij alle vorsten opriep om de tempeliers te arresteren en hun bezittingen te confisqueren. Hij zette de daad bij het woord en beval de inventarisatie van de bezittingen van de tempeliers van Avignon. Eenmaal de opheffing van de tempeliers een feit was in 1312 bepaalde hij dat de goederen niet naar de Franse kroon gingen maar naar de hospitaalridders van Sint-Jan (de latere Maltezer orde). Waarmee niemand rekening had gehouden was dat beide, koning en paus, in 1314 zouden overlijden waarmee de afwikkeling van deze eigendomsoverdracht op het bord van hun opvolgers kwam te liggen wat tientallen jaren in beslag heeft genomen. Engeland lag dwars en deed tot 1324 niet mee. In Portugal en Aragon werden de goederen overgedragen aan nieuw gevormde ordes. In Italië werden de commanderijen weliswaar geconfisqueerd maar haar leden ongemoeid gelaten. De stemming in Vlaanderen was zo uitgesproken anti-Frans wegens een opgelegde wurgboete dat de graaf van Vlaanderen, Robrecht van Béthune, de tempeliers in eerste instantie niet durfde aan te pakken.

De vroegste vermelding van de tempeliers in Avignon dateert van het einde van de twaalfde eeuw, ongeveer tegelijk met de komst van de hospitaalridders. Vanaf 1259 betrokken ze hun commanderij in de Saint-Agricol parochie. De kapel, het enige overblijfsel van de commanderij, is thans een multifunctionele ruimte in le petit Louvre. De inventaris opgemaakt voor de verbeurdverklaring vermeldt naast de kapel en de verblijven  allerhande utiliteitsgebouwen zoals een kelder, de keuken en een grote schuur, waarschijnlijk gegroepeerd rond een binnenplaats. Na een probleemloze overdracht lieten de hospitaalridders het gebouw zeker tot medio de dertiger jaren leeg staan. In 1321 had Joannes XXII nog twee klokken en het houtwerk uit het koor van de kapel gesloopt voor de nabij gelegen Saint-Agricolkerk die hij gepromoveerd had tot een collegiale (een kerk met een kapittel). Waarschijnlijk hebben de hospitaalridders een tiental jaar later het gebouw toch in gebruik genomen. In elk geval was deze commanderij geen onverdeeld genoegen want opdringerige klerken van de curie hadden het gemunt op hun gebouw dat ze wilden verbouwen tot een kardinaalpaleis wat Clemens VI in 1342 verhinderde. Sommige bronnen vermelden dat het gebouw inderdaad een kardinaalpaleis geweest is tot aan de uitbraak van het Westers Schisma in 1378.