Bâti au XIVè siècle par le cardinal Géranger Frédol l'Ancien, cette demeure a accueilli par la suite les différents archevêques d'Avignon.
Sous la Révolution, il sera déclaré bien national. Le Petit Palais sera alors utilisé comme maison de réclusion puis en dépôt de livre et d’œuvres d'art. Il passera encore de mains avant de revenir à nouveau dans celle de l'archevêque de la ville de l'époque en 1826.
Sa propriété et son apparence changeront encore par la suite pour être finalement récupéré par l'Etat et la ville dans les années 70, l'ancien palais étant pratiquement abandonné, pour donner le musée d'art médiéval connu aujourd'hui.
Accueille aujourd'hui musée art médiévale