Il ne reste rien du tout premier château, mentionné dans les textes à partir de 961 et qui appartenait aux comtes de Provence et de Forcalquier. Le château médiéval fut probablement édifié et progressivement agrandi par les barons d’Ansouis à la fin du XIIe ou au début du XIIIe siècle. Il se composait d’un ensemble hétérogène de constructions, pour la plupart adossées au mur septentrional de la première enceinte fortifiée. Presque tous ces bâtiments existent encore, sous une forme plus ou moins remaniée. L’ancien donjon, mal entretenu, se serait ainsi effondré au cours du XVe ou au début du XVIe siècle. Il aurait alors été arasé et comblé au niveau du premier étage, pour reconstruire une cuisine au-dessus de l’ancienne.
Le château moderne est le résultat de plusieurs campagnes de travaux échelonnées du XVIe au XVIIIe siècle, qui ont agrandi et transformé considérablement l’édifice médiéval. Tout le coté méridional de l’enceinte castrale fut d’abord abattu et remplacé par la première enceinte urbaine en contrebas. Ce vieil ouvrage fut lui-même remis en état et modernisé par l’adjonction d’un bastion en forme d’éperon triangulaire, destiné à couvrir les abords du portail d’entrée. De vastes terrasses, permettant l’installation de pièces d’artillerie, prirent la place des maisons ruinées du premier noyau de l’agglomération d’Ansouis, depuis longtemps abandonné et racheté par le baron.
