Bâti vers 1080, le château était un ouvrage défensif mais son rôle a été principalement administratif. Le bourg castral entouré d’une première enceinte renfermait alors un donjon, un hôpital de pauvres ainsi que plusieurs chapelles : Sainte-Marie, la chapelle du Calvaire, Saint-Pierre…
Dès le 12e siècle, l’administration comtale est venue s’installer dans le château qui devient la résidence habituelle des comtes de Forez qui y vivent entourés de leurs chevaliers.
Une deuxième enceinte castrale, plus vaste, est construite au cours du 13e siècle. Elle est percée de trois portes : à l’ouest la porte de la Barrière, au sud la porte de l’Archiprêtré et au nord la porte de Savigneux.Quel que soit le lieu par lequel vous arrivez à Montbrison, vous apercevrez forcément la colline surmontée de ses trois croix qui domine la ville. Ce calvaire, qui a donné son nom à la colline, est en effet établi sur une butte Basaltique (429m alt.). Autour de cette butte sur laquelle se dressait l'ancien château des comtes de Forez, la cité de Montbrison, capitale du Forez, s'est développée au Moyen Age, au contact de la plaine et de la montagne et au voisinage du Grand chemin de Forez.