Au XIIIème siècle, un premier château se tenait sur l’emplacement actuel du château de Tarascon. Reconstruit entre 1400 et 1435 par les deux ducs d’Anjou (Louis II puis Louis III) dans un style alliant gothique et renaissance, il sera le lieu de prestiges, de rencontres, de fêtes du Roy René qui y séjournera fréquemment.
Bâti sur un rocher peu élevé, à l’intersection des voies terrestres et fluviales reliant la Provence au Languedoc, le château, du haut de ses 45 mètres, assume le rôle de sentinelle monumentale. Il contrôle, jusqu’en 1481, la frontière politique du Rhône qui coule à ses pieds. Trait d’union entre les villes d’Avignon et d’Arles, Tarascon est, tout au long du Moyen Âge, la base territoriale d’expansion et de conquête des comtes de Barcelone puis des ducs d’Anjou, devenus comtes de Provence.
Du XVIIIe siècle jusqu'en 1926, le Château devient prison d'Etat, en témoignent les nombreux grafitis que l'on retrouve dans de nombreuses pièces du château, transformées alors en cachots. En 1480 déjà, un prisonnier catalan, partisan du roi d’Aragon, ennemi de roi René Ier, y est enfermé dans les cachots. Sur le mur, il grave des représentations de bateaux de guerre, de commerce, mais également de motifs religieux et profanes.