Le château est implanté à mi pente, sur la même rive que le bourg qu'il domine, et à proximité immédiate d'une importante mine médiévale, connue sous le nom de "Baume de Viviers". Construit à la pointe d'un éperon surplombant la rivière, le château pouvait ainsi contrôler le chemin de Tauriers et plus largement les accès nord vers Jaujac et la Souche ou Valgorge. À l'origine, la tour carrée dite « Argentaria » élevée au 12ème siècle par les évêques de Viviers pour à la fois protéger l'exploitation, mettre en sécurité l'argent tiré des mines et aussi affirmer leur propre revendication sur ce revenu attractif face aux prétentions concurrentes d'autres seigneurs, en particulier les puissants comtes de Toulouse dont la forteresse rivale de Fanjau surplombait la ville en rive gauche. Cette tour "argentière" donnera son nom à la ville devenue l'Argentière.