Dans un site d'origine templière (Grand Prieuré de Malte), sur les quais du Rhône au 10, rue du grand Prieuré, ce lieu doit sa vocation artistique, à Jacques Réattu, peintre arlésien, Grand Prix de Rome en 1791, qui achète l’édifice pour y travailler et y accueillir des artistes en résidence. C’est de ce rêve jamais concrétisé que le musée, passé en 1868 dans le patrimoine municipal, a hérité.
Il est classé monument historique en 1958.