Au XIIe siècle, une forteresse militaire est érigée pour protéger la plaine comtadine (formant le Comtat Venaissin) contre les invasions sarrasines et italiennes.
Au XVIe siècle, la forteresse est transformée en un château Renaissance. De 1680 à 1690, il sera fortifié (selon Vauban) .
Le 14 septembre 1791, le Comtat Venaissin est rattaché à la France. Le 12 août 1793 est créé le département de Vaucluse, constitué des districts d'Avignon et de Carpentras, mais aussi de ceux d'Apt et d'Orange, qui appartenaient aux Bouches-du-Rhône, ainsi que du canton de Sault, qui appartenait aux Basses-Alpes.
Abîmé à la Révolution, le château ne sera reconstruit qu'en 1929 grâce à des fonds privés.
Durant la Seconde Guerre mondiale, il abrite un petit foyer de la Résistance qui, jugé responsable de la mort d'un soldat allemand au château en 1944, coûtera à l'édifice d'être incendié par les troupes allemandes.
À partir de 1960, nouveaux travaux de restauration du château.