Les « caves » du Palais Saint Firmin sont ouvertes au public depuis 1999. Elles ont étés redécouvertes par accident en 1961. Depuis, selon son propriétaire, le même qu’en 1961, les travaux de dégagements n’ont jamais vraiment cessés. Celui-ci défini ces caves comme « un condensé de vie Gordienne … une histoire des villages perchés, où la vie était difficile et le travail était dur avec peu de lumière et peu d’air »

A l’origine des ces pièces troglodytes imbriqués les unes dans les autres, l’extraction de la pierre. Gordes est posé sur un rocher de pierre calcaire ayant servi pour la construction de plusieurs bâtiments. Ces carrières ont ensuite été revoûtées et aménagées. L’aménagement de ces pièces a été remodelé au fil des siècles, en fonction des besoins. Les maisons écroulées étaient rebattit les unes après les autres et certaines pièces ont changées de destination, etc.

Les caves sont aménagées principalement sous une grande maison dite "Palais Saint Firmin", elles sont composées de différentes salles troglodytes avec escaliers souterrains, citernes, ancien moulin à huile seigneurial, etc. Le tout formant un réseau de caves dispersées sur 7 niveaux et 18 mètres de dénivelé.

L'aspect et les volumes occupés de ces caves ont évolués au fil du temps et des besoins, mais l'on date les origines de ces caves du XIIe au XVIIIe siècle avec de nombreuses pièces redécouvertes vers la fin du XXe siècle.