Het kasteel is in privé-handen, maar een deel ervan kan bezocht worden.
Vanaf de 10e eeuw maakte het kasteel deel uit van het verdedigingsnetwerk van de abdij van Cluny. In de 13e eeuw werd het omgevormd tot verdedigingsbolwerk. Berzé werd daarmee het grootste militaire fort van Zuid-Bourgondië en het belangrijkste kasteel ter verdediging van Cluny dat in die tijd bijna 1.000 monniken per jaar ontving.
