Contrairement à la plupart des autres châteaux souvent convertis en prisons ou en arsenaux, celui de La Sarraz a toujours été la résidence des barons de La Sarraz et n'a jamais changé de mains jusqu'à la mort de la dernière châtelaine en 1948.

Cette particularité fait son intérêt et sa richesse : il a gardé le caractère d'une demeure habitée et les objets qu'il abrite ont été acquis au cours des années par les générations qui se sont succédées dans ses murs. Ainsi, en parcourant les salles, le visiteur voyage dans le temps et découvre les meubles précieux ou encore les superbes pièces d'argenterie.

Durant la première moitié du 20ème siècle, grâce à la dernière châtelaine, Hélène de Mandrot, il a été un centre d'activité culturelle et artistique connu au-delà des frontières.