Die internationale Verbindungsstrasse Italien - Burgund führte zwischen einem Felsvorsprung des Burgberg und dem Mauremont-Berg hindurch. Baron Adalbert II von Grandson lies im Jahre 1049 auf dem Felsvorsprung, zur "Sicherung" der Strasse, die Burg erbauen. Die Herren von Grandson waren nicht besonders friedenslieb, so sagt man. Ob die Burg zur Sicherung des Landes, oder zur Erpressung von Zöllen, erstellt wurde, bleibe dahingestellt. Sicher ist hingegen, die Burg blieb bis 1948 in Familienbesitz. 3 mal wechselte der Familiennamen, weil eine einzige Tochter die Erbin war und der Name des Mannes angenommen wurde. So waren es von 1050 bis ins 13. Jh. die Grandsons, vom 13. Jh. bis anfangs 16. Jh. die Montferrand-La Sarra, vom 16. Jh. bis 1902 die Fam. de Gingins-La Sarra und von 1902 bis 1948 Henrie de Mandrot. Henrie de Mandrot verfügte in seinem Testament, dass das Schloss der Öffentlichkeit zugänglich gemacht wird.

Das Schloss wurde verschiedene Male geplündert und auch zweimal abgebrannt. Das letzte Mal 1536 durch General Nägeli. Die Ausstellungsstücke im Museum stammen alle aus Familienbesitz und datieren zuweilen ins 15. Jahrhundert. Über 150 Porträts, Porzellangedecke aus verschiedenen Epochen, Möbel, Teppiche...