Дворец известен не только своей оригинальной архитектурой, но и богатой историей. Первым владельцем здания был князь Голицын, поэтому его иногда называют Голицынским. Сам он почти сразу отказался от имения и почти здесь не жил. Хозяева менялись один за другим, пока не оказался под присмотром графини Паниной. По свидетельствам современников, она была женщиной предприимчивой. Начавший было приходить в упадок, дворец отремонтировали, облагородили парк и обновили интерьер. Комнаты сдавались под жилье, и здесь около полугода лечился ЛевТолстой. А в гости к нему приезжали другие, не менее известные люди – Шаляпин, Горький и Чехов. Сегодня в доме работает санаторий. Одна из его комнат отдана под музей великого писателя.
Строение возведено в готическом стиле. Парковые беседки перекликаются внешним видам с фасадом, который по бокам украшают башенки с зубцами. Особенно тщательно устраивался парк, местные деревья соседствовали с завезенными диковинными. Было даже выкопано небольшое озеро, украшенное фонтаном. Дворец очень сильно пострадал во время землетрясения 1927 года, но, к счастью, его удалось восстановить почти в первоначальном виде.
