Дворец был построен крепостными руками графа Шереметьева.