Усадьба появилась в конце XVIII века. Старинный род Толстых до конца своих дней владел вотчиной, передавая ее из поколение в поколение. В усадьбе выстроили барский дом в три этажа из камня, каменную церковь, полотняную фабрику, театр, кожевенный завод и лодочную базу, которая осуществляла перевоз гостей с острова на землю. Вся эта богатая промышленность проработала до отмены крепостного права.
В конце XVIII века в Ельцы родился лучший друг поэта А.С. Пушкина — Яков Толстой. Тоже поэт, состоявший в группе «Зеленая лампа». Во время войны против французов в 1812 году Яков пошел на защиту Родины, но в Ельцы уже так и не вернулся. Испугавшись гонений, переехал в Париж, где и был похоронен.
До наших дней сохранился только роскошный барский дом, фасад которого украшают пилястровые портики, выступы и ротонды. В советские времена к зданию были приделаны несколько пристроек. Это визуально увеличило дом в длину.
озеро Селигер, Осташковский район, Тверская область.
