Активное строительство в Остафьево началось после того, как в 1792 году имение купил князь Андрей Вяземский, решивший провести тут старость. Единственная сохранившаяся с давних времен постройка — Троицкая церковь на противоположной от ворот стороне дороги. Архитектором новой усадьбы был Иван Старов, хотя говорят, что участие в составлении проекта принимал сам князь. Аллея, начинающаяся от ворот усадьбы, ведет к двухэтажному дому, который соединен с боковыми флигелями колоннадами. К 200-летию постройки дом отреставрировали и восстановили интерьеры начала XIX века. Экспозиция посвящена в первую очередь гостям трех поколений Вяземских: историку Николаю Карамзину, который закончил здесь работу над «Историей государства Российского», Жуковскому, Кюхельбекеру, Грибоедову, Мицкевичу, Баратынскому и Пушкину, прозвавшему имение «Русским Парнасом». В 1860 году уже Павел Вяземский пригласил в гости художника Сан-Джованни, и за несколько вечеров они вдвоем расписали плафон Овального зала. Зять князя коллекционер и ценитель старины граф Сергей Шереметев относился к усадьбе как к памятнику культуры и фактически создал в Остафьево частный литературный музей-заповедник. На липовой аллее за домом было установлено несколько бюстов владельцев и гостей усадьбы. В первые годы советской власти здесь открылся государственный Остафьевский музей, директором которого был Павел Шереметев, наследник имения, но в 1929 году Шереметева уволили и выселили из флигеля, а в усадьбу въехал санаторий, просуществовавший до конца 1980-х.