Дом был построен в 1773 году неким масоном, и здесь проходили заседания масонской ложи. По преданию, масоны отрыли пока не обнаруженный подземный ход, а в одной из комнат особняка произошло не то убийство, не то самоубийство из-за несчастной любви. Поэтому завелось привидение. Особняк вместе с привидением был куплен мужем великой Ермоловой, адвокатом Шубинским, в 1889 году. От той поры сохранились знаменитые на всю Москву сиреневые стекла в кабинете актрисы.
Полностью домом-музеем здание стало с 1986 года, когда отселили последних жильцов. Был частично восстановлен интерьер, в том числе артистическая уборная Ермоловой в Малом театре и кабинет Шубинского. Сейчас здесь часто проходят музыкальные вечера и встречи с актерами. На Новый год в музее проводится представление «Рождество в доме Ермоловой», где можно переодеваться в театральные костюмы и наряжать елку, а для детей устраивают домашнюю елку в лучших традициях дореволюционных дворянских праздников.