К усадьбе Харитонова–Расторгуева примыкает обширный парк, заложенный еще в 1826 году. В парке есть искусственное озеро с насыпным островком и круглой беседкой-ротондой. Под парком проходят старые подземные ходы, один из которых обнаружили после обвала в 1924 году. По легендам, старовер Расторгуев, опасаясь гонений, проложил из дома ходы через парк, под Вознесенской площадью до городского пруда. По другим легендам, эти ходы — остатки тайных штолен, где Расторгуев добывал золото.