Здание музея, напоминающее маленький Эрмитаж, построено в 1777-1779 годах как дворец губернатора. Впрочем, очевидная столичность облика с годами породила легенды, что это едва ли не путевой дворец Екатерины II или императорская резиденция. В общем, и правда — такое породистое елизаветинское барокко в провинции встретишь не часто. Дворец стоит во дворе другого архитектурного шедевра — сталинского здания Юго-Восточной железной дороги. В музее неплохая коллекция русского и западноевропейского искусства, что для художественных музеев России вполне обычно, и, что уже не обычно, коллекция искусства античности и Древнего Египта.