Богато украшенное лепниной в виде львиных масок, доспехов, мечей и других атрибутов военной тематики здание гауптвахты, выстроенное в стиле ампир, совсем не похоже на место для заключения преступников. Несмотря на свои небольшие размеры, оно отлично вписывается в ансамбль центральной площади. П ри советской власти в здании находились сначала музей и библиотека, а одно время даже загс. С 1996 года здесь располагался литературный музей, который, по логике вещей, в 2005 году сменила военно-историческая экспозиция, которая там находится и сейчас.