Rezidenci si jako své sídlo nechal v letech 1729 - 1733 postavit hrabě František Xaver Walter Dietrichstein. Kámen pro její stavbu byl získán bouráním částí boskovického hradu. Kolem r. 1760 byla přestavěna podle projektu Františka Antonína Grimma. Rezidence sloužila jako panské sídlo až do doby postavení nového boskovického zámku roku 1826. Roku 1877 se zde narodil významný moravský krasový badatel Prof. Dr. Karel Absolon. V současné době slouží budova jako sídlo Muzea regionu Boskovicka.
Pravěké nálezy z Malé Hané, šperky z keltského oppida Staré Hradisko, renesanční prapor, replika Boskovické bible.
