Barokní budova bývalého kláštera Loreta je jednou z nejmenších a nejmladších zachovaných loret na našem území. Budovu dal postavit Václav Norbert Oktavián Kinský a stavba byla zahájena v roce 1717. Do současnosti se sice nedochovala Santa Casa ani rozsáhlé barokní zahrady, přesto má objekt své nezaměnitelné kouzlo. Budova byla v letech 2001–2002 zrekonstruována pro potřeby městského muzea.
Slavnostně otevřeno bylo v červnu roku 2002. Stálá expozice se věnuje nejstarším dějinám města, cechům a řemeslům, významným chlumeckým rodákům, selským bouřím a návštěvníci si také mohou prohlédnout unikátní střelecké terče a jedinečnou sbírku zemědělských strojů a nářadí, kterou do muzea věnoval chlumecký rodák František Novák.
