Zámek spojuje jednu z nejstarších staveb města, umělecko-historickou památku, kulturní instituci i minulost starší než budova sama. Na jeho místě stála tvrz zemského rodu Kladenských z Kladna.
V roce 1705 se zámek stal majetkem břevnovsko-broumovského opatství a byl přestavěn K. I. Dientzenhoferem do podoby letní opatské rezidence.