Kolowratský rod je s Rychnovem spjat od roku 1640, kdy panství koupil Albrecht Liebsteinský z Kolowrat. Jeho syn František Karel I. Kolowrat Liebsteinský (1620 – 1700), zemský hejtman markrabství moravského, zahájil v roce 1676 stavbu nového raně barokního zámku. Na pozvání jeho syna Norbert Leopold (1655 - 1716), pracoval v Rychnově Jan Blažej Santini Aichel, který navrhnul dnešní monumentální průčelí kostela Nejsvětější Trojice a úpravu celého areálu.
Místo pro stavbu nového zámku bylo zvoleno na mírném svahu pod kostelem Nejsvětější Trojice a vznikl tak mimořádný dojem z celé stavby, jenž se často nazývá „Rychnovské Hradčany“.
Skutečnost, že zámek patřil od svého založení jednomu rodu, přispěla k bohatosti sbírek, které se zde nacházejí. Sbírka obrazů obsahuje portréty členů kolowratského rodu, nejrůznější zátiší, díla s náboženskými a mytologickými náměty, obrazy s pastýřskými, loveckými a bitevními scénami. V knihovně jsou uloženy vzácné rukopisy a staré tisky a jeden exemplář Klaudyánovy mapy.
K zámku patří kostel, který nechal postavit Kryštof Betengel z Neuenperku (1539–1602) jako rodovou hrobku a svatyni Jednoty bratrské. Se stavbou se začalo roku 1594 a byla dokončena i vysvěcena na svátek sv. Trojice roku 1602. Po vrcholně barokní přestavbě průčelí kostela, uhodil roku 1798 do kostela blesk. Až státní ministr František Antonín Kolowrat Liebsteinský nechal zrealizovat přestavbu v novogotickém slohu.
Ke kostelu patří i samostatně stojící renesanční zvonice z počátku 17. století. V roce 1602 byl odlit a ve stavbě umístěn dnes největší soukromý zvon v České republice - zvon Kryštof. Váží 7,2 tuny, má průměr 2 m a výšku 1,47 m.
