Wjazd do pałacu poprzedza niezwykle charakterystyczna duża brama, o półkolistym kształcie. Budynek cechuje stricte barokowy wystrój oraz popularne posadowienie go na planie kwadratu. W jego narożnikach znajdują się cztery pawilony.
Pałac został wzniesiony pod koniec XVII w. dla księcia Dominika Mikołaja Radziwiłła na podstawie projektu Tylmana van Gameren. Na początku Bbył własnością rodziny Radziwiłłów - do początku XIX w., ale z małą przerwą, ponieważ w latach 1744-1759 należał do biskupa Andrzeja Załuskiego i Józefa, jego brata. W latach 1762-1775 był dzierżawiony przez Michała Fryderyka Czartoryskiego. Ok. 1757 r. zostały wzniesione nowe oficyny przy ul. Miodowej wg proj. Jakuba Fontany. W czasie insurekcji kościuszkowskiej w 1794 r. został częściowo zniszczony, a podczas okupacji pruskiej w latach 1807-1809 znajdował się w nim teatr, a później koszary wojskowe i lazaret.
W 1825 r. pałac kupił gen. Ludwik M. Pac, który przystąpił do jego przebudowy na podstawie proj. Henryka Marconiego w stylu klasycystycznym. W środkowej części architekt umieścił sześciokolumnowy portyk, zbudował boczne skrzydła i pawilony od strony ul. Miodowej w miejsce wcześniejszych oficyn, które połączyła trójarkadowa, półkolistą brama. Fryz ponad arkadami, przedstawiający Tytusa Flawiusza ogłaszającego wolność miast greckich, został udekorowany płaskorzeźbami autorstwa Ludwika Kaufmanna. We wnętrzach pałacu urządzono Salę Gotycką i Mauretańską.
Generał M. Pac wziął udział w powstaniu listopadowym, za co w 1835 r. jego majątek wraz z pałacem został skonfiskowany. Następnie przebudowano jego wnętrza pod kierunkiem Stefana Balińskiego. W latach 1848-1875 mieściła się tu siedziba Rządu Gubernialnego, a w latach 1875-1939 Sąd Okręgowy.
Pałac poważnie ucierpiał podczas II wojny światowej. Został odbudowany w latach 1947-1951 wg proj. Czesława Konopki i Henryka Białobrzeskiego, przy czym elewacja od strony dziedzińca została odbudowano wg pierwotnego proj. H. Marconiego, a elewację ogrodową wg nieco zmodyfikowanego, ale oryginalnego proj. Tylmana van Gameren.
Obecnie mieści się tu Ministerstwo Zdrowia i Opieki Społecznej.