Nazwa pochodzi od koloru dachu, jakim ten pałac został pokryty w 1807 r. Początkowo, od 1721 r., jego właścicielem był biskup Teodor Potocki.
W 1726 r. budynek ten został wykupiony przez króla Augusta II i następnie przebudowany w stylu rokokowym.
Od 1811 do 1944 r. mieszkał w nim ród Zamoyskich. W latach 1812-1815 właściciel rezydencji Stanisław K. Zamoyski zainicjował jego przebudowę w stylu klasycystycznym.
Pałac tętnił życiem kulturalnym. To tu koncertował Fryderyk Chopin. Tu także tworzył pisarz Stefan Żeromski.
W 1939 r. budynek został częściowo zniszczony. Ocalone przedmioty i zbiory biblioteczne zostały wywiezione przez Niemców, bądź spłonęły. W latach 1948-1950 pałac został odbudowany.