W XVII w. w miejscu obecnego pałacu mieścił się drewniany dwór Radziwiłłów. W latach 1680-1705 wzniesiono dla prymasa Michała Radziejowskiego murowany pałac według projektu Tylmana z Gemeren.
W 1712 r. teren ten stał się własnością hetmana wielkiego koronnego Adama Sieniawskiego, który w latach 1713-1721 zajął się jego przebudową. Stworzył oficyny frontowe, dziedziniec gospodarczy i reprezentacyjny i założył ogród. Po jego śmierci w 1726 r. posiadłość odziedziczyła jego córka Zofia, będąca żoną Augusta Czartoryskiego. W 1723 r. Czartoryscy sprzedali pałac bankierowi Piotrowi de Riacour.
W 1733 r. budynek został kupiony przez rodzinę Czapskich, którzy rozpoczęli kolejną przebudowę wnętrza pałacu wraz z jego najbliższym otoczeniem. W latach 1752-1756 nadano mu późnobarokowy wystrój. Bramę główną udekorowano kamiennymi orłami. Po śmierci Czapskiego w 1784 r. pałac odziedziczyła jego córka Konstancja, żona marszałka Sejmu Stanisława Małachowskiego. Od tego czasu w pałacu odbywały się narady, projekty Konstytucji i ustaw oraz wystawne obiady. W 1790 r. architekt Jan Ch. Kamsetzer wybudował dwie oficyny w stylu klasycystycznym i przebudował bramę.
Od 1809 r. tj. po śmierci Stanisława Małachowskiego, pałac stał się własnością rodziny Krasińskich, którzy przekształcili go w jeden z najważniejszych ośrodków życia kulturalnego Warszawy. Odbywały się w nim spotkania literackie pisarzy i poetów organizowane przez Wincentego Krasińskiego, ojca Zygmunta Krasińskiego. Rodzina Krasińskich zgromadziła
w pałacu zbiory biblioteczne - Bibliotekę Ordynacji Krasińskich.
W latach 1909-1945 właścicielem pałacu był hrabia Edward B. Raczyński. Budynek ucierpiał poważnie w czasie II wojny światowej. Odbudowano go w latach 1948-1959 wg proj. Stanisława Brukalskiego - starano się mu przywrócić XVIII w. wygląd.
Obecnie mieści się tu Akademia Sztuk Pięknych.