W 1780 r. kupiec Izaak kupił od Augusta Sułkowskiego w tym miejscu posesję i wystawił na niej pałac w stylu klasycystycznym, najprawdopodobniej na podstawie proj. Efraima Schroegera, którego budowę ukończono w 1784 r.
W 1848 r. odkupił go Władysław Pudłowski i zlecił jego przebudowę znanemu warszawskiemu architektowi Henrykowi Marconiemu. Architekt dobudował do niego jeszcze jedno piętro, trzy oficyny, balkony, attykę balustradową, a fasadę przyozdobiono korynckimi pilastrami. W 1851 r. ustawiono jeszcze rzeźby autorstwa Pawła Malińskiego przedstawiające muzy: Klio, Uranię, Talię i Erato.
W 1853 r. pałac stał się własnością hrabiny Aleksandry z Lavatów Kossakowskiej. Jej mąż Stanisław Kossakowski zgromadził w budynku zbiory malarstwa, broni; stworzył również okazałą bibliotekę. W 1858 r. przebudowano wnętrza pałacu wg proj. Franciszka M. Lanci. Utworzył on salę balową i galerię malarstwa. W 1865 r. posesję odziedziczył syn Kossakowskich – Stanisław Kazimierz. Od 1874 r. organizował w pałacu piątkowe wieczory literackie. W belwederze pałacu znajdowała się pracownia Władysława Podkowińskiego, w której w 1894 r. powstał jego obraz pt. „Szał uniesień”. Właściciel pałacu zmarł w 1905 r. W następnych latach pałac został jednak przekształcony w kamienicę czynszową i od tego czasu był stopniowo zaniedbywany. W 1930 r. został kupiony przez Warszawskie Towarzystwo Ubezpieczeń.
Pałac Kossakowskich został mocno zniszczony podczas kampanii wrześniowej w 1939 r., a dodatkowo ucierpiał jeszcze podczas powstania warszawskiego w 1944 r. Po wojnie odbudował go w latach 1946-1949 Mieczysław Kuzma. W 1968 r. obiekt przeszedł na własność skarbu państwa. W 1972 r. odtworzono zdobiące go niegdyś figury muz.