Znany jest także pod nazwą: Pałacu Ostrowskich lub Starej Poczty. Gmach powstał w połowie XVIII w. Pierwszy znany jego widok uwiecznił Piotr R. de Tirregaille w obramieniu planu Warszawy z 1762 r.
Najpierw późnobarokowy pałac stanowił własność gen. Franciszka J. Załuskiego, starosty grójeckiego. W 1761 r. pierwszy właściciel sprzedał go Teodorowi Wesslowi, podskarbiemu koronnemu, który w 1764 r. odsprzedał go Antoniemu Ostrowskiemu, biskupowi kujawskiemu, późniejszemu prymasowi. W swojej historii pałac wielokrotnie zmieniał właścicieli.
W 1780 r. kupił go na użytek poczty Franciszek I. Przebendowski - wojewoda pomorski i dyrektor poczty. Od tego czasu w pałacu mieściła się poczta przeniesiona z kamienicy rodziny Wasilewskich. Poczta znajdowała się tu do 1874 r. Gdy w 1882 r. przystąpiono do poszerzania ul. Trębackiej zburzono narożną trzyokienną kamienicę przylegającą do Pałacu Wesslów. W następstwie tego budynek został gruntownie przebudowany wg proj. architektów: Aleksandra Woydego i Władysława Marconiego. W trakcie jego przebudowy dobudowano również trzecie piętro. Od 1887 r. mieściła się tu przez jakiś czas redakcja „Kuriera Codziennego” i „Tygodnika Ilustrowanego”.
Powstanie Warszawskie w 1944 r. spowodowało, w następstwie walk o miasto, zniszczenie podczaspożaru budynku. Po wojnie pałacowi przywrócony został wygląd sprzed przebudowy w 1882 r.