Położony jest przy Trakcie Królewskim. Został zbudowany w latach 1637-1641. W latach 1765-1794 był siedzibą Korpusu Kadetów Szkoły Rycerskiej, od 1824 r. jest siedzibą Uniwersytetu Warszawskiego. Pałac wzniesiony został jako pałac letni „Villa Regia” wg projektu włoskiego architekta G. Trevano, w stylu wczesnego baroku, dla króla Władysława IV.
Był dwukrotnie przebudowywany: w roku 1652 i po 1660 r. po zniszczeniach potopu szwedzkiego wg projektów Izydora Affaita lub Tytusa Burattiniego. Nazwany został Pałacem Kazimierzowskim, na cześć fundatora - króla Jana Kazimierza, dla którego pałac ten był ulubioną siedzibą.
Opuszczony po 1667 r., stał się następnie własnością króla Jana III Sobieskiego. W 1695 r. budynek całkowicie został zniszczony na skutek wielkiego pożaru.
Od ok. 1724 r. stał się własnością króla Augusta II. W tym okresie powstała brama wjazdowa od strony ul. Krakowskie Przedmieście, a na dziedzińcu osiem budynków koszarowych, usytułowanych poprzecznie do fasady pałacu. W 1735 r. stał się własnością hrabiego Aleksandra Sułkowskiego. Powstała tutaj cegielnia, fabryka pieców oraz browar. W latach 1737-1739 A. Sułkowski odbudowwał zniszczony pałac prawdopodobnie wg proj.: Jana Z. Deybla i Joachima D. Jucha.
W 1765 r. lub 1766 r. nowym właścicielem terenu zostaje król Stanisław A. Poniatowski, który lokuje tu Korpus Kadetów Szkoły Rycerskiej, po przebudowie wnętrz przez Dominika Merliniego. W 1794 r. po upadku insurekcji kościuszkowskiej szkoła ta zostaje zlikwidowana.
W 1814 r. kolejny pożar niszczy saskie budynki koszar przed pałacem i w 1816 r. na ich miejscu powstają początkowo dwa boczne pawilony proj. Jakuba Kubickiego. Wówczas też pałac stał się siedzibą Uniwersytetu Warszawskiego. Jednocześnie od 1817 do 1831 r. mieściło się w nim słynne Liceum Warszawskie.
W latach 1818-1822 nastąpiła rozbudowa o dwa równoległe do Krakowskiego Przedmieścia pawilony wg proj. Michała Kado.
W 1824 r. pałac został gruntownie przebudowany w stylu klasycystycznym wg proj.: Hilarego Szpiclowskiego i Wacława Ritschela. Ok. 1820 r. powstały kolejne dwa pawilony przy samym budynku pałacu - północny i południowy. Następnie w latach 1840-1841 powstał pawilon zaprojektowany przez Antoniego Corazziego, pierwotnie przeznaczony na siedzibę gimnazjum, później Szkoły Głównej. Około 1863 r. przebudowano pawilony wg proj. Antoniego Sulikowskiego.
W latach 1891-1894 na pałacowm dziedzińcu, pomiędzy bramą od strony Krakowskiego Przedmieścia, a korpusem pałacu, powstał gmach Biblioteki wg proj.: Antoniego Jabłońskiego-Jasieńczyka i Stefana Szyllera, a w 1910 r. została ukończona nowa brama wjazdowa.
W latach 1929-1931 dokonano przebudowy gmachu Biblioteki, a w 1930 r. wzniesiony został gmach „Auditorium Maximum” wg proj. Aleksandra Bojemskiego. W okresie II wojny światowej pałac został zniszczony wraz z innymi budynkami uniwersyteckimi - ucierpiał zarówno w czasie obrony Warszawy we wrześniu 1939 r., jak też w czasie Powstania Warszawskiego.
Po wojnie został odbudowany w latach 1945-1954 wg proj. Piotra Biegańskiego. Ostatecznie odbudowa całego kampusu akademickiego zakończyła się w 1960 r.
Budynek Pałacu Kazimierzowskiego jest obecnie siedzibą rektoratu Uniwersytetu Warszawskiego, mieści się tutaj również Muzeum Historii UW. Po rewitalizacji budynku w 2006 r. jest on jednym z najlepiej prezentujących się obiektów na całym Trakcie Królewskim.