Dokončenie tohto nádherného barokového paláca trvalo 58 rokov. Bol postavený pre rodinu Pesaro a bol majstrovským dielom Baldassara Longhena, ktorý na ňom pracoval až do svojej smrti v roku 1682. Antonio Gaspar potom prevzal Longhenov návrh a nakoniec stavbu dokončil v roku 1710.
V 20. storočí prenechala vojvodkyňa Bevilacqua La Masa palác mestu, aby vystavovalo diela mladých a nových benátskych umelcov. Namiesto toho v budove sídlila Galéria moderného umenia, ktorá bola založená v roku 1897, a orientálna zbierka, ktorú mestu daroval princ Bourbonský.
Dnes sa v Ca' Pesaro nachádza stála expozícia diel umelcov ako Bonnard, Matisse, Mirò, Klee, Klimt a Kandinskij, ako aj diel talianskych umelcov 19. a 20. storočia.