Dokončení tohoto velkolepého barokního paláce trvalo 58 let. Byl postaven pro rodinu Pesaro a je mistrovským dílem Baldassara Longheny, který na něm pracoval až do své smrti v roce 1682. Antonio Gaspar pak převzal Longhenův návrh a nakonec stavbu dokončil v roce 1710.
Ve 20. století přenechala vévodkyně z Bevilacqua La Masa palác městu, aby zde vystavovala díla mladých a nových benátských umělců. Místo toho v budově město umístilo Galerii moderního umění, která byla založena v roce 1897, a orientální sbírku, kterou městu věnoval princ Bourbonský.
Dnes se v Ca' Pesaro nachází stálá expozice děl umělců, jako jsou Bonnard, Matisse, Mirò, Klee, Klimt a Kandinskij, a také děl italských umělců 19. a 20. století.