Es dauerte 58 Jahre, um diese atemberaubende Barockschloss abzuschließen. Gebaut für die Familie Pesaro, war es das Meisterwerk von Baldassare Longhena, der auf ihn bis zu seinem Tod im Jahre 1682 arbeitete. Antonio Gaspar übernahm dann Longhena Design und beendet schließlich den Aufbau im Jahr 1710.
Im 20. Jahrhundert, vermachte die Herzogin von Bevilacqua La Masa den Palast in die Stadt, um die Werke junger und neuer venezianischer Künstler ausstellen. Das Gebäude wurde stattdessen von der Gemeinde benutzt, um die Galleria d'Arte Moderna, die 1897 gegründet wurde hosten, und die Orientalische Sammlung an die Stadt durch den Prinzen von Bourbon gespendet.
Heute verfügt Ca 'Pesaro eine ständige Ausstellung von Arbeiten von Künstlern wie Bonnard, Matisse, Miro, Klee, Klimt und Kandinsky, zusätzlich zu den Werken italienischer Künstler des 19. und 20. Jahrhundert.