Foram necessários 58 anos para completar este magnífico palácio barroco. Construída para a família Pesaro, foi a obra-prima de Baldassarre Longhena, que nela trabalhou até à sua morte em 1682. Antonio Gaspar tomou então o desenho de Longhena, acabando por completar a estrutura em 1710.
No século XX, a duquesa de Bevilacqua La Masa deixou o palácio à cidade para expor as obras de jovens e novos artistas véneus. O edifício foi utilizado pela Cidade para albergar a Galeria de Arte Moderna, que foi fundada em 1897, e a Colecção Oriental doada à cidade pelo Príncipe de Bourbon.
Hoje, Ca' Pesaro alberga uma exposição permanente de obras de artistas como Bonnard, Matisse, Mirò, Klee, Klimt e Kandinsky, bem como obras de artistas italianos dos séculos XIX e XX.