这座宏伟的巴洛克式宫殿花了58年才完成。它是为佩萨罗家族建造的，是巴尔达萨雷-朗赫纳的杰作，他一直工作到1682年去世。安东尼奥-加斯帕尔随后采用了隆赫纳的设计，最终于1710年完成了该结构。
在20世纪，贝维拉夸-拉马萨公爵夫人把宫殿留给了城市，以展览年轻的和新的威尼托艺术家的作品。这座建筑反而被市政府用来容纳成立于1897年的现代艺术馆，以及波旁亲王捐赠给该市的东方收藏。
今天，Ca' Pesaro长期展出艺术家的作品，如博纳尔、马蒂斯、米罗、克利、克里姆特和康定斯基，以及19和20世纪的意大利艺术家的作品。