A causa, però, o di un dissesto finanziario dei Venier o della concorrenza di un’altra famiglia veneziana, il palazzo rimase incompiuto tanto che fu costruito solo parte del pianterreno. La posizione del palazzo è favorevole comunque per godere di una magnifica vista sul Canal Grande, sul Ponte dell’Accademia e sul bacino di San Marco. Nel retro del palazzo è presente un giardino.

L’edificio è passato negli anni nelle mani di diversi proprietari finché, nel 1949, venne acquistato dalla collezionista americana Peggy Guggenheim per farne sia la sua dimora sia il luogo dove conservare la sua collezione di arte moderna, diventata negli anni un vero e proprio museo aperto al pubblico con opere di Picasso, Kandinskij, Magritte, Pollock. La Collezione Peggy Guggenheim possiede una biblioteca speciale dedicata in particolare all’arte e alla storia del museo.