Il Palazzo venne costruito alla fine del XVI secolo dalla famiglia cerrese Conti Guilizzoni.
Nel tempo il Palazzo fu proprietà di vari sacerdoti fino al 1856 quando il Don Giuseppe Longhi ne decise la
donazione alla Causa Pia di Cittiglio. Quest'ultima amministrò per nove anni il bene, finchè nel 1865
stabilì la vendita per asta pubblica. Il nobiluomo Don. Leopoldo Perabò acquistò la proprietà
che si trasformò in ente morale e per volontà testamentaria divenne poi sede di un Istituto Agrario.
Negli stessi anni fu anche sede della scuola elementare del Comune e di un pubblico ambulatorio.
Dal 1943 al 1966 l'edificio fu adibito a ricovero per anziani. Nel 1966 la casa di riposo fu, per ragioni di spazio,
trasferita altrove e nel 1968 il Palazzo fu acquistato dall'Amministrazione Comunale con l'idea di istituire un luogo
dove raccogliere la produzione ceramica lavenese. Il 9 maggio 1971 fu inaugurato il museo con la denominazione di
Civica Raccolta di Terraglia.
Un monumentale portone affacciato sul lungo lago accompagna alla corte interna colonnata su tre lati. Il loggiato al
primo piano prosegue con una balconata percorribile su cui si aprono splendidi scorci sul lago. Le sale al primo
piano sono per metà cassettonate e per metà voltate con validi motivi decorativi del XVIII secolo.