Il nucleo originario del Palazzo risale al XIII secolo, quando i conti di Biandrate fecero edificare una prima struttura nel centro di Caluso dopo esserne diventati i signori. L'edificio veniva arricchito da un porticato verso la piazza ed uno verso il cortile interno. I Biandrate mantenevano la proprietà anche nel secolo successivo, quando il feudo di Caluso passava a Filippo di Savoia-Acaja. A metà Cinquecento invece decisero di vendere ai Morra, consignori di Candia, i quali sul finire del secolo apportavano diverse modifiche tra cui la chiusura dell’antico portico affacciato sulla piazza e l’ingrandimento dell’edificio delle origini. All'inizio del XVII secolo la proprietà passava alla famiglia Scaglia di Verrua.