Passata nelle mani dei duchi di Mantova, nel 1631 Caluso viene conquistata da Vittorio Amedeo I, che continuerà a delegarne l'amministrazione ai suoi feudatari: sino al 1718 i conti Scaglia di Verrua; a questi subentra prima Benedetto Doria, marchese del Maro, poi Amedeo Valperga di Masino, marchese di Alberey, la cui casata mantenerrà il feudo fino al 1815; seguono poi i conti della Trinità e infine i marchesi Alfieri di Sostegno, che nel 1869 smembrano il feudo, vendendo la maggior parte dei possedimenti, compresi il castello e il palazzo Valperga di Masino all'ingegner Pietro Spurgazzi. Il palazzo verrà acquistato nel 1851 dal Comune, che lo trasformerà in sua sede.