I Conti San Martino, già nel XII secolo possedevano questo edificio rustico, del quale non si posseggono descrizioni particolarmente attendibili. Solo a partire dal Seicento si trovano fonti che parlano di diversi edifici, due cappelle, una torre e dei giardini. Da quando Aglié passò sotto il dominio dei Conti di Agliè, il palazzo venne rinnovato da Amedeo di Castellamonte, Ma dopo un breve periodo florido, il palazzo incappò nelle violenze della guerra, e venne invaso dalle truppe francesi tra 1690 e 1706, anno della vittoria dei piemontesi. Dopo un secolo di pace, a inizio Ottocento sono le truppe Napoleoniche ad insediare il castello di Aglié, che diventa un ricovero di mendicità. Dopo la caduta dell’Impero napoleonico, il re Carlo Felice acquista nuovamente gli edifici che vivono il loro massimo splendore. Venne ereditato dai Duchi di Genova che lo lasciarono allo Stato nel 1931. Nel 1955 l’insieme di edifici fu sottoposto all’attento restauro di Umberto Chierici, che venne ripreso negli anni Settanta dall’architetto Giorgio Fea.