L’impianto originario del castello risale all'XI secolo, periodo in cui attorno alle sue mura, il villaggio di Castellamonte avrebbe iniziato il suo sviluppo. Oggi risulta costituito da due corpi di fabbrica facilmente distinguibili, mentre l'ingresso è segnato dalla torre-porta quattrocentesca, una delle sette porte della cinta muraria andate distrutte nel XIV secolo nel corso della rivolta dei Tuchini. Le rovine del castello passarono in eredità ai Conti di Castellamonte che nella seconda metà del XVII secolo, grazie agli interventi dell’architetto Amedeo di Castellamonte, le convertirono nella loro residenza. È ancora riconoscibile la trasformazione di impianto seicentesco, un palazzo che sviluppa su due livelli caratterizzato da facciate di colore bianco ben visibili nel paesaggio. Altri simboli con cui viene identificato il castello sono la sua Torre Rossa in stile neo-gotico, caratterizzata da facciate decorate in “terra rossa” di Castellamonte progettate dall’architetto Luigi Formento per i conti San Martino nella seconda metà del XIX secolo, e il giardino a balconata circondato da una balaustra costituita da elementi in terracotta.