I conti di Verrua, nuovi proprietari all'inizio del Seicento, intendevano utilizzare il palazzo come residenza estiva e davano il via a diversi lavori di abbellimento, al fine di trasformarlo in un luogo adatto alla villeggiatura: un alto muro di contenimento veniva innalzato, mentre era modificata la strada che dal paese conduceva alla porta del Vignale, al fine di creare un nuovo giardino; veniva costruita una manica lunga per il personale di servizio, per separare gli ambienti dei magazzini e delle scuderie dagli appartamenti signorili, per i quali si prevedeva una nuova decorazione con diversi cicli di affreschi di artisti luganesi. Quando la famiglia Verrua si estinse, a inizio Settecento, il palazzo passò ai conti Valperga di Masino.