Con l’occupazione francese, il convento si trasforma in un vero e proprio castello. Napoleone Bonaparte fece fortificare la struttura utilizzandola come luogo di osservazione. Tra XVII e XVIII secolo il castello divenne di proprietà di privati che lo utilizzarono principalmente come dimora.