Ai primi del 1600 la paura di sbarchi nemici induce a realizzare un muro continuo che separa i moli dalla città. Da allora sino a pochi anni fa il Palazzo rimane separato dal Porto.
Va notata la fontana (chiamata "Barchile" ) a servizio delle navi: un segno di accoglienza che contraddice la durezza delle mura a pochi metri.