Diversi sono stati i popoli interessati al controllo strategico della posizione. Dopo la conquista da parte dell'impero mongolo, il Granducato di Lituania riuscì a farsi avanti e respingere gli occupanti, mantenendo il controllo della fortezza fino al 1434. Con la minaccia dell'Impero Russo e di quello Ottomano i lituani si unirono Regno di Polonia e fondarono insieme la Confederazione polacco-lituana, facendo diventare il castello il principale avamposto di difesa contro i turchi, che riuscirono comunque ad ottenere il controllo della fortezza dal 1672 al 1699. La Confederazione polacco-lituana ne riottenne il controllo per ancora un secolo circa finché l'Impero russo ne prese il possesso e lo mantenne fino alla perdita della sua importanza strategica nel XIX sec.