A vár és a város története szorosan összekapcsolódik.

Először 1391-ben említik a települést Zygeth néven, majd a XV. század első felében Szigethi Antimus Osvát uraság megkezdte a Kerektorony néven ismert kőtorony építését a mai északnyugati bástya helyén. A tornyot fallal vették körül, majd megmagasították, közben újabb épületek, raktárak épültek a környéken, így bővült a település. Miután a lakosság száma folyamatosan növekedett, az első szigeten kezdődött el a tényleges vár, a második szigeten pedig a város felépítése.