Opevnění města bylo vybudováno r. 1322 a obepínalo v oválu město. Přirozenou součástí opevnění byla řeka Otava, říčka Roušarka, bažinatý terén na jihu a vodní příkop. Do dnešní doby se z hradeb zachovaly pouze malé zbytky (např. u autobusového stanoviště na nábřeží) a zbytky Klášterní brány u mostu přes Otavu.