曲輪配置は中央やや南に本丸を置き、それを取り囲むように西に二ノ丸、北に三ノ丸、東に東帯曲輪、南に頼政曲輪があり内郭を構成している。
　外郭として北に丸ノ内（桜町・小砂町）、観音寺曲輪、南に立崎曲輪があり、西の川沿いに西帯曲輪、丸ノ内の東側に諏訪曲輪（出城）を構えている。

　城地は本丸が最高所（諏訪曲輪を除く）で標高約17～18ｍあり、南方は立崎曲輪に向かって微高地が続いている。 北方は三ノ丸から丸ノ内が最も低く標高約12～13ｍ、観音寺曲輪は北に向かって緩やかに高くなっている。 対して、城下町の標高は約18～21mあり、城と城下の高低が逆転しているのが珍しい。 諏訪曲輪は台地の一角を占めているため、標高15~19mある。

　西は渡良瀬川で川幅100~160mあり天然の外濠となっている。その対岸は沼が散在している低地で、大軍の行動が不向きな地帯である。
　東から南は幅110~150mほどの沼を外濠とし、その周囲は御所沼などの沼や低地が複雑に入り組んだ地形となっている。

　なお、内郭・外郭を分けたが、次第に出城を除く全域が内郭として扱かわれるように変化したようである。 そのため当初は三ノ丸門が大手とされていたが、やがて追手門にその役目が移っている。