曲輪配置は中央やや南に本丸を置き、それを取り囲むように西に二ノ丸、北に三ノ丸、東に東帯曲輪、南に頼政曲輪があり内郭を構成している。
　外郭として北に桜町・小砂町（丸ノ内）、観音寺曲輪、南に立崎曲輪があり、西の川沿いに西帯曲輪、丸ノ内の東側に諏訪曲輪（出城）を構えている。

　城地は本丸から頼政曲輪にかけてが最高所（諏訪曲輪を除く）で標高約16ｍであり、南方の立崎曲輪に向かって微高地が続いている。 北方は三ノ丸付近が最も低く標高約12～13ｍ、そこから北に向かって緩やかに高くなっており、観音寺曲輪外北側の家臣居住地のある台地へと繋がっている。
　日光街道沿いの宿場は猿島台地上にあり、標高は約18～21mなので、城と城下の高低関係が逆転している。 諏訪曲輪は台地の縁辺に位置し、標高15～19mある。

　西は渡良瀬川で川幅100～160mあり天然の外濠となっている。対岸は川や沼が散在している低地で、大軍の行動が不向きな地帯である。
　東から南は幅110～150mほどの下堀と呼ばれる沼を外濠とし、その周囲は御所沼などの沼や低地が複雑に入り組んだ地形となっている。

　なお当初は三ノ丸門が大手とされ、それより内側がいわゆる「城」とされていたようである。三ノ丸北側の桜町や小砂町が曲輪と呼ばれないのもそれが理由であろう。しかし北側に観音寺曲輪が造成されると追手門が大手となり、全域が「城」と扱われるように変化したようである。