大部分が不整形な形状をしており、特に東側は土塁も無く自然の地形を留めていると思われる。 内部は平坦で標高は約16～17ｍと高く、外郭と云うこともあり土塁を高く築く必要が無かったようだ。 ここは奥平氏よって整備されたが、在城期間が三年と短かったので、そのせいも有るかもしれない。

　内部は足軽組や上級家臣の家士の屋敷が置かれていたが、やがて空地となっていき、江戸後期には頼政神社別当の山伏文殊院が住まうのみになった。 また、一時は煙硝蔵も置かれたが、危険なため城外に移されている。

　西側土塁は濠水面より高さ2間半あり、濠はヤゲン堀と呼ばれた。
　南端の小郭は土塁も無く、かつ低地のようで次第に使われなくなり、江戸中～後期に放棄されたようである。