1873年の全国城郭存廃ノ処分並兵営地等撰定方（廃城令）で建物は取り壊され、城内の大半は畑に、濠は水田となった。城門の一部は移築され、石垣の石も売却されている。
　明治時代は塁濠の輪郭をほぼ留めていたものの、足尾銅山の鉱毒問題を期に渡良瀬川の大改修工事が始まり、流路の直線化によって本丸・二ノ丸など内郭部は河川敷（高水敷と堤防敷）となった。内郭部は微高地上にあったが、地盤ごと削り取られ、その土砂は新たに造られた堤防に用いられている。

　大正時代以降、観音寺曲輪や諏訪曲輪など外郭部はなお田畑として残っていたが、1950年頃からは道路建設や宅地化などが急速に進み、今は古河歴史博物館周辺と頼政神社などに、わずかに土塁が残るだけの状況となっている。本丸跡は渡良瀬川河川敷内の野球グラウンドとなり、直近の堤防上には石碑・案内板が設けられている。