平安時代末～鎌倉時代（下河辺時代）

　平安時代末期に、下野の小山氏と同族の下河辺庄司行平が、立崎に館を構えたのが最初と伝わる。
　その真偽は不明だが、室町時代に書かれた永享記に載っており、古くからの伝承のようである。

　下河辺氏は源三位頼政の郎党であったが、治承四年（１１８０）平氏打倒のための以仁王の挙兵に加わり破れ、しかし後に源頼朝の挙兵に参加し、下河辺荘の地頭職を安堵されている。
　荘内であった埼玉県松伏町と、春日部市（旧庄和町）赤崎にも行平の館があったとの伝承が残るが、現在それらの遺跡は見つかっていない。

　この時代の館については全く不明だが、当時の武士の館は建物の周囲に、板塀と幅１ｍくらいの溝を巡らした、屋敷と呼ぶほうが似つかわしいものが一般的で、下河辺館もそのようなものであったと考えられる。
　具体的には一編上人絵伝に描かれた筑前国武士の館や、中世夢が原の復元建築が参考になる。

　館の位置は、最も高所であったと考えられる近世の本丸辺り、と推定されている。
　下河辺氏関係遺跡として、源三位頼政を祀った立崎の頼政神社と、行平が富士山本宮浅間大社から勧請したと伝わる加須市（旧北川辺町）伊賀袋の富士浅間神社がある。しかし下河辺氏は行平以降衰退して本拠も移動し、その古河支配は短期間だったと見られている。

　その後は鎌倉北条氏の一族である金沢氏の所領となったようであるが、その時代の資料は少なく、よくわかっていない。