正式には正一位頼政大明神といい、源三位頼政を祀る。
　以仁王と共に平家打倒に失敗し、宇治平等院で自害した源頼政の首を運び諸国修行中に、急に首が重くなったためこの地に葬り、祠を建てたという伝説があり、ご神体は五輪の石塔である。
　当初建てられた祠は不明だが、社殿は大河内松平氏により元禄年間に建てられたもので、市内錦町にある現在の社殿はそれを解体移築したものである。