この神社は昔、6ｋｍ離れた場所から大洪水により森ごと流されてきたと言い伝えられています。神社全体が南方熊楠により名付けられた「オカフジ」に覆われており、この森は県の天然記念物にも指定されています。境内にある江戸時代・延宝の年号が刻まれた手洗鉢は、楠の根にしっかり囲まれて見えなくなっていることから「絶対外れない！」という強さに願をかけて、勝負事の時に訪れる人が多いと言われています。