当社の御創建の年代は詳らかではないが、鎌倉から室町にかけて此のあたりを統治していた豪族安藤氏の創建と伝えられる。
　江戸時代の古地図には、高山の地は三王（山王）坊山と記されており、当社の境内社である三王神社御創建の社伝には、山王坊日吉神社を中心に十三宗寺建ち並ぶ一大霊場があり、安藤氏の祈願所として栄えるも一四四三年（嘉吉三）［または、一四三二年（永享四）］頃に南部勢の焼き討ちにより焼失。この時、山王大神様が黄金の光を放って流れ星のように高山の聖地に降り鎮まれた、と伝えられる。
　稲荷神社創建の社伝には、江戸時代の元禄十四年（一七〇一年）播磨子に赤穂藩主浅野内匠頭長矩の江戸城中での刃傷事件による藩取り潰しの際、赤穂城内に祀っていた稲荷大神の御霊代を藩士の寺坂三五郎が奉戴し、流浪の果て津軽の弘前城下に萬し、その後鯵ヶ沢に移り住み「赤穂屋」と号し醸造業を営み栄える。その子孫がお島に移住するにあたり、この高山の霊地に祀れとのお告げにより遷し祀った、と伝えられる。
　これらを総合して考えると、元々は三王神社が祀られ、その後江戸時代に稲荷神社が創建され、江戸時代の稲荷信仰の隆盛とともに稲荷神社が繁栄し、元々の山王神社が後退したものと考えられる。