古代から祖先の霊魂を祀る山を「たけやま」と呼び、嵩山は死者の霊が山の上に集まる神聖な「霊山」として、吾妻盆地の各地から信仰を集めていました。また、この山には神様がいて、春には里におりて田畑の神となり、実りを与えてくれるとされていました。
縄文式文化時代の遺跡も多く、「嵩山の神和利大明神として子持山の神を妻とし、鳥頭明神を子供として吾妻地方の中心的な神となっていた」と、神々の縁起を集めた『神道集』には記されています。
また、嵩山は天狗の住む山とも言われ、現在でも東の峰を大天狗、中の峰を中天狗、西の峰を小天狗と呼んでいます。