常山城は岡山県岡山市と玉野市にまたがる，標高約300mの常山に存在していた山城である。
同城は，文明年間（1469～1486年），この地に勢力を有していた戦国大名・三村氏と姻戚関係にあった上野氏が築城・居城としたとされているが，その詳細は不明な点が多い。
ところで，上野氏の主君・三村氏では，永禄9年（1566年），当主・家親が，近隣勢力である宇喜多直家の手により暗殺されるという事件が発生する。
家親の跡を継いだ元親は，毛利氏の力を借りて宇喜多氏と対峙していたのだが，天正2年（1574年），毛利氏は宇喜多氏と同盟を結んだため元親は毛利氏から離反，織田氏と手を結ぶことになる。
これに対し毛利氏はすぐさま元親を討伐する兵を挙げるのだが，上野氏もその関係上，毛利氏と戦うことになる。
そして天正3年（1575年），常山城は毛利氏の軍勢に囲まれることになる（元親はすでに自刃していたが，上野氏の当主・隆徳は抵抗を続けていた。）。
しかし，兵力の差はいかんともし難く，ついに隆徳は二男と妹を手にかけた後，嫡男と共に自害して果てたのだという。
なお，隆徳の妻・鶴姫は家親の娘であるが，この戦いにおいて侍女30余名を率い城外に突撃，毛利氏の武将・乃美宗勝に一騎討ちを挑むが，宗勝はそれを拒否している。鶴姫はその後城内に戻り，やはり自害したのだという（現在，同城跡には鶴姫及び侍女を祀る34基の墓が残されている。）。
その後，同城は宇喜多氏，そして小早川氏の持城となるが，慶長8年（1603年），小早川氏当主・秀秋が病死，同氏が改易後，池田氏がこの地を領した際，同城は廃城となる。
上記のように，毛利氏と壮絶な戦いが繰り広げられた同城では，今もなおその際の戦死者が彷徨うのか，心霊写真が撮影されるという話や，女性の幽霊や鎧武者の幽霊の目撃談があるとされているのだという。
