寿永3年/元暦元年（1185年），源範頼（頼朝の弟，義経の兄）は平家追討軍を率い京都より出発する。
特に，舟戦に長けた平家に対し，舟を持たない源氏にとって水軍確保は緊急の課題であったが遅々として進まず，逆に平家の水軍に兵站を断たれてしまうほか，備前国児島半島に城郭まで築かれてしまう。
範頼軍にとり，この城郭を攻略することは重要な問題であり，そこで佐々木盛綱がこの城郭と約500mの海峡を挟んだ藤戸の地に向かう。
盛綱の軍勢に対し，城郭を築いた平行盛は盛綱を盛んに挑発，意を決した盛綱は騎馬で押し渡り行盛を追い落としたといい，平家は讃岐国屋島へと逃走したのだという。
なお，この戦いには一つの伝承がある。
盛綱が城郭を攻めあぐねている際，近くで漁をしていた若者に，渡れそうな浅瀬がないか聞いたところ，その若者は親切にも教えてくれた。
しかし，このことが若者から漏れるのを恐れた盛綱はその場で若者を斬り殺し，そのまま城郭へ攻め込んだのだという。
一方，この若者には年老いた母親がおり，盛綱の仕打ちを聞くや半狂乱となり，裏山に駆け込むと「佐々木と聞けば笹まで憎い！」と，手足が切れて血塗れになるのも厭わず，この山の笹という笹を毟り取ったのだという。
その執念からか，この山は以後「笹無山」と呼ばれ笹が生えなくなったと言われているほか，安易に立ち入ると祟りを受けるとして，地元の人間は近寄ることがなかったのだそうである。
