霧ヶ城は絶対に落城しないという言い伝えが、築城の時から伝えられていた。
それは嶮阻な地形にもあったろうし、あの山にと思われる飲料水も、二つの井戸から湧き出る水で充分であったからであろう。
四代満泰公が、田地ヶ岡から、白旗ヶ峰に城を移すための霧ヶ城築城の際に、神牛といわれた赤牛2頭が生贄として、本町谷(霧ヶ城南側の中腹)に生埋めとなっており、それが時を経て、石と化したという伝説があり、信じられていたという。むしろ宗教的な心の支えとなっていたものだろう。
その時以来、この二つの大石は牛石と呼ばれ、今は、高村光太郎の詩碑として残されている。