民间传说，南宋年间，金兵进犯中原，岳飞率兵抵抗,岳家军所向披靡。可奸臣秦桧与当时的南宋皇帝狼狈为奸，想与金兵媾和，这样岳飞就成了他们的眼中钉，一天之内竟连发十二道金牌命岳飞回临安（杭州），无可奈何的岳飞只好率兵南回，老百姓随着岳家军一路后退，一直到了扬子江畔的靖江。半夜，岳飞踱出帐篷，看到面前的这块土地宜桑宜粮，是一块养人的鱼米之乡。天亮时分，岳飞召集老百姓，说出了一番视民如子的肺腑之言：你们就不要随我渡江了，这是一块好地方，你们就在这里生息吧，我愿这块土地八百年无水灾，八百年无旱灾，八百年无兵灾。岳飞的话鼓励了众百姓，也就有了靖江与他的一段奇缘。传说中那批中原百姓中的朱、刘、陈、范、马、陆、郑、祁八大姓氏，成为靖江最早的居民。岳飞要走了，老百姓紧紧相随,送了又送，送到江边一座桥头才不得不停住了脚步，这座桥后来被命名为“望岳桥”。岳飞脱下了身上的白袍留给老百姓作留念，后来百姓为了怀念岳元帅，希望岳元帅长生不老，就建成了供奉白袍的白衣堂，再后来又建成了一座生祠。
