渔粉的发源地在栖凤渡这个古镇。传说栖凤渡与三国名士庞统有一段渊源。庞统起初并不被刘备重用，只得个耒阳县令的小职。一次，他投宿栖河古渡小镇，因心事重重，食欲不振，一夜辗转难眠。第二天起床已是响午时分，顿觉饥肠肚饿，而店家早已卖完了吃食。恰巧一名鱼翁打鱼回来经过此店，店家便急中生智，买了一条河涟鱼，立刻杀了熬成鱼汤，加入当地的五爪朝天红椒粉、调入当地特产豆膏、茶油等佐料，用家里过节备用的干切粉做成一碗渔粉。庞统食后汗流满面、胃口大开、酣畅淋漓，顿时觉得精神抖擞，大声赞道：“此乡野之味，亦可登大雅之堂！快哉！快哉！”到了耒阳，他励精图治，最终成就一番事业。因庞统号凤雏，为纪念他，后人把庞统夜宿的古渡称为栖凤渡，而那碗激励其心志的渔粉称为“栖凤渡渔粉”，这便是栖凤渡渔粉的由来