公元1129年（建炎三年），孔子48世嫡长孔端友随宋高宗赵构南渡，赐家衢州。
孔端友流亡衢州行使“衍圣公”职权期间，占领北中国的金太宗也在曲阜立孔端友的胞弟孔端操为“衍圣公”。不久，崛起的蒙古族为了笼络人心，在其占领区内，也册封了一位“衍圣公”，即孔子51世孙孔元用。这样，当时的中国境内，有了3位为不同政权服务的“衍圣公”。
元始祖忽必律统一中国之后，“封宣圣后，疑所立”而访得“孔氏子孙在衢州者，乃其宗子”（《明一统志》），即于1282年（至元十九年）秋，诏命衢州第六代衍圣公(孔子53世嫡长孙)孔洙赴京，令他载爵去曲阜奉祀。孔洙以先祖庐墓在衢州，且衢州已建家庙，不忍举家北上为由，愿意让爵给曲阜族弟孔治。元始祖同意了孔洙的请求，称赞他“宁违荣而不违道，真圣人后也”，便改封他为国子监祭酒，提举浙东道学校事。1295年（元贞元年）元成宗铁木耳特授孔治中议大夫袭封衍圣公职。从此，不仅有了“南孔”与“北孔”之分，“南孔”便渐渐形同平民了。
对孔洙“德让爵位”这一重要历史事件，元、明、清三代学者的著作中都有记载和褒扬，如清代学者邵远平的《元史类编》中写道：“孔洙，圣裔也。自宋南渡，孔子四十八代孙端友从南，家衢州，袭封衍圣公；金人亦求其在曲阜者（按：孔端操）封焉。世祖既平宋，议所立，或言‘寓衢者为大宗’。召洙至，欲封之，使归鲁。洙以先世庙墓在衢，不忍舍，固让其爵于在鲁者（按：孔治），且以母老乞南还。世祖嘉之曰：‘宁违荣而不违道，真圣人后也。’授祭酒兼提举浙东学校，以便奉母。自端友后，六世皆裔衍圣公，其罢封自洙始。”
1505年（弘治十八年），衢州知府沈杰向明孝宗朱祐樘上疏，称：“衢州圣庙，自孔洙让爵之后，衣冠礼仪，猥同氓庶。今访得洙六世孙孔彦绳(孔子59世嫡长孙)，请授于官，俾主祭事。”沈杰还奏请孝宗下诏减轻孔家祭田税赋，孝宗准奏。次年，即1506年（正德元年）接位的武宗朱厚照秉承先皇旨意，封孔彦绳为翰林院五经博士，钦定子孙世袭。这样，衢州孔氏后裔在失去爵位224年之后，又得到了封号。从此，“五经博士”的爵位，由孔彦绳的子孙世袭下去，直到1919年，任五经博士的孔子73世嫡长孙孔庆仪被北洋政府改任为“大成至圣先师南宗奉祀官”。这期间，曲阜家庙的主持人仍称衍圣公。孔洙让爵之后，孔氏南宗宗子世袭“翰林院五经博士”。“翰林院五经博士”虽仅衍圣公次子待遇，然由其继元初“疑所立”后，再次被确认为“嫡长孙”，始终是曲阜衍圣公府欲走向“官孔”者们的一块心病。因此，在明武宗去世后不久，“南宗庶支”和“孔洙无后”的老调重新出笼。对于这一孔氏的昭穆之辨，明万历南京刑部尚书、文苑名士王世贞在其《弇山堂别集•思泽公侯表•五经博士》中说得明白：“衢州长嫡一人世袭五经博士。”明左都御史刘宗周在《曾氏家乘序》中写得更加清楚：“浙之衢有至圣裔，相传为孔氏大宗。盖宋南渡时，其宗子抱祭器随驾，因而袭封；而留曲阜守林者，其支庶子也。”民国元老刘禺生先生在《南渡孔圣后裔考证》中分析得尤其透彻：“北宗曲阜，历各朝二千五百余年，封祀之圣地也。南宗衢州，则为自南宋以来，世世相承，不受外族封祀之冢脉也。”
1935年1月18日，国民政府明令废去一切封建爵位，孔子77世孙、衍圣公孔德成改任“大成至圣先师奉祀官”。孔德成先生现在台湾，曾任国民政府考试院院长，仍有着“大成至圣先师奉祀官”的称号。
1944年10月，“大成至圣先师南宗奉祀官”由孔子75世嫡长孙孔祥楷承袭。这年，孔祥楷虚龄7岁。孔祥楷先生毕业于西安建筑工业大学，曾任河北金厂峪金矿矿长、沈阳黄金学院副院长、衢州市市长助理、衢州市委统战部长、衢州市政协副主席等职，现为衢州市孔庙管理委员会主任、浙江省政协委员。