看到有親提出這問題，看了一遍漫畫。
智之的父親是誰，有以下幾種可能性：
1. 久世直彌(曉人的祖父，歿)
性好女色，對正妻和兒子曉直不聞不問，以致曉直極厭惡庶出弟弟
2. 桂木高正(高之和浩之的父親，病重)性格懦弱，對曉直唯命是從
3. 高正的父親(高之兄弟的祖父，歿)經商手腕卓越，協助久世家建立銀行。為了獎勵他，曉人祖父把久世本家的女兒給他當兒媳婦
曉人調查過祖父沒去新橋的習慣，而桂木父子有。知津想嫁入久世家，一定是通過桂木父子穿針引線，認識直彌後只要順利懷孕，就能得償所願了。
那年代沒有DNA檢測，知津只管懷上孩子就好，為了增加"機會"，極有可能同時跟上直彌和高正父子，甚至別的男人。智之是誰經手的，很難說。
我們知道，智之還是嬰兒時，被送到了久世家。兄長高之摸著嬰兒的小手，以為這弟弟是父親高正在外的小妾生的。
當時久彌還在生，老來得子，肯定疼得不得了，何況嬰兒的母親是他寵愛的小妾。為甚麼會把這麼寶貝的兒子送走呢？
答案很簡單：他認為智之並非他親生。
高之說看到智之就令他想起祖父那聰明的樣子，證明兩人該是很相似的。
高正性格懦弱，未必敢搞本家老爺的女人，但他父親就不一定了。(當然，高正當時還年輕，色字當頭，而且第一眼就被知津迷住了，所以這可能性也不是零)。
綜合以上各點，智之是高正父所出的機會是比較大的。
高正看到裝扮成曉直的曉人，流露出深深的罪疚感。我猜這應該是因為，當年曉直問他要人，除了因為智之優秀，最重要的是智之是他堂姐的兒子。高正隱瞞了智之身世，還對高之說：只要智之去久世家，他親生父母是誰，就一定不會曝光。這擺明是欺騙曉直。
再說身為旁系的桂木父或子，睡了本家老爺的女人，更意圖矇混過關，讓智之這私生子混入本家，也委實說不過去。
不過我有一點不明白：
直彌知道智之不是自己所出，肯定很氣知津，說不定會趕她走，要是知津生下智之不久後去世也就算了，就當沒認識過這女人。為何還讓阿菊死守著蓄妾狀？
直彌送走智之時，有沒有認為智之是高正父的孩子？
如果他只知道自己戴了綠帽，不知道智之親父是誰，把這麻煩孩子丟給旁系養，也是有可能的。
如果他認為智之是高正父所出，早就跟桂木家絕交了。戴綠帽已經難忍，對方還是應當對自己絕對忠誠的家臣！可是曉直跟高正一開始關係不錯，不然也不會收養智之，兩家絕交是蓄妾狀曝光後的事了。
直彌可能不知道智之生父是誰。也可能他知道是桂木父或子，只是沒臉讓人知道自己戴綠帽了，只好裝沒事發生。（曉直：讓你好色！)
結論：直繼和曉直這對父子的零交流，害慘了可憐的美人。
還有美人的身世通常都是曲折的(毆)