伸手太多了的感覺,感覺就是想布局很大。
不過目前最大問題還是先把邏輯推理搞好,目前無論一直瘋狂擲一大堆資源卻感覺用了一個不是很完全完備的方法在做,導致表現上有極限。
純以理論上來說,測度可以把出現過的情況都給採下來,輔以機率推測真實分布和代數解出數值等手段都挺工程似的方式,卻有一個有些大的問題。
這導致這相當於論文上的統計相關,卻不像某些理論或抽象的模型一樣有明確的因果、時序。
簡單來說就是把噪聲都採進來了當成真實的部分。(或著相對隨機的部分)
沒有辦法有效分離這種噪聲,理所當然會被噪聲等手段所困惑造成我們人眼判斷正常卻是機器判斷不正常的結果,導致很愚蠢的行為發生。
沒有辦法有效區分當前環境的『真實需求』,比如你將一大堆真實環境畫面跟非真實畫面輸入進去,必然有所矛盾,這導致畫面可能無法趨近真實環境畫面的分布,例如在透視視角下物體邊緣該如何變化這些,從而導致線段異常扭曲。
理論上力大飛磚遲早能區分出來不同的類型,但極依賴輸入數據的原始分布,也就是品質的提升從而區分開來。但這成本得多大?
你參數越大,token輸入越多屬於一個乘積關係,運算量怎麼能不爆炸?
個人而言認為需要有一個有效區分一個先決前提,一個先決前提下的空間才能驅除其他可能,從而保證這個空間的可靠有效。
然後如何有效接到這個先決前提,符合這個先決前提就是工程或人該處理的事情。
就我目前想法,他連某些基礎前提都還遠不能衍生出來,例如不同語言內置的lib和語法明顯不同,這些LLM很容易把不同語言混在一起,只知道他們都拿來寫程序卻不知道不能隨意拼在一起要看spec...