(資料圖片)

云從科技近期接受機構調研時表示，從技術角度來看，公司認為ChatGPT是一個下游任務遷移之后更加專用的大模型，主要面向自由對話任務(Chat)。一方面，ChatGPT的成功，本質上是在GPT的基礎上引入了基于人類反饋的強化學習，即引入人類專家的知識和偏好，這與公司的CWOS操作系統(tǒng)的理念比較相近。但我們認為純粹依靠海量數(shù)據做深度學習的模型，在未來可能會遇到瓶頸。另一方面，GPT的成功也證明了引入專家知識做下游任務的遷移，最終得到專用的模型是正確的路徑。這是一種實踐層面的勝利，而非技術層面的革命性進步。

從業(yè)務角度來看，之前基于公司業(yè)務的需求，公司對預訓練模型生成式的AI技術展開了相關研究，主要出發(fā)點是公司通過提升絕對性能方面的優(yōu)勢，以便在CV領域繼續(xù)保持相應的技術地位，并且保持算法性能(即算法效果的技術水平)。同樣公司在具體業(yè)務中發(fā)現(xiàn)，很多具體場景下有效數(shù)據(樣本)較少，此時，預訓練模型就能在降低對數(shù)據依賴的方面提供有效的幫助。

從行業(yè)角度來看，目前業(yè)界認為，大概達到千億級的參數(shù)規(guī)模后，智能化的效果將達到明顯的提升。公司目前正在考慮減少NLP的中間技術研究，并集中精力投入到超級語言模型方面的探索，并加大算力、算法以及參數(shù)規(guī)模的投入。

標簽：