![]()
最早看見大模型的人,
轉身去做最密的模型。
那是一個簡陋,但是中國大模型行業不該忘記的晚間聚會。
時年22歲的曾國洋簡單支了張桌子,放了個電腦,展示了一個打字機一樣的網頁——打幾個字,按Tab鍵,它就能自動往后補內容,不斷吐出略顯奇怪的內容情節。這個“打字機”背后,是中國第一個大語言模型CPM-1。
那是2020年,大模型的前傳時代。GPT-3出現了,但只引起了曾國洋這樣一小撮AI研究者的注意。曾國洋發現,和之前AI訓練主流路線BERT不一樣,GPT-3“不是理解,而是生成。生成模型讓我們看到了一個無法想象的上限。”曾國洋第一時間就想在國內也做一個。于是,在智源研究院的支持下,曾國洋作為核心工程負責人,負責訓練框架、算力調度、模型落地,最終有了這個能展示“打字機”的夜晚;再之后,才又有了更大尺寸的盤古、悟道模型項目。
曾國洋那晚支的桌子不大,里里外外圍了兩三圈人,這就是中國最早了解大模型、注意到Transformer架構能量的一小撮“革命火種”。你可以叫他們“智源系”,也可以叫“清華系”——其中產生了今天中國最重要的幾家AI模型公司,包括市值一度超過萬億港元的智譜,估值正在急速翻倍的月之暗面,也包括曾國洋所在、以清華NLP實驗室成員為創始班底的面壁智能。
不過,在大模型一浪一浪的熱鬧中——天量融資的軍備競賽、C端投流補貼、新模型不斷發布和打榜、AI Coding掀起收入狂潮也掀起程序員裁員潮……曾國洋和面壁智能卻在這些熱鬧之外。
過去兩年,面壁智能作為在中國很早看到大模型威力、也是很早一批成立的AI模型公司,卻選了一條少有人走的冷清道路:做端側模型,濃縮到能跑進手機、汽車甚至一個毛絨玩具里。
![]()
“未來的智能不可能只存在于云端。歷史上,計算本身就一直同時存在超級計算、云計算、端側計算,人工智能也一定會是這樣。”面壁智能創始人劉知遠曾說,“既然已經有人在做云端模型,我們為什么還要重復做同樣的事情?而端側,既有非常清晰的技術支撐,也有非常清晰的歷史類比。”
做端側模型,在技術上并不比做大更簡單。恰恰相反,如何在壓縮模型尺寸的同時,卻不顯著減損智能,是技術難題,也是工程難題。面壁智能在端側模型上的底氣在于,提出了一套原創方法論——“模型風洞”,即在小規模實驗中快速驗證和預測模型效果。面壁智能相信,“知識密度”是衡量模型的真正標尺,并喊出一條“面壁定律”:知識密度每3.5個月翻一番,同等智能所需的參數規模呈指數級下降。
最初,市場也快速給出了正反饋。面壁發布的一個2B參數的模型MiniCPM,表現碾壓了同期8B的同行競品,開源發布后,還適配了安卓手機,跑了速度、掛了榜單。手機廠商一下就卷起來了,紛紛來問“為什么我的(速度)沒他的快”。
但是,做端側模型這條路,意味著大量的約束條件:配合芯片功耗和電池電量,不能模型一運轉,電量就撐不住了;配合端側硬件本身的使用場景,比如如果喚起AI比直接在手機上點幾下更麻煩,大家就不會用AI……
云端模型跟最終用戶的距離,可以短到只有一個聊天窗口;但走端側模型這條路,要在真實世界里闖過重重關卡,任何一關卡住,終端用戶的感知就為零。
所以,過去三年,熱鬧都是云端模型的,面壁智能卻在一片喧囂中堅持走上端側這條旁路。當云端大模型領域追逐一個又一個“天才少年”、技術偶像時,大二就在清華NLP實驗室實習、22歲做出中國第一個大語言模型、24歲擔任面壁智能CTO的曾國洋,卻鮮少在媒體露面。
![]()
那么,這家中國較早做大模型的公司,和“年紀很小、資格很老”的曾國洋在做什么?
在做芯片和內存適配。面壁智能已完成對高通、聯發科、英特爾、瑞芯微、英偉達、AMD等主流芯片平臺的全面適配;在內存價格飛漲的當下,面壁智能新發布的BitCPM-CANN模型系列,能跑在華為昇騰芯片上,讓同一塊內存多裝約6倍大的模型,或者讓本來帶不動的設備帶得動。
在做“更懂你”的模型。端側的操作更智能更簡潔,才能戰勝上一代人機操作的體驗。現在的記憶框架一般只是把你的對話記錄存進數據庫,但面壁智能引入了行為模式庫。例如,你上車時問你:“你昨天聽了周杰倫,今天要繼續播放嗎?”這叫記憶,但它依然需要你應答。而行為模式庫想打造的“默契系統”,是不需要開口,就把空調調到你最習慣的溫度,然后放一首你最近頻繁收聽的歌。一句"去接孩子"即可自動補全目的地、規劃路徑并結構化為待辦提醒。
在做端側所需、更自然的人機交互。面壁智能的全雙工全模態模型MiniCPM-o4.5像一個時刻在線的真人,能邊看、邊聽、邊說。你可以隨時打斷它,它也能根據你的實時反應調整語速和情緒,讓交互從“觸發指令”變成了“自然對話”。
這背后,依然滲透著曾國洋和面壁智能對AI模型的理解。
“做模型就是做數據。”曾國洋反復強調。端側模型要追上大模型,光靠架構不夠,真正卡上限的是訓練數據的知識密度。面壁把數據治理拆成L0到L4五級,像芯片制程一樣分層精煉:原始數據、過濾、精篩、合成增強,再到可直接編排,每一級都對應明確的處理標準和訓練階段。
他要求每個算法工程師必須親自看數據,一百多個訓練數據集要挨個檢查到“沒有任何問題”才會開始訓練。他舉了一個令人印象深刻的反例:上萬條微調數據中,僅兩條因為處理不當截斷了半句話,訓練完的模型就開始在和人的對話中“說到一半戛然而止”。“兩萬條里兩條有問題,模型就學壞了。”
曾國洋相信,用AI來訓練AI,是模型進化的必然之路。“以前是八個程序員抬著一個架構師往前走,現在變成一個架構師開著AI的車嘩嘩地往前走。如果你沒辦法擁抱這個變化,就會在這邊被碾碎。”他相信,所有高度數字化的事情都可由AI替代,同理,AI模型的訓練全程都是數字化的,也該是如此。
他自嘲自己“要失業了”--據其介紹,面壁智能開發了全球第一個完全由AI編寫的生產級大模型訓練框架ForgeTrain。這意味著有更高的工程效率,和能在更緊的算力預算下保持前沿模型研發節奏;面壁智能配套提出的Forge Engineering是一種新的軟件工程范式:把代碼從“一份需要長期維護的實現”解綁成“按需鍛造的一次性快照”。同一套評測標準,可以為不同硬件、不同場景各自算出最優實現,通用性和效率不再二選一。
簡單來說,過去兩年,走上端側之路的面壁試圖變得越來越懂工程、懂落地——在電池和芯片約束最小的智能汽車上,面壁已經在吉利、上汽大眾、廣汽、馬自達等的車型上完成定點、走向量產——但面壁和曾國洋依然很懂模型。
![]()
在這個時點,36氪跟如今28歲、“年紀依然很小,資歷依然很老”的面壁智能CTO曾國洋,聊了聊他們走上端側模型之路的始末,過去兩年的端側實踐、AI模型團隊建設,以及他如何看待AI模型的未來。
視頻|36氪獨家專訪面壁智能聯合創始人兼CTO曾國洋
以下為訪談實錄,有編輯刪減。
不在云端擁擠,去端側開路
36氪:你的經歷看著蠻驚人的:8歲學編程,高二拿了信息學競賽金牌保送清華,大二就進了清華的NLP實驗室。NLP實驗室,包括唐杰老師所在的清華知識工程實驗室又是中國較早看到大模型潛力的地方。能不能講講你的經歷和親身體感?
曾國洋:這里邊都是一系列的機緣巧合。我剛進NLP實驗室的時候,還沒有大模型,甚至連預訓練都沒有。大家那時候的技術還是按方向劃分和具體應用場景有關。我剛進去做的是法律智能,當時做了個罪名預測系統想試一試,我剛把名字輸進去,就已經開始判刑了(笑)。
真正的大變革是2018年出現了預訓練技術——BERT和GPT同年出現,但當時GPT被BERT壓著打。第二個轉機在2020年,OpenAI幾乎用全部身家訓練了GPT-3,能力也不是特別好,還沒法像今天一樣做對話,更多像一個打字機,但想象空間非常大——它是一個能像寫文章一樣的模型。我們試了之后發現和之前訓練的BERT不一樣,好像突然有了智能。這對我觸動非常大,我們第一時間就想在國內做一個。
36氪:Transformer預測下一個token,BERT做的是完形填空。為什么最終是預測下一個token的路線勝出了?
曾國洋:做理解任務的話,BERT統治力很強。但生成創造比理解更有想象空間,生成本身是在做創造,理解只是在做選擇。就像今天大家看到的生成圖片、視頻、文章——你需要的是創造性,不是對已有東西的判斷選擇。
36氪:ChatGPT是2023年才爆火的,但你們2022年就創立面壁了,那時你們就知道要做什么嗎?
曾國洋:公司是2022年成立的,但我們更早就開始做大模型了。最早在智源那邊一個創新中心,把一個小會議室改造成辦公室,只能坐不到十個人。
當時也是不太清楚往哪個方向做。我們找了很多智能客服公司,對方不會說要一個ChatGPT,而是說“能不能在客服的意圖識別方向,提升幾個百分點,且不增加額外成本”。試了半天發現不太行,大模型畢竟比較大,提升效果沒問題,但成本不變很難。
后來我才意識到,這樣的新技術特別需要愿意接受變革的人來做。
36氪:ChatGPT爆火之后,是不是給你們帶來了很不一樣的外部環境?創業爆火,比如,更早之前楊植麟還在做循環智能,那會兒出來做了月之暗面;投資人也很瘋狂,當時所有投資機構都在尋找會做大模型的公司,但這樣的公司沒有幾家。
曾國洋:ChatGPT算是救了我們一命。之前融資非常難——不是沒前景,而是投資人看不懂。當時很多投資機構找不到懂的人,甚至拉做語音的來評估,覺得“語音和語言很像”。ChatGPT一出,大家立刻就懂了。
36氪:你們在2023年下半年就決定做端側模型。但那時所有人都要做大模型參數、追趕OpenAI,為什么你們做了這樣的選擇?
曾國洋:我們在賽道上待得太久了。2020年做出國內第一個大模型后,國內廠商從2021年到2023年初的核心就一個字:大。參數量從二十幾個一直卷到阿里M6的十萬億,但十萬億參數沒帶來真正的智能。最早ChatGPT也就250到500億參數,效果卻讓人驚訝。我們經歷過這些實踐,所以知道單純把模型訓練更大是條死路。
36氪:展開講講?
曾國洋:很多人覺得把參數做大比做小難,其實是反過來。最早的計算機ENIAC有幾間房大小,但算力不如一臺手機。我們提出了“知識密度”——在相同尺寸下模型能達到多少智能。
所以我們一直以“知識密度”做牽引來研發模型。最開始我們也是模型越做越大,最大也做過千億規模的模型。但到我們做第四代模型的時候,研發了“模型風洞”技術:就像造飛機不用造完整了再試飛,可以先把外殼放風洞里吹,我們能在小規模實驗中預測完整訓練后的水平。
基于這個技術,我訓了一個2B的小版本做驗證,發現效果比同期Meta的LLaMA 8B、Mistral 8B都要好。我當時很震驚,趕緊先發布開源了(MiniCPM)。
36氪:能拆解一下“模型風洞”的技術邏輯嗎?
曾國洋:核心是OpenAI提出的Scaling Law。Scaling Law提出了一條曲線,而且提出另一個觀點——縮放之后的效果是可預測的。我們可以在更小規模上快速實驗,預測更大規模的表現,不需要像其他公司一樣在目標尺寸上完整訓練再驗證。可以并行快速跑很多實驗,幾天內就出結果。
36氪:你們覺得核心是知識密度,但當時大家都在講“智能涌現”,先把模型做大了再說。你們選端側模型這個方向,是不是選早了?
曾國洋:智能涌現這個理論很快就被推翻了,只是這個詞太出圈了,大家沒意識到。所謂“涌現”,其實是因為測量手段太簡陋。比如一個數學題有五個步驟,之前的統計只看到做對還是沒做對,突然從0變成1,就好像涌現了,但內部其實是連續性變化——先對一步,再兩步、三步。
從另一個角度說,涌現是可以被預測的,只要找到合適的尺子,能給它量出來。
36氪:最近大家越來越認識到數據質量的重要性。越來越認識到說高質量數據、怎么構建數據,對模型的智能是特別關鍵的,而不是堆一堆數據量上去。你講的密度和這是一脈相承的?
曾國洋:是的。影響模型效果的因素,比較基礎的包含了模型架構、訓練方法以及數據。幾年下來,模型架構和訓練方法都收斂了,大家越來越趨同,做啥改動對效果影響都不大了。所以大家發現,現在最影響效果的就是數據。
我經常說,做模型就是做數據。我要求每個人必須親自看數據,MiniCPM每個版本訓練前,我會組織所有算法同事在一個會議室里,一百多個數據集每人分幾個挨個看,到沒有任何問題才真正開始訓練。
36氪:現在模型架構創新不再提了?
曾國洋:Infra和架構都收斂了。Infra不影響效果,只影響訓練和推理成本。端側Infra特別難搞,端上芯片多樣復雜,比如功耗——以前我做算法從不用考慮功耗。模型落在端上不是尺寸小、效果好就萬事俱備了。
云端一般是浮點運算,終端上要用整型運算來降低功耗,需要做模型量化,量化會損失效果,又要研究怎么恢復。就很復雜。
36氪:選端側這個方向,今天看是重的——參與方多,要跟芯片適配,跟硬件和場景適配。但是例如coding,把模型做好就行了。你們當時預想到端側的復雜性了嗎?
曾國洋:云端競爭也很激烈,真正有效果能掙錢的只有AI Coding。Coding也沒啥忠誠度,哪個便宜送得多、哪個效果好就用哪個。Anthropic經常封Claude第三方客戶端,很多用戶在罵,Anthropic也不管。但GPT 4.5一出,Anthropic立馬認慫送優惠。這里邊沒有軟柿子,沒有啥事特別好做。
我們當時去做端側還有一個考慮,國內資源有限——人才沒問題,數據也能解決,短板在算力。所以我們一方面想嘗試擁抱國產算力,一方面做端側。
36氪:能展開講知識密度和端側模型的關系嗎?
曾國洋:在端側,大家對知識密度的依賴會更重一些。云端還有彈性——可以把Infra優化好、或者你錢多補貼用戶。但端側是硬限制:如果模型太大,跑不動就是跑不動,補貼錢沒用;功耗太高會發熱,你不可能補貼一個冰塊。
36氪:你們2024年決定往端側轉,有過猶豫和討論嗎?
曾國洋:討論了很久。當時我們技術很領先,2B規模模型戰勝8B。我們當時討論最多的問題是:要不要訓個100B戰勝400B——一聽就激動,但卡在算力上。
36氪:所以你們是痛心地放棄了做一個更大尺寸模型的想法?
曾國洋:兩條都是很好的路。就像高考考得很好,選清華還是北大的糾結。
36氪:做端側的決定性因素是什么?
曾國洋:客觀資源限制。其實當時云端應用場景也不明朗——三個大場景:Coding效果爛、收不到錢,情感陪伴也沒跑起來,搜索被Google內嵌了大模型做掉了。最后活下來的只有Coding一條路。
36氪:你們選了端側,打算怎么走?
曾國洋:持續提升知識密度,這個方向無論如何不會變。端上有豐富的場景——手機、AI PC、汽車、機器人、智能家居,怎么收費一眼就能想明白。汽車是目前走得最快的,體積夠大、電池夠大、功耗要求不嚴。
端和云也是互補的:端側打通數字世界和真實世界的邊界,把真實世界信息傳遞給云端,像氣球的外皮;云端,是在數字世界里提高效率,像里邊的氣。
端側模型,更要足夠理解人
36氪:走端側這條路,沒預估到的難點是什么?
曾國洋:我們當時都不太懂。第一個事就是功耗。和手機廠商聊,第一反應是趕緊看功耗是多少,還要拿功耗儀測。散熱也分被動、主動。非常復雜,不是模型效果好就萬事俱備。
比如智能眼鏡,空間太小、電池不夠、續航有限——它是一個體系問題。落到產品上,端側模型要和人交互,怎么降低延遲和首響應時間。模型一秒生成一百個字,但人說不了那么快,這中間就有很多優化和調度技巧。
36氪:那是怎么選優先落地場景的?
曾國洋:功耗續航直接用戶體感,其實是影響最大的,算力反而是影響最小的,因為優化和操作空間大。汽車好做,是因為電池大、功耗要求限制少;手機其實也不錯,因為先進制程芯片能耗好。
36氪:在大模型市場上,模型表現好就能很容易拿到市場。但在端側,模型表現好就能高枕無憂了嗎?模型的表現是最核心的嗎?
曾國洋:端側模型不單看評測效果,還有響應時間、硬件成本,它很難從單一維度勝出。
36氪:大家對端側終極想象像電影《Her》,每個人有個隨身AI。因為面壁在手機和隨身設備方向都有探索,你們實踐下來覺得差距在哪?
曾國洋:最終目標是想做到那樣,但現在實際情況比較復雜。模型智能可以,但關鍵是要足夠理解人,真正個性化。
朋友給我說了一個真實的例子:下屬給領導反饋說,大模型很好用。領導就想試一下:他把文檔拖給AI說“你幫我弄一下”。這樣效果當然很差。但好的秘書,你不用說那么復雜,領導說“弄一下”,秘書就能做好,那是因為秘書很懂領導。
在端側擁有簡單的智能是不夠的,它還要必須真正懂你。
36氪:這就涉及模型怎么記憶和存儲偏好?
曾國洋:大模型核心處理記憶的機制是Attention,但人腦里沒有Attention,也沒有調動100兆上下文。
再比如說,模型的痛點是并沒有“干得越多越熟練”——Agent犯一次錯糾正了,第二次同樣的錯還會再犯,第三次還犯。人不一樣,踩一次坑就不會有第二次。空間記憶、工作記憶也很難用現在機制表達。
這就是大模型像人又不是人的核心原因。人腦是很好的參照系——功耗不高、智能程度高、更靠譜。所以這方面還有很多可以探索空間,Transformer也許不是最終的架構。
36氪:手機按理說是最重要的AI隨身設備,但手機廠商行動不激烈,為什么?
曾國洋:一大問題是交互。手機的圖形交互界面,手操作非常快。當智能助手不了解你,你得說好幾分鐘指令,自己早都點幾下點完了。你要更快,就得真正懂用戶,“一切盡在不言中”——我沒說話但需求已被完全理解,這才有價值。否則花幾分鐘干十秒的事,沒必要。
36氪:那AI手機離大家還有距離?
曾國洋:不好說,大模型技術發展非常快,沒人知道什么時候就突破了。就像Coding去年下半年才火起來,之前可靠性太低,大家都不愛看。和“智能涌現”一樣——大家只看成不成,不看過程中成了幾步。大家雖然感覺現在AI蠢蠢的,不是很理解你,但是隨著它的發展,也許從10%理解你,到50%,再到99%理解你,感受一下就完全不一樣。
36氪:你的觀察對業界做端側模型的其他玩家有什么觀察?
曾國洋:做端側的人很少,它要打通算法、軟件、硬件,要求非常高。
36氪:端側這條路走了這幾年,你覺得業界對端側有什么誤判?
曾國洋:常見的說法是“端側不就是把模型做小一點”。做小是非常難的,不是越大越簡單。
做模型就是做數據
36氪:從你24歲當CTO,現在也過去4年了,怎么建一個模型訓練團隊?好的模型團隊和一般的差距由什么造成?
曾國洋:訓練好一個模型包含很多模塊——數據團隊(收集、管理、清洗、標注),算法團隊(架構、訓練方法、數據混合比例),Infra團隊(讓算力集群不要掛,用最高效率訓練),評測團隊,以及上硬件終端的部署和優化團隊。
但最重要的是數據。好的團隊對數據質量要求高、挑剔。我們最早有上萬條微調數據,兩條因為處理不當截斷了,模型訓練完,經常聊天聊到一半突然停了——兩萬條里兩條有問題,模型就學壞了。
36氪:姚順宇說“訓練大模型需要的不是聰明人,而是靠譜的人”,我理解就是跟這個有關?你認同這個話嗎?
曾國洋:認同。需要非常靠譜細致的人,他看過的數據就是真的沒有問題的數據,他做的實驗就是真的沒有問題的實驗。
大模型現在越來越像實驗科學。它本身太復雜了,從理論上去描述的話,理論離實踐已經差得太遠了。所以大家為了更好理解大模型,要做非常多的實驗。做實驗,就要嚴謹,要靠譜,控制變量就得控制住。
36氪:如果一個做生物學實驗很靠譜的人,不是學計算機的,他也適合進模型團隊嗎?
曾國洋:問題不大。我們很多團隊成員在大模型火之前就加入的,那時候大家也沒有做大模型的經驗。但需要你真的去感知、理解、做實驗和探索。
36氪:你在尋找什么樣的人?
曾國洋:靠譜之外,還要愿意擁抱變化。大模型革命了很多舊技術,不愿意舍棄積累、不愿意從零開始接觸新技術是不行的。最近AI Coding很火,很多程序員焦慮被替代,但我們的人用得可高興了——以前自己干不完,現在指揮好幾個人干。
我們還把辦公點設在清華門口,就是為了招周邊高校的實習生。開玩笑說正式員工寫數據,實習員工搞論文。
36氪:AI領域有種“年輕化”審美,比如技術帶頭人要你這樣的“年輕小天才”,招人也愛招博士生干活,為什么?
曾國洋:大模型是全新事物,找不到有經驗的人,有沒有積累沒啥區別。我們有些做算法的人以前是做工程開發的,甚至沒做過AI,完全不影響。
團隊里有靠譜踏實的人,同時有愿意探索創新、有能力實踐自己想法的人,就更有價值。
36氪:你怎么理解“AI Native的組織”?
曾國洋:AI Native是把AI當成更自然的東西。遇到事不會先想怎么做,而是先想用AI怎么做。AI就像一雙手。我們現在做內部分享,PPT全是用AI做的。你不會想“手動做PPT”,而是AI就是我的一雙手,自然而然就用。
36氪:怎么用好AI?你們有什么實踐?
曾國洋:花了很長時間探索,有很多坑。有人會問“我們有沒有過度壓榨AI?”“AI要是反叛了我會不會第一波被剿滅?”其實AI和人不一樣,但很多人把AI等同于人,這樣很多事就辦不好。要用好AI,不能像簡單和人打交道一樣。
所以我們內部有課程——第一教大家認識AI的機制,它不是許愿機器和阿拉丁神燈。第二教大家使用技巧。就像開車,踩油門就動了,但不會開半路就撞。AI是跑得很快的車,不會用方向盤,就很快跑偏了。
另外AI提效是非均質的。比如,三十人的開發團隊能壓縮到三人,代碼開發提效了,但溝通沒提效——原來三十人的會,變成這三個人來開。可能產能上升了,接活能力沒變強。所以我們也在找這些卡點來優化。
36氪:能數字化的崗位就先被AI替代?
曾國洋:大家經常有個誤解,以為AI會先替代簡單工作,現實是反過來的——數字化得最好的工作先被替代。比如寫代碼,從頭到尾都在數字環境里,模型訓練也是。我們已經在嘗試用AI制造AI——整個流程在云上,容易被AI接管。以前是八個程序員抬一個架構師,現在是架構師開著AI的車嗷嗷向前。如果沒辦法擁抱變化,就會被碾碎。
36氪:你們AI Token預算情況怎么樣?Token支出的帳算得過來嗎?
曾國洋:很寬裕,連PR同事一個月都有近一千美金預算。雖然賬單大,但這是階段性的苦惱,生產效率長期是一個核心競爭力。
某個方向效率暴漲后,其他方向顯得慢了,把各方向的效率拉到新狀態下,整個公司又能很好地運轉起來。
模型會先吞噬 最賺錢的賽道
36氪:你怎么看DeepSeek?
曾國洋:DeepSeek腦子很清楚——知識密度不落后,模型越大效果越好,同時優化推理成本。這就是云端大模型的邏輯,簡單粗暴。
邏輯雖然簡單,但不同的團隊會做不同取舍,比如有的團隊想做陪伴,就要重點訓高情商。我們做端側也一樣,為了在端上運行好,有自己的量化和適配團隊,這是在創業公司里只有我們能做端側的原因。
36氪:Coding這個賽道上,未來的競爭點可能在什么地方?什么樣的公司能做得非常優秀?
曾國洋:核心是做數據。大模型數據經歷了三波:第一波用公開數據,2024年左右就枯竭了,所以好多報道說遭遇了“數據墻”。第二波自己創造數據,基于真實數據做改造,把不同形式變成AI Coding的數據形式,能做好的話2025-2026能訓練出一流模型。第三波是“AI制造AI”——讓AI接管從數據生產到訓練評測的完整流程,因為全都在數字化環境中,反而是容易做到的。
36氪:未公開的垂直領域數據有價值嗎?
曾國洋:肯定有提升,但是量太少。
36氪:我舉個例子,做醫療模型的公司,有的在試圖拿醫院里的真實處方數據,但也有人說,最重要的成果都已經第一時間發表成公開論文了,公開數據已經很夠用了。
曾國洋:這兩種數據,如果分布差異大就有用,分布沒差異,所謂的獨有數據其實就是公開數據的一部分,沒什么額外作用。
數據的數量和質量都很重要。我們做法律方向就拿到了不少正經渠道合作來的未公開數據,人無我有,模型就能學到很不一樣的知識。
36氪:這是否意味著,已經擁有很多視頻數據的公司最適合做多模態,如果不擁有這些數據,最終模型效果不會太好?
曾國洋:有獨到數據,意味著你能摘到低垂的果實。其實別人也能摘,只是時間長一些。模型公司的業務能力如果強,還是能搞到很多數據的。
36氪:模型還能繼續進步的話,下一個突破點在哪?
曾國洋:需要解決用人去迭代模型的效率問題——也就是用AI去造AI,用AI去優化AI。就像芯片設計,最早用鑷子電焊焊不出集成電路,必須靠工具迭代。
記憶也是關鍵的突破方向,我們剛已經聊了很多,如果能解決機制上的問題,能讓模型更像人。
36氪:你對世界模型怎么看?
曾國洋:世界模型還遠沒到ChatGPT時刻。現在的大模型,智能來自于互聯網數據,像一個人他只讀書,讀著讀者就足夠聰明了、好像理解世界了一樣,這其實聽著也挺奇怪的。所以很多人在想,有沒有更直接地去理解這個世界的方法,所以他們會做世界模型的探索。
36氪:對未來1-5年的AI發展做個預測?
曾國洋:我可能真的快失業了。數字化越好的工作越容易被替代,不是有技術含量就安全。但新變化也會來新機會——工作被替代了,就當老板就好了。我現在已經不親手寫代碼了,全是AI寫,我就像以前的領導,不用看代碼,問它寫了啥、為什么寫,再指導它重點注意什么,就行了。
36氪:業界有什么你不認同的認知?
曾國洋:很多。“智能涌現”當時是主流,在學術界很快被推翻了。
另外,很多公司說想做AI-native的公司,但全卡在數字化做的不好的地方——流程卡在同事、審批流上,不是找個好工具就能解決的,所以這是個系統性問題。
36氪:AI最難辦到的事情是什么?
曾國洋:最難數字化的事情。比如跟人打交道的工作——銷售和HR。有的銷售場景就是需要見到人,不然顯得太不尊重客戶。HR跟員工溝通的情商,也很難被替代。
36氪:做AI應用的公司都很恐懼自己的能力被模型覆蓋。你能不能預測一下模型進步的方向,隨之AI的哪些應用不值得做?
曾國洋:其實是反過來的——哪些AI應用火了,模型公司一定會跟進。因為模型效果依賴數據能力,大模型公司搞數據效率非常高,而且非常有錢,應用創業公司很難卷得過。Coding火了,Google、OpenAI、Anthropic全做了。包括Coze、Dify的工作流,全被AI替代了,AI自己規劃了工作流就執行完了。
所謂模型吞噬一切,其實是先吞噬最賺錢的賽道。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.