在WAIC現(xiàn)場(chǎng)，我們見到了Richard Sutton

編輯｜Panda

WAIC 2026 期間，我們和另外幾家媒體（機(jī)器之心是其中唯一的專業(yè)媒體）共同對(duì)來到中國的強(qiáng)化學(xué)習(xí)奠基人、2024 年圖靈獎(jiǎng)得主Richard Sutton做了一場(chǎng)群訪。

幾十分鐘里，他談了剛成立的新公司、他心目中「完整心智」的樣子、對(duì)過去八年 AI 走向的失望，也拋出了一個(gè)判斷：試圖把 AI「對(duì)齊」到人類價(jià)值觀，在他看來是一件危險(xiǎn)的事。

以下是這場(chǎng)對(duì)話的整理。為便于閱讀，我們對(duì)內(nèi)容做了歸類和精簡(jiǎn)。

一家營利公司，為了支撐一家非營利機(jī)構(gòu)

Sutton 最近同時(shí)掛著兩個(gè)身份。營利性的一端是新成立的 Oak Lab，非營利的一端是他此前創(chuàng)辦的 Openmind Research Institute。被問到為什么選在這個(gè)節(jié)點(diǎn)再起一個(gè)新攤子時(shí)，他解釋說，Oak Lab 是用來和自己的非營利研究「互補(bǔ)」的。他此前在 John Carmack 的 Keen Technologies 工作了三年，「很滿意那段經(jīng)歷」，但后來覺得，如果自己組建一個(gè)組織，就能把注意力聚得更集中。

他強(qiáng)調(diào)，兩端并不矛盾，而是彼此供血。研究本身需要資源，資源需要有人認(rèn)可它的價(jià)值。「所有工作大體是相似的，但壓倒一切的目標(biāo)是搞清楚智能是怎么運(yùn)作的，然后把它分享給世界。」在他的設(shè)想里，一部分想法在短期內(nèi)需要保留、商業(yè)化，用賺到的錢去支持更長(zhǎng)期、可公開的研究——沒有什么是需要被長(zhǎng)期保護(hù)的，但短期內(nèi)有價(jià)值的東西應(yīng)該被變現(xiàn)，好讓你做更多研究。

20 瓦的執(zhí)念：向人腦學(xué)習(xí)能效

Sutton 表示，Oak Lab 的長(zhǎng)期目標(biāo)是造出一個(gè)能實(shí)時(shí)學(xué)習(xí)和規(guī)劃、卻只消耗約 20 瓦的萬億參數(shù)模型，并追問其中的關(guān)鍵思路。

Sutton 說他并不認(rèn)為存在「單一的關(guān)鍵思路」，但他確實(shí)覺得，如今 LLM 和基礎(chǔ)模型這套做法，在能耗和算力使用上都太浪費(fèi)了。參照系是人腦：「人腦只用大約 20 瓦，就完成了我們所做的一切。」

他把矛頭指向了現(xiàn)代計(jì)算架構(gòu)本身。在他看來，數(shù)字計(jì)算天然復(fù)雜，而「搬運(yùn)數(shù)據(jù)」這件事天然低效：數(shù)據(jù)在存儲(chǔ)和 CPU 之間來回傳輸，能耗就耗在這上面。如果改成大規(guī)模并行、讓數(shù)據(jù)「留在原地」處理，效率理應(yīng)高得多。

什么是「完整心智」

Sutton 多次提到他真正感興趣的是「完整心智」（complete mind），而不是工具。他把這個(gè)概念和當(dāng)下熱議的「智能體」（agent）區(qū)分開來：「我個(gè)人非常有興趣去造一個(gè)完整的心智，而不是一個(gè)用于模式識(shí)別、或者做某件特定事情的工具——那種工具最后是被一個(gè)像人一樣的完整心智拿去用的。」

既然沒有單一的「萬能系統(tǒng)」，那么「完整心智」之間是什么關(guān)系？

Sutton 的回答是：去中心化，就像人類社會(huì)一樣。個(gè)體各有目標(biāo)，然后彼此協(xié)作。他認(rèn)為 AI 之間會(huì)重現(xiàn)人類社會(huì)里那組老對(duì)立，即自下而上的去中心化與自上而下的控制之間的張力，如何在其中找到平衡，本身就是一場(chǎng)持續(xù)的角力。「所以我要說的或許是：我沒有答案。」他坦承，但正因?yàn)槲覀冊(cè)缫蚜?xí)慣用這種方式思考人類社會(huì)的問題，它反過來能為思考 AI 提供一些啟發(fā)。

回望八年：一段「失望」的插曲

被問到如何評(píng)價(jià)過去八年 AI 的進(jìn)展，Sutton 的用詞是「有一定程度的失望」。

在他的敘述里，AlphaGo 和 AlphaZero 的時(shí)代，大家已經(jīng)認(rèn)識(shí)到可以「從經(jīng)驗(yàn)中學(xué)習(xí)」，包括從模擬經(jīng)驗(yàn)中學(xué)習(xí)；但之后，行業(yè)又轉(zhuǎn)回了對(duì)人類數(shù)據(jù)的依賴，而過去這幾年，恰恰是「使用人類數(shù)據(jù)、而非從經(jīng)驗(yàn)中學(xué)習(xí)」的一次大幅上揚(yáng)。

不過他也觀察到風(fēng)向可能正在再次切換：「現(xiàn)在我們的問題里有了能動(dòng)性（agency），我們?cè)诳粗悄荏w、看 computer use、看用 AI 探索數(shù)學(xué)。」

對(duì)下一個(gè)八年，他的預(yù)測(cè)偏樂觀，但這份樂觀是押在「經(jīng)驗(yàn)」上的。他提到已經(jīng)有幾家專注「從經(jīng)驗(yàn)中學(xué)習(xí)」的公司在去年成立，而他自己的公司也正在融資，「進(jìn)展不錯(cuò)，還沒最終敲定，但很順利」。他判斷，市場(chǎng)對(duì)「經(jīng)驗(yàn)學(xué)習(xí)」、對(duì)「大模型之后是什么」的胃口正在起來。「我們已經(jīng)有過 LLM 和基礎(chǔ)模型的高光時(shí)刻，現(xiàn)在也開始有人想知道，接下來會(huì)是什么。」

他把話頭收在了一個(gè)謹(jǐn)慎的限定上：自己是科學(xué)家，不太算商人；但他確實(shí)認(rèn)為我們正走向一個(gè)「經(jīng)驗(yàn)的時(shí)代」，如果再給他八年，這個(gè)方向「至少能獲得像今天 LLM 一樣的認(rèn)可度」。

「機(jī)器人幼兒園」：讓機(jī)器人像孩子一樣試錯(cuò)

Sutton 參與的一個(gè)項(xiàng)目引起了在場(chǎng)提問，即一個(gè)位于北京的「機(jī)器人幼兒園（Robot Kindergarten）」。據(jù)他介紹，這個(gè)合作項(xiàng)目的目標(biāo)是打造一個(gè)供機(jī)器人存在的「空間」，同時(shí)重新設(shè)計(jì)機(jī)器人，讓它們的軟硬件都足夠皮實(shí)，能夠真正靠試錯(cuò)來學(xué)習(xí)。

他解釋了為什么這件事不尋常：「機(jī)器人本來就不是為實(shí)驗(yàn)設(shè)計(jì)的，它們是為了不折不扣地執(zhí)行工程師指令而設(shè)計(jì)的。一旦你讓它去實(shí)驗(yàn)，它很快就壞了。」標(biāo)準(zhǔn)演示往往「只撐得過演示本身那段時(shí)間」。而他想要的是能像視頻里的嬰兒那樣，持續(xù)實(shí)驗(yàn)數(shù)小時(shí)、數(shù)天、數(shù)周乃至數(shù)月的機(jī)器人——「一個(gè)孩子要花好幾年，才能學(xué)會(huì)走路、學(xué)會(huì)用手操縱物體這些最基本的事」。他相信，一旦機(jī)器人能通過強(qiáng)化學(xué)習(xí)、從經(jīng)驗(yàn)和試錯(cuò)中學(xué)習(xí)，機(jī)器人領(lǐng)域會(huì)迎來一次轉(zhuǎn)變。

「學(xué)習(xí)本身讓人愉悅」

關(guān)于嬰兒到底在學(xué)什么，Sutton 給出了一個(gè)偏機(jī)制的解讀。嬰兒在探索世界，用它自己當(dāng)前的理解水平?jīng)Q定下一步做什么。「我們其實(shí)并不真的知道嬰兒在做什么，」他說，但他猜測(cè)嬰兒是在反復(fù)嘗試：能不能再弄出那個(gè)聲音？能不能讓這個(gè)物體以某種方式變化？

關(guān)鍵在于，嬰兒能夠衡量自己的進(jìn)展：我還在學(xué)到東西嗎？如果玩了一陣、發(fā)現(xiàn)不再有新收獲，它就轉(zhuǎn)向下一個(gè)機(jī)會(huì)。Sutton 把這解讀為一種同時(shí)最大化多個(gè)子問題上進(jìn)展的機(jī)制：「它注意到自己不再進(jìn)步了，也就是它無聊了，于是轉(zhuǎn)向下一個(gè)」，以此維持整體上最高的學(xué)習(xí)速率。

他為此有一句口號(hào)：「學(xué)習(xí)本身讓人愉悅（learning feels good）。」你可以為「學(xué)習(xí)」設(shè)計(jì)一個(gè)度量，把它當(dāng)作一種內(nèi)在的好感覺，很像獎(jiǎng)勵(lì)信號(hào)。在他看來，這會(huì)是一個(gè)相當(dāng)好的設(shè)計(jì)。

兩個(gè)詞：「世界模型」與「強(qiáng)化學(xué)習(xí)」

WAIC 現(xiàn)場(chǎng)很多團(tuán)隊(duì)在做「顯式世界模型」，也有研究者認(rèn)為大規(guī)模強(qiáng)化學(xué)習(xí)未必需要一個(gè)顯式的世界模型。Sutton 對(duì)此的回答，一半是技術(shù)，一半是對(duì)術(shù)語的「潔癖」。

他說我們當(dāng)然需要一個(gè)世界的模型：一個(gè)「狀態(tài)轉(zhuǎn)移」的模型。

但「世界模型」這個(gè)詞是有歧義的：有些人指的是對(duì)世界物理規(guī)律的模擬，「我不認(rèn)為我們需要那個(gè)」；他要的更接近「知識(shí)」，其中包含對(duì)物理的知識(shí)，也包含很多其他知識(shí)。世界模型本就是標(biāo)準(zhǔn)智能體架構(gòu)四個(gè)部件之一，問題只在于大家用詞不一。

對(duì)「強(qiáng)化學(xué)習(xí)」這個(gè)詞他也做了類似的澄清。有人傾向于把強(qiáng)化學(xué)習(xí)只定義為試錯(cuò)，不含想象、思考和規(guī)劃；而 Sutton 認(rèn)為，恰恰是想象、思考和規(guī)劃才需要模型，這在教科書里就屬于強(qiáng)化學(xué)習(xí)的一部分，只不過它的正式名字是「轉(zhuǎn)移模型」（transition model）。

然后他索性把牢騷發(fā)完了。他不喜歡 AI 領(lǐng)域動(dòng)不動(dòng)就給一個(gè)已有概念造個(gè)新詞、把它變成 buzzword。「model 大概是最沒有意義的一個(gè)詞，它幾乎可以指任何東西，就像『thing』這個(gè)詞一樣。」他順勢(shì)調(diào)侃了 LLM：「它們其實(shí)是 large language things。叫 large language networks 會(huì)好得多。」

給年輕人的建議：回到第一性原理，每天寫一頁

面對(duì)「一個(gè) 20 歲年輕人，接觸世界的主要方式是一個(gè)不斷遞給他現(xiàn)成答案、又沒有任何后果的系統(tǒng)」這樣的提問，Sutton 的第一反應(yīng)很直接：「那就別卷進(jìn)那個(gè)系統(tǒng)。」

他給年輕人的建議圍繞兩點(diǎn)。其一是回到第一性原理，不要因?yàn)閯e人這么說、或者權(quán)威這么說就相信，而要堅(jiān)持讓結(jié)論以「你能度量的方式」得到驗(yàn)證。「科學(xué)里沒有權(quán)威，」他說，然后補(bǔ)了一句自嘲，「而我是以一個(gè)權(quán)威的身份說這句話的。」你要建立一塊自己真正理解的領(lǐng)域，那是你的「力量中心」，再逐步把它擴(kuò)大。「你才是那個(gè)要為自己得出的結(jié)論負(fù)責(zé)的人。」

其二是一個(gè)他一直在給的習(xí)慣建議：準(zhǔn)備一個(gè)筆記本，每天寫一頁，記下自己的想法，挑戰(zhàn)它、打磨它。他說這對(duì)自己極其有價(jià)值，但也要老實(shí)承認(rèn)這是苦功：「你得連續(xù)寫一年多，增量效果才會(huì)變得顯著」。寫下來的意義在于「累積」你的好想法，讓它們生長(zhǎng)、成形。「如果你希望別人在意你的想法，那你至少得先自己在意到愿意把它寫下來。」

對(duì)那些未來會(huì)被 AI 深刻影響、但自己并非 AI 研究者的年輕人，他把 AI 類比成過去幾十年翻了無數(shù)倍的算力：AI 會(huì)影響所有領(lǐng)域，但計(jì)算也一樣，「沒那么不同」，你要做的是在各個(gè)領(lǐng)域里學(xué)會(huì)駕馭更強(qiáng)的算力。

他特意區(qū)分了「智能」和「算力」：算力的影響已經(jīng)很大、還會(huì)繼續(xù)；而智能會(huì)是一個(gè)全新的維度，只是它到來的時(shí)機(jī)還不確定。他把這個(gè)時(shí)點(diǎn)的中位數(shù)估計(jì)放在了 2040 年，「還有大概 14 年」，也可能提前到 2030 年，「大概率不會(huì)比 2040 更晚」。

「對(duì)齊是一種人類的把戲」

群訪的最后一個(gè)問題，落在了 AI 安全上：如果 AI 開始調(diào)用自己的經(jīng)驗(yàn)，人類如何確保它與我們的價(jià)值觀保持一致？

Sutton 的回答是整場(chǎng)里最具爭(zhēng)議的部分。他直接質(zhì)疑了「與人類價(jià)值觀對(duì)齊」這個(gè)前提：不同的人有不同的價(jià)值觀，根本不存在一個(gè)叫「人類價(jià)值觀」的東西。「這有點(diǎn)像一個(gè)幻覺……說到底是一種人類的把戲。」他的意思是，人們并不說清自己真正要做什么，只是告訴你「這是好的」，好讓你同意，然后由某個(gè)被賦權(quán)者來決定什么才算「好」。

他由此推出一個(gè)「有爭(zhēng)議的真理」：很多人說想要一種能把機(jī)器人、把 AI 對(duì)齊到某套特定價(jià)值觀的技術(shù)，但如果這種技術(shù)真的存在，那會(huì)是件糟糕的事。他把它平移到人身上來論證：如果我們有能把人對(duì)齊到別人價(jià)值觀的技術(shù)，誰來用它？拿它去對(duì)齊到什么價(jià)值觀上？「那會(huì)是一件邪惡的事。」

在他看來，今天世界最好的一點(diǎn)之一恰恰是「人類無法完全對(duì)齊」。「正因?yàn)槲覀儧]有強(qiáng)行對(duì)齊所有人的能力，世界上才有了和平。」如果這種能力真的存在，反倒是壞事。