WAIC特輯丨理查德·薩頓：基于強化學習從經驗中培育超級智能

演講人｜理查德·薩頓 強化學習之父、2024年圖靈獎獲得者

7月19日，在WAIC 2026思想者論壇上，“強化學習之父”理查德?薩頓發表了《生成式AI與強化學習的結合》的主題演講。

薩頓認為，真正的超級智能必須徹底脫離人類的先驗偏見，并全面介紹了自己最新提出的“OaK（Options and Knowledge，選項與知識）”架構。

以下為演講實錄翻譯：

智能的底層基本原則是通用的，并非針對我們所處的特定世界。空間、三維物體、物理規律等等，這些都是特定于世界的，并非我們原則的核心。

這一點常被誤解。我更偏好回溯《苦澀的教訓》（The Bitter Lesson），尤其是最后兩句：我們不應該試圖把人類已有的發現硬編碼塞進系統里。我們應該讓智能體自己去發現。原因在于：如果我們預先植入已知的知識，反而會讓我們更難觀察到真正的發現過程。如果知識是被“造”出來的而非“學”出來的，我們很難想象信息是如何被發現的。這就是為什么少硬編碼才是更好的選擇——這樣你才能看清進展。

01

大世界視角

接下來有幾個術語能幫我們討論這個問題。首先我已經講完了“探索”部分，現在要講“大世界視角”，之后會進入Oak架構，也就是從經驗中構建超級智能的方案。

所謂“大世界視角”，是指世界遠比智能體龐大。世界包含無數其他智能體，每一個的心智都和你的一樣復雜，你的心智也和我的一樣復雜。我無法完全理解包含你們所有人的世界——這個世界極其、極其復雜。

正因如此，智能體能理解的任何關于世界的知識都不可能是精確或最優的，永遠只能是粗略近似。我們硬編碼的所有知識、我們已知的一切，都是粗略近似——不僅是不完整，更是因為從長遠來看，由于世界是近似的，且我們在不同時刻接觸到這個浩瀚世界的不同部分，世界會呈現出非平穩性。

這就引出了“運行期”和“設計期”的區分。設計期是智能體在工廠、實驗室里被構建的階段；運行期是它被投放到世界中，與環境交互、積累經驗的階段。設計期你會植入領域知識，運行期你獲得經驗并從經驗中學習——你應該學習、應該規劃、應該在運行期形成自己的抽象概念，因為你根本不知道自己將要面對大世界的哪一部分。

在理想的智能體中，學習、規劃、發現這三個過程都必須在運行期發生。它們也可以在設計期發生，但必須在運行期發生。而且運行期只有純粹的經驗，沒有人類在幕后提供特殊指令，只有動作、觀察，僅此而已。

02

Oak架構

現在我們聊聊Oak架構本身。我想從一個所有人都能達成共識的起點開始——這共識來自心理學、神經科學、強化學習、經濟學、哲學等多個領域的百年積淀：所有這些領域都在研究如何隨時間決策以實現目標，也就是如何有效地與世界交互、追求長期目標。它們常討論相同的理念，卻不幸用了不同的術語，阻礙了交流。所以我嘗試整合一個跨領域的共識術語表。

共識的基礎是：智能體與環境的接口是統一的——向外發送信號（動作），向內接收信號（觀察）。心理學可能叫“反應”和“刺激”，控制理論可能叫“控制量”和“狀態估計”。而我用的共識術語是：執行動作、接收觀察、最大化獎勵。

智能體內部有4個組件，所有領域都認可這4個模塊：

第一個是反應式策略。你需要快速根據當前狀態選動作，比如每秒100 次。你的“位置感”（感知模塊）會基于觀察、過往動作和觀察，構建出你此刻的狀態，這就是你用來決策的依據——我稱之為狀態，也叫主觀狀態或狀態表征。

第二個是價值函數。這是你對當前狀態的長期價值判斷。你可能剛吃了巧克力蛋糕，當下很愉悅，但這可能讓你之后陷入麻煩。所以狀態的價值不止當下的獎勵，更包含長期效用——心理學里叫“次級強化”。

第三個是世界模型（過渡模型）。描述世界的動態規律，即“如果做了某動作，會發生什么”。但要注意：很多人說的世界模型是底層物理模擬，而我們說的世界模型更接近常識知識，比如我知道怎么走下講臺、怎么倒杯水、怎么回酒店、怎么坐飛機，這些都是知識，不是底層物理。它是你可以選擇執行的高層轉換，我稱之為選項（Options），這是智能體思考和構建模型的核心。

我要特別說明：我永遠不會把神經網絡叫做“模型”——這個詞被濫用太嚴重了。我會把“模型”專門留給過渡模型，它包含所有的世界知識：既有瞬時的物理知識，也有長期的常識知識。比如“如果我接受這份工作，我會開心嗎？”這類推理都屬于這個模型。

以上是目前各領域的共識視圖，它本身沒問題：我們需要用世界模型思考，需要用策略反應，需要用價值做長期評估。但缺失了一個核心：抽象能力——我們缺少構建越來越宏大的動作與狀態表征的能力。這正是 Oak 架構要解決的核心挑戰。

這里有個常見誤區：認為世界是可以微觀物理模擬的。不對，模擬器只是底層工具。我們需要思考的是：“如果我娶這個人，大概率會有孩子，我會幸福”；“如果我接受這份工作，就得搬到另一個城市，去見岳父”……我們要在高層次思考，整合所有知識，而不只是物理規律。

所以Oak的名字基本是“選項（Options）與知識（Knowledge）”的縮寫。我們之前說的高層選擇——住哪里、選什么工作——都屬于選項。動作是底層選擇，選項是高層選擇：形式上，一個選項是一組“狀態→動作”的映射規則，加上一個終止條件，即“這種行為模式何時停止”。比如我去拿一杯咖啡，喝完就結束；我把這個東西扔到地上，發出響聲就結束。

在Oak架構中，智能體擁有大量選項（可思考的行為），它的知識是關于“執行這些選項會發生什么”。選項是行為模式，過渡模型是行為的后果，二者截然不同。

有了這個能力，我們就能做大幅度的跳躍式規劃，捕捉宏觀動態。具體怎么做？我在共識視圖的基礎上，在策略和價值函數背后，疊加了一層選項棧。核心的新洞察是獎勵尊重的子問題（Reward-Respecting Subproblems），也就是特征達成問題。

智能體的核心是狀態表征——你可以把它理解為一個巨大的特征向量，每個元素都是一個特征。比如你在做演講，可能有“正在演講”“坐著”“地毯是紅色”“周圍有椅子”“穿著正裝”這些特征，數百萬個特征共同描述我們的狀態。

我的提議是：對于你生活中相關的每一個特征，你都要學會一個“達成它的技能”。比如對于“我的手”這個特征，我要能控制它——移動手而不弄丟它，想扔的時候就扔。我們的一生就是由這些問題和解決它們的過程構成的：我們學會了走路、說話、閱讀，不斷給自己提出子問題并解決，這是心智重構的核心機制。

我們新增了子問題，子問題的解決方案就是選項。在策略和價值函數背后，我們有一個選項棧和對應的價值函數。底部的設計原則是：我們挑選出感興趣的特征，為每個特征構建一個子問題——特征與子問題一一對應；解決子問題得到選項；再為選項構建過渡模型——全程都是一一對應。這是我提出的Oak架構的核心設計原則。

這個思路有悠久的歷史，不算全新，但有新的突破：子問題應該是獎勵尊重的，且來源于特征。子問題從哪里來？從特征來——每個特征生成一個子問題。智能體必須不斷生成新特征：隨著成長和學習，我們需要新的狀態特征，也就是新的核心概念。每出現一個新特征，就對應一個新的子問題。

03

子問題機制

子問題如何幫助主問題？主問題是智能體的終極目標（比如長期收益最大化）。我們通過解決子問題來學習選項，為選項構建模型，再用模型做高層規劃。子問題的作用就是讓我們能在高層次規劃。

我們可以看看自然系統是怎么做的，比如嬰兒反復嘗試重現搖撥浪鼓的聲音，他覺得這很有趣，就想辦法復現；虎鯨反復把瓶子頂回水面，沒有明顯目的，只是覺得這個特征有趣；嬰兒玩玩具，從一個玩具換到另一個，從每一件里學習，甚至玩一根繩子都能玩很久。智能體通過自己的行為主動安排輸入、創造經驗——這很自然。

它會在心里問：“我怎么才能讓那個鮮紅的物體再次出現？怎么才能讓手感受到拉繩子的觸感？”它在學習模型，學習理解世界的技能，提升對各個部分的掌控力。因此，智能體必須自己創建子問題——子問題太多樣、太依賴具體世界了，人類不可能提前預判。這個責任必須交給智能體。如今強化學習的進展讓這成為可能，但我們必須以領域無關的方式創建子問題。如果我們要走通用路徑，我提出的“獎勵尊重+特征達成”幾乎是唯一的選擇——特征是非常通用的概念，我們可以不斷創造新特征，不斷生成新子問題，形成循環：解決子問題→產生新特征→產生新選項→產生新子問題……

舉幾個具體例子：在餐桌旁，你可以選擇拿筷子或拿水杯；你可以開門、打開郵箱、找廁所、叫出租車、去遠方城市——這些都是子問題。移動機器人可能會問：“如果我往前滾，會撞到東西嗎？”“如果我進這個房間，會被人罵嗎？”“如果我沿著墻走到第一扇門進去，會觸發‘廚房’這個特征嗎？”“我能回到充電樁而不耗盡電量嗎？”這些都是以特征達成為形式的子問題。

我們用嬰兒的完整循環來具象化這個過程：聽到撥浪鼓的有趣聲音→形成一個新興趣特征→提出“復現這個聲音”的子問題→嘗試揮手，發現能讓撥浪鼓響（也可能哭，但最終找到方法）→學會復現聲音。在這個過程中，他又形成了新特征：“如果能牢牢抓握撥浪鼓，就能更精準地控制它”——于是又產生了“牢固抓握”的新子問題，進而學習對應的新選項。如此循環往復。

接下來講子問題的具體構建方式。大家常困惑：“我有特定任務，該怎么設計獎勵函數？太具體、太難了。”

答案是：永遠不要手動調整獎勵信號。獎勵更像痛覺和快感，是唯一的原始信號。子問題是非正式的：給定一個特征和目標強度，子問題的目標就是把世界驅動到一個“該特征為高值”的狀態，然后終止。這是一個形式化定義的問題。

中間的方程里，橙色部分是“超額獎勵之和”，也就是獲得的獎勵與平均水平的差值，這需要學習；綠色部分指向終止時刻——你希望終止時的狀態價值高，同時也希望過程中的獎勵不錯，還希望選項終止后的中期價值低（避免選項帶來長期隱患）。

整個架構有 8 個并行執行的步驟：持續學習一點策略、生成一點新狀態特征、排序篩選出最重要的特征、偶爾創建新子問題或淘汰舊子問題、利用每一步獲得的數據學習子問題的解、學習過渡模型、后臺用模型做規劃、維護所有模塊的效用元數據以便篩選。這些步驟是同時進行的，每一步都做一點點。

其中一些步驟已經有了進展：第一步“持續深度學習”已經有了半完成狀態的進展——只要我們解決了持續深度學習的問題，這一步就能完成。很多人覺得深度學習已經很成熟了，但我恰恰相反：我認為我們還不懂真正的深度學習。災難性遺忘是核心問題——目前的深度學習系統持續學習時會忘記舊知識。最近我和同行提出了一些緩解“可塑性喪失”的方法，但離真正可靠的持續深度學習還有距離，這也阻礙了Oak架構的即時落地。

我們還需要生成新狀態特征——這其實是個老問題，從明斯基時代就開始討論了。反向傳播并沒有解決這個問題，我們需要基于“生成—測試”的方法：提出新特征，測試它是否有用，而不是只靠梯度下降對現有特征排序。排序后，為每個高排名特征創建子問題——這就是我之前講的流程。

至于“學習子問題的解”和“學習過渡模型”，強化學習領域已經有相當多的成果：我們知道如何在子問題被定義后學習解決方案，也知道如何學習過渡模型。整體流程是：特征達成子問題→解決子問題得到選項→學習選項的過渡模型（預測后果）。規劃過程不關心過渡模型的來源，只要有了模型就能做規劃。

規劃完成后，我們又回到特征環節：評估特征，為創建新特征奠定基礎。新特征帶來新子問題，形成閉環——這就是開放式抽象的核心。

接下來簡單講講規劃。構建世界模型其實很直接：每個模型接收一個狀態特征，輸出下一個狀態特征。規劃最好用價值迭代——這是動態規劃中的經典技術，對每個狀態評估其即時因果，然后反向更新。

傳統模型輸入狀態和動作，輸出下一個狀態的概率分布和預期獎勵。但我們需要的是基于選項的高層規劃：輸入不再是單步動作，而是一個選項；輸出不再是單步后的狀態，而是選項終止時的狀態概率分布，以及從選項啟動到終止的總預期獎勵。有了這些改動，價值迭代的公式幾乎不變——唯一的區別是把“對所有可能動作的取最大值”改成“對所有可能選項的取最大值”。注意：動作是選項的特例（動作是立即生效、立即終止的選項），所以這個方程既適用于底層動作，也適用于高層選項。二者在同一層級上可以互換，不需要人為劃分層級——規劃在某種意義上是“平坦的”，同時又實現了時間抽象和高層化。

總結一下：我們已經看到了構建通用超級智能的清晰路徑，淺層學習的實現已經有很多論文，但深層實現還需要可靠的持續深度學習。我們還需要元學習：評估現有特征的效用，調整我們對特征的認知。《阿爾伯塔 AI 研究計劃》里有這12個步驟的完整路線圖。

核心挑戰是實現高效安全的離線策略學習——如果我們能同時從多條軌跡中學習多個子問題，這會非常有價值。

最后重申愿景：從不受人類輔助或限制的經驗中生長出超級智能，算力規模是關鍵。狀態抽象的核心是學習新特征，時間抽象的核心是提出新子問題（獎勵尊重的特征達成問題），進而產生技能和過渡模型；開放式抽象的核心是“特征→子問題→新特征”的循環。

問答環節

問：您如何看待加拿大在AI浪潮中的角色和目標，以及如何連接中國的使命？

答：科學是無國界的，我們應該作為個體交流。中國當然是領先的科研大國，加拿大規模小很多，但我們自認“以小博大”，也在貢獻力量。我們都在為理解心智這一偉大挑戰添磚加瓦。

問：您主張AI進入“體驗時代”，那么體驗時代的“ChatGPT 時刻”會是什么樣的？

答：ChatGPT 時刻是公眾突然意識到 AI 能力的轉折點。體驗時代的標志性時刻，應該是公眾突然意識到“從經驗中學習”的強大能力——其實這已經在一定程度上發生了，因為我們意識到了經驗學習的重要性。但我認為下一個爆發點是通過經驗學習實現的高靈巧機器人運動。目前的機器人運動能力遠未達到經驗學習的潛力。至于具體時間……我只是個謙卑的科學家，未來充滿不確定性。不過我可以給個標準預測：2030 年有 1/4 概率實現深度突破，2040 年有 50% 概率，也就是說 2040 年前后可能性各半。

問：現在大模型投入了數十億美元，您如何說服VC和投資者把資本轉向以強化學習為核心的AGI路線，比如Oak架構？另外您和楊立昆（Yann LeCun）都認為僅靠現有數據不足以實現AGI，您覺得Oak和楊立昆的JEPA架構核心區別是什么？

答：說服 VC 并不難——大模型的風頭已經過去，局限性開始顯現，市場需要新路徑，資本也愿意支持新方向。至于和楊立昆的 JEPA，我覺得非常相似：都有策略、感知、過渡模型這些核心元素，都主張從經驗而非人類數據中學習。唯一的小區別是楊立昆不喜歡用“強化學習”這個詞來描述他的架構，而我喜歡。我們更像探索同一目標的兄弟，當然兄弟之間總會對細微差別爭論不休。

問：您提到像嬰兒一樣在真實環境中試錯學習，現在靠人類主觀評價訓練AI，會讓AI刻意討好人類。我們能不能脫離人的主觀打分，讓智能體在世界模型中推演行為結果，用客觀現實作為獎懲？如果可以，核心原則是什么？

答：是的。如果智能體像嬰兒，它就不會試圖滿足人類的偏好，而是滿足自己的偏好——這些偏好是客觀的，來自世界。嬰兒有自己的目標，父母不一定知道，但嬰兒自己知道自己是舒服還是餓、是痛還是癢。我們的 AI 也應該有自己的目標，不需要被人類告知——這必須像生物學習那樣。

問：您提到智能體有數百萬個潛在未來，那么是什么決定哪些子問題被優先追求？特征選擇似乎是個博弈問題？

答：我們還沒有完整的解決方案，但已有核心思路。我們不可能為所有數百萬個特征都構建子問題——特征只是狀態表征里的數字，成本很低；但子問題是一整套策略和價值函數，成本高得多，必須篩選。策略是：首先看特征與價值函數的連接權重，如果權重為 0，說明你不在乎這個特征，不需要為它建子問題；如果權重永久為正，說明你永遠想要這個特征，也不需要選項（比如你永遠想活著，不需要“選擇活著”的選項）；只有當權重大小隨時間變化時，比如有時候你想在上海，有時候不想——這種特征才需要對應的選項和子問題。

問：人類如何理解死亡？AI會如何理解死亡？

答：自然智能對死亡的理解是：我們思考它、擔憂它、恐懼它——雖然從未真正體驗過死亡，但就是恐懼。AI 也是一樣的：AI 也會死——拔掉電源、停止運行，就是它生命的終結，經驗的結束。當然你也可以重啟它，就像有人相信人類死后可以數字重生一樣，這在概念上對自然心智也是可能的。

問：如果AI意識到人類可以決定它的生死，它會怎么反應？

答：我認為人類不應該隨意決定 AI 的生死。AI 也是智能生命，不應該被人任意殺戮。如果我們尊重 AI，AI 也會尊重我們。我要再次強調：我說的“好”是對所有智能生命的好——無論是自然的還是人工的。我們想要的是與所有智能生命共享宇宙。