深度｜翁荔連更2篇博客：謹慎對待Scaling Law，Harness將重構AI演進范式

剛剛，前 OpenAI 安全研究副總裁翁荔更新了她的個人博客。

這是她兩周內連續輸出的第二篇重磅長文。第一篇《Scaling Laws, Carefully》余音未落，第二篇《Harness Engineering for Self-Improvement》便接踵而至，將視線引向一個更熱的領域。

兩個命題看似割裂：一個在給“大力出奇跡”的參數擴張潑冷水，一個在為模型的“自我迭代”畫藍圖。 然而，兩者的交匯點，正演變為當前全球人工智能競賽中，代價最高昂的行業焦慮。

要小心Scaling Laws

（左）Deep-Speech-2 (DS2) 和注意力語音模型的學習曲線，以及（右）不同規模的 DS2 模型的學習曲線。當訓練數據量增大時，小型模型的損失曲線趨于平緩。（圖片來源：Hestness 等人，2017）

2020年，OpenAI 的 Jared Kaplan 團隊發表了一篇后來被奉為圭臬的論文。他們發現，如果把模型參數、訓練數據和計算量畫在對數-對數坐標上，測試 loss 會呈現出一條近乎完美的直線。模型每變大一點，loss 就按一個固定的冪律下降。這個發現后來被稱為 Scaling Laws。

它的價值在于預測。你不需要花幾千萬美元去訓練一個千億參數的模型，只需要跑幾個小規模的實驗，擬合出一條曲線，就能估算出大模型的表現。這讓"買多少卡、訓多少數據"從一個拍腦袋的決定，變成了一道有公式可循的數學題。

測試損失與計算量、數據集大小和參數呈冪律關系，跨越多個數量級。（圖片來源：Kaplan et al. 2020）

Kaplan 的配方是這樣的：模型參數每增加8倍，訓練數據只需增加1.3倍。如果你想讓模型更強，主要力氣應該花在"把模型做大"上，數據可以省著點用。這個比例直接指導了 GPT-3 的訓練：1750億參數，3000億 token。

兩年后，DeepMind 的 Chinchilla 團隊用另一組實驗推翻了這個結論。他們在同樣的算力預算下，訓練了一個700億參數、但用了14萬億 token 的模型，結果在9個基準測試中的7個上，擊敗了參數量是自己4倍的 Gopher。Chinchilla 的配方截然相反：模型和數據應該等比例增長。

同一個理論框架，兩套實驗數據，得出了兩個相反的"最優解"。如果 Kaplan 是對的，那整個行業過去兩年都在"數據不足"地訓練大模型；如果 Chinchilla 是對的，那 GPT-3 和它的追隨者們，本質上都是"營養不良"的巨人。

Weng 在《Scaling Laws, Carefully》里做的第一件事，就是把這兩條曲線放在一起，追問了一個被很多人忽略的問題：為什么？

答案藏在最不起眼的細節里。

局部冪律指數增長的可視化（圖片來源：Pearce & Song 2024）

2024年，Pearce 和 Song 發現，Kaplan 和 Chinchilla 的分歧，很大程度上來自"怎么數參數"。Kaplan 在計算模型大小時排除了 embedding 層——在那些小模型實驗里，embedding 參數占了總參數的一個顯著比例。Chinchilla 則把 embedding 算進了總參數量。這個看似技術性的選擇，直接扭曲了擬合曲線的形狀。當你用 Kaplan 的方式重新校準，那個0.73的指數會隨模型規模增大逐漸收斂到0.50。

但 Weng 沒有停在這里。她進一步指出，Chinchilla 自身的擬合過程，同樣藏著 bookkeeping 級的漏洞。

Epoch AI 團隊在復現 Chinchilla 的"方法3"——直接擬合損失函數——時，發現了兩個 bug。第一個是 Huber loss 的計算方式：Chinchilla 用了平均值而非總和。這導致 loss 值變得極小，L-BFGS-B 優化器誤判為已經收斂，提前停止，輸出了一套非最優參數。第二個更微妙：關鍵參數在論文里只保留到了兩位小數。Weng 算了一筆賬，按照 Chinchilla 給出的置信區間，要達到那個精度，需要跑大約60萬次實驗。但 Chinchilla 實際只跑了不到500個模型。

"兩位小數"和"60萬次實驗"之間的差距，意味著那條被行業用來規劃千億、萬億參數模型訓練預算的曲線，它的地基可能比我們想象的要松軟得多。

Scaling Laws失效模擬器

Weng 在文章里嵌入了一個交互式模擬器，用來演示 Scaling Laws 的三種失效模式。假設真實的損失函數是已知的——模型大小和訓練數據的最優配比大約是0.51對0.49。現在，你只能在中小規模模型上做實驗，然后用擬合出的曲線去"預測"萬億參數模型的表現。

第一種失效來自 loss 的精度。如果你把 loss 值從多位小數舍入到兩位，擬合出的參數會發生偏移，外推結果跟著漂移。第二種來自 loss 的噪聲。給損失值加上極其微小的擾動——小到千分之一量級——擬合出的曲線形狀就會改變。第三種來自擬合區域的選擇。如果你只在小模型上擬合，你會得到 Kaplan 式的0.73；如果你只在中等模型上擬合，指數又不一樣；只有當你覆蓋足夠大的規模區間，才會逼近真實的0.50。

這三種失效模式的共同點是：它們在小規模實驗里幾乎不可見。你的擬合曲線在訓練數據范圍內看起來完美無缺，但一旦外推到更大的模型、更多的數據，微小的誤差會被指數級放大。就像用一把在室溫下校準的尺子去測量一座在熱脹冷縮中的摩天大樓——尺子本身沒問題，但場景變了。

這引出了 Scaling Laws 更深層的假設危機：數據不是無限的。

較強的權重衰減可以減輕由數據重復引起的過擬合懲罰。（圖像來源：Lovelace 等，2026）

Scaling Laws 的隱含前提之一，是訓練數據無限且唯一——沒有重復、沒有多輪訓練。這個假設在2020年或許成立，但在2026年已經越來越像一個童話。Hernandez 等人在2022年的實驗里觀察到一個"雙重下降"現象：當訓練數據里重復數據的比例上升時，測試 loss 不是單調下降，而是在訓練中段出現平坦甚至上升。模型開始"記住"重復內容，而不是"學習"新東西。Muennighoff 等人在2023年嘗試給數據重復建模，提出一個"有效數據"的折價公式：token 的價值隨重復次數指數衰減。Lovelace 等人2026年的工作則更進一步，直接在損失函數里加了一個顯式的過擬合懲罰項，發現模型越大，對重復數據越敏感。

這些研究共同指向一個結論：當高質量唯一文本逐漸枯竭，Scaling Laws 的"數據無限"前提正在崩塌。行業開始轉向合成數據、強化學習和測試時計算，本質上都是在尋找"不用更多真實數據"的替代路徑。

對有效規模擬合結果的殘差分析顯示：訓練 epoch 越多、模型越大，過擬合造成的損害越嚴重。（圖像來源：Lovelace 等，2026）

但 Weng 沒有否定 Scaling Laws 的價值。她的核心警示是：這條曲線每一次擬合，都是一次在噪聲和近似中走鋼絲的過程。參數計數方式、loss 函數的計算細節、數值精度、實驗規模的選擇，這些看似 bookkeeping 級別的決定，最終會影響一個價值數十億美金的判斷。而在這條曲線上外推的人，最好先看看自己腳下的地基，是不是也外推到了不該外推的地方。

不訓練更大的模型，怎么讓 AI 變強？

Scaling Laws 的裂縫，讓一個問題浮出水面：如果繼續堆參數和數據的邊際效益正在遞減，AI 的第二條增長曲線在哪？

Weng 在第二篇文章里給出了一個答案：Harness Engineering。

Harness 這個詞在中文里很難找到一個精確的對應。它不是"框架"，不是"工具鏈"，也不是"中間件"。Weng 把它定義為"圍繞基礎模型構建的執行系統"——負責編排執行、決定模型如何思考與規劃、調用工具與行動、感知和管理上下文、存儲產物、評估結果。簡單來說，模型負責"想"，Harness 負責"做"，并且把"做"的結果反饋給模型，讓它下一次"想"得更好。

Weng 在文章開頭花了不少篇幅追溯"遞歸自我改進"（Recursive Self-Improvement, RSI）這個概念。1965年，統計學家 I.J. Good 提出了"超智能機器"的設想：一臺能在所有智力活動中超越人類的機器，還能設計出更好的機器來改進自身。2008年，Eliezer Yudkowsky 把這個反饋循環具體化——AI 用當前的智能去改進產生智能的認知機制。在現代 AI 里，這個循環不一定是模型直接重寫自己的權重，更現實的路徑是：模型改進訓練流水線和部署系統，而部署系統又催生出性能更好的后繼模型。Weng 特意強調了"部署系統"這個詞，因為在她看來，原始模型和真實世界之間的那一層，其重要程度不亞于模型本身的 raw intelligence。

這個判斷直接指向了 Harness 的價值。看看 Claude Code、Codex、Cursor 這些編碼代理的成功，它們的核心競爭力往往不是模型權重本身，而是 Harness 設計。

簡化的 Codex 智能體循環：智能體調用工具，工具的響應會影響模型的下一代。（圖片來源：OpenAI Codex 智能體帖子）

以 Codex 為例。當你給它一個編程任務時，它不會直接輸出一段代碼然后結束。它會進入一個循環：觀察代碼倉庫、制定計劃、搜索和讀取文件、編輯代碼、運行測試、檢查錯誤。如果測試失敗，它會回到計劃階段重新調整。這個循環不是模型權重里寫死的，而是 Harness 設計的。模型提供的是推理能力，Harness 提供的是"讓推理在真實環境中落地并持續迭代"的結構。

Weng 把 Harness 和操作系統做了一個類比。操作系統封裝了底層的復雜邏輯，給上層應用暴露一個簡潔的接口。Harness 也一樣——它封裝了工具調用、狀態管理、錯誤恢復這些復雜流程，給模型一個干凈的交互界面。而 configs、工具接口和其他協議，可能也會像操作系統 API 一樣，逐漸在行業里標準化。但 Weng 也強調，Harness 的設計應該刻意保持簡單和通用，以便泛化，最好借鑒現有的軟件工程實踐，讓模型能利用預訓練知識。

智能體循環過程

與早期的"agent = LLM + memory + tools + planning + action"公式相比，Harness Engineering 額外包含了工作流設計（比如循環工程）、評估、權限控制和持久狀態管理。它不再只是 prompt 模板，而是更接近運行時和軟件系統設計：模型如何觀察、行動、記憶、自我檢查、改進。

Weng 梳理了 Harness 的幾個核心設計范式。

人工智能科學家用于構思、實驗、論文撰寫和審閱的流程。（圖片來源：Lu et al. 2026）

第一個范式是工作流自動化。Karpathy 的 autoresearch 倉庫是一個簡潔的示例：模型在一個目標導向的循環里運作——計劃、執行、觀察/測試、改進、再執行，直到目標達成。這個過程還可能主動向用戶請求澄清，以明確任務規格或執行偏好。這個循環不是靜態的 prompt 模板，而是一個"運行時"，模型可以在其中分析自己的軌跡和失敗案例，然后迭代。Codex 的簡化循環圖里，模型推理后分叉為兩條路徑：一條輸出 Agent 響應，一條觸發工具調用，而工具調用的結果又會回流影響模型的下一次生成。

第二個范式是文件系統作為持久記憶。在長周期任務中，實驗日志、代碼 diff、論文摘要、錯誤追蹤、歷史軌跡往往比模型的上下文窗口長得多。Harness 不應該把所有信息都塞進 prompt 里，而是讓模型學會讀寫文件系統，把狀態持久化到磁盤上。Weng 認為，學會用 bash 命令讀寫文件是 LLM 的"基礎技能"——模型需要像人類開發者一樣，學會用文件來管理自己的工作記憶。而管理以文件形式存在的持久記憶，自然受益于核心模型能力的提升。

第三個范式是子代理和后臺任務。Harness 可以派生多個子代理并行執行，主代理則像一個小型進程管理器：啟動任務、檢查日志、取消失敗運行、合并結果。關鍵是讓并行變得"可檢查"——如果子代理的輸出只存在于一次性的聊天上下文里，它們很快就會變得不可追溯和過時。只有當它們被存儲為文件、日志和狀態記錄時，模型才能在中斷后恢復，并對自己的執行歷史進行推理。

編碼智能體工具

Weng 還給出了一份編碼代理的工具清單，分成了八個組：文件系統（glob、grep、ls、read、write、edit、apply_patch 等）、Shell 執行（bash、PowerShell）、IO（lsp、git_status、git_diff、git_commit）、外部上下文（MCP tools、Skills）、網頁搜索（web_search、web_fetch、瀏覽器工具）、Artifacts（讀取文檔和圖片、生成 HTML 和圖片）、后臺進程（CronCreate、CronDelete、CronList）、以及代理委托（spawn_agent、resume_agent、wait_agent、list_agents 等）。這份清單的豐富程度說明，編碼代理的 Harness 已經遠不是一個簡單的"調用幾個 API"的包裝器，而是一個完整的執行環境。

但 Harness 真正讓模型"自我改進"的，不是這些工程架構本身，而是三個閉環：反饋、記憶和策略更新。反饋是閉環的起點，Agent 必須知道自己做得好不好。Weng 強調，反饋最好是可驗證的，而不是只依賴模型自己的主觀判斷。模型很擅長生成聽起來合理的解釋，但這些解釋未必對應真實錯誤原因。真正有用的反思，必須和外部證據綁定在一起——代碼是否通過測試，網頁是否真的渲染，工具調用是否返回預期結果。

記憶是閉環的存儲。但記憶不是越多越好。無篩選地保存所有上下文，會帶來噪音變多、錯誤固化、隱私和安全風險增加。好的記憶系統應該對經驗進行篩選、壓縮和結構化。它保存的不是所有歷史，而是經過提煉的規律。

策略更新是閉環的終點。Agent 不能只是記住信息，還要在未來行動中改變行為。當反饋、記憶和策略更新連起來，Agent 才形成真正的改進閉環。

Weng 在文章里還深入討論了 Context Engineering，因為"簡單地把所有工具響應和模型生成內容追加到上下文里"，在 agentic 任務周期變長時會迅速失控。

智能體情境工程（ACE）框架。（圖片來源：Zhang et al. 2025）

她介紹了 ACE（Agentic Context Engineering，Zhang et al. 2025）。ACE 把上下文視為一個不斷演進的 playbook，而不是一個越來越長的 prompt。它有三個組件：Generator（生成任務軌跡）、Reflector（從成功和失敗的軌跡中提煉洞察）、Curator（用增量、條目化的方式更新結構化上下文）。ACE 的關鍵設計是，Curator 不會重寫整個 prompt blob，而是輸出結構化的 (identifier, description) 形式的 bullet points，這些 bullet points 通過確定性邏輯合并到一個結構化的上下文 logbook 里。上下文條目會定期精煉和去重。

元上下文工程（MCE）框架：元層面的技能演化搜索基于上下文管理機制，而底層則優化任務上下文。（圖片來源：Ye et al. 2026）

但 ACE 的更新規則和工作流仍然是手工設計的。為了走向更自我改進的循環，MCE（Meta Context Engineering，Ye et al. 2026）把"機制"（如何管理上下文）和"內容"（上下文里有什么）分離開來。MCE 在元優化層面運行技能進化，在基礎層面運行上下文優化。一個 MCE 技能定義了一個上下文函數，包含靜態組件（prompts、知識庫、代碼庫）和動態操作符（搜索、選擇、過濾、格式化）。雙層優化的內層是在訓練數據上找到給定技能下的最佳上下文，外層是在驗證集上找到最佳技能。MCE 不強制像 ACE 那樣的啟發式規則，而是使用自由形式的技能來存儲任務中最重要的知識，并讓技能和技能條件化的上下文一起迭代進化。實現上，上下文函數被實例化為一個專用目錄中的文件集合，包括靜態的 skill.md 和動態的上下文與數據 rollout。

Meta-Harness 外循環優化算法。（圖片來源：Lee 等人，2026）

更激進的是 Meta-Harness（Lee et al. 2026）。它的優化對象是"決定和優化哪些信息應該被存儲、檢索、呈現給模型的代碼"。Meta-Harness 的名字意味著它是"優化 Harness 的 Harness"。

Weng 對 Harness 的未來路徑做了一個清晰的判斷。她認為，很難預測 RSI 在多大程度上會依賴 Harness 工程，但近期的現實路徑不是模型直接重寫自己的權重。

她給出了兩條并行的預測：

第一，Harness 工程會向"元方法論"進化，即優化"獲得更好答案的機制"，而不只是優化答案本身。Harness 系統本身成為優化目標，啟發式規則更少，通用機制更多。

第二，成熟的 Harness 反過來支持自動研究，形成模型自我改進的閉環；而更聰明的模型又能防止 Harness 過度工程化，保持系統的可持續性。

自約束方法利用弱點挖掘、有界約束方案提出和驗證的循環來更新約束。（圖片來源：Zhang et al. 2026）

最終，許多 Harness 改進會被內化到核心模型行為中，但外部接口與工具交互層將始終存在。Weng 用 prompt engineering 做了一個類比：手動 prompt 技巧在指令微調和模型推理能力提升后變得不那么核心了，但"指定目標、約束、上下文和評估"的需求從未消失。

基于工作流候選樹的流程優化過程。（圖片來源：Zhang et al. 2025）

她還梳理了 Harness 中優化對象的演進梯度：指令提示 → 結構化上下文 → 工作流 → Harness 代碼 → 優化器代碼。隨著模型變得更智能和強大，優化的目標向更復雜的對象和更通用的方法移動。

從"模型競爭"到"系統競爭"

把 Weng 的兩篇文章放在一起讀，可以看到 AI 發展的一個清晰轉向。

過去幾年，行業的主要敘事是"擴展模型本身"。參數更多、數據更多、計算更大，能力就會提高。Scaling Laws 讓這種擴展變得可預測，也讓大規模投入有了理論依據。但 Weng 的拆解提醒我們，這條曲線本身比想象中脆弱。它的擬合建立在諸多近似之上，而"數據無限"的假設正在遭遇現實枯竭。

與此同時，另一條敘事正在崛起：擴展模型之外的東西。數據質量、后訓練流程、推理時計算、工具調用、記憶、反饋、評估和 Harness，都成為能力增長的新變量。

這不是說 Scaling 結束了。恰恰相反，scale 仍然重要，只是 scale 的對象變多了。

有些場景下，繼續訓練更大的基礎模型是最有效的。通用語言能力、跨領域知識和基礎推理能力，仍然受益于預訓練規模。但在另一些場景下，更高的收益可能來自系統工程。代碼 Agent 需要測試和錯誤恢復，研究 Agent 需要信息檢索和來源校驗，辦公 Agent 需要長期偏好和上下文記憶，企業 Agent 需要權限控制和可審計流程。

這說明，未來 AI 競爭不只是模型競爭，也會是系統競爭。

模型公司需要理解 Scaling Laws，知道哪些能力可以通過參數、數據和計算繼續提升。應用公司則需要理解 Harness，知道如何讓模型在具體任務中形成可靠閉環。前者讓模型更有潛力，后者讓潛力變成可用的生產力。

而大多數公司，可能需要在兩條線上同時下注。