ARC-AGI-3近被完美攻破，這個Harness能讓AI掌握物理學(xué)家思維

編輯｜Panda

7 月 16 日，伯克利博士后 Haven Feng 的一條推文火了。原因無他，結(jié)果很震撼：在 ARC-AGI-3 Public 集上，一套名為[schema]的智能體框架，與 Claude Opus 4.8、Fable 5 組合后達到98.98%的 RHAE；換成 GPT-5.6 Sol 組合，分?jǐn)?shù)也有95.35%。

怎么做到的？Feng 的推文表示：「[schema] 讓 LLM 像物理學(xué)家一樣思考。」

這條推文很快被轉(zhuǎn)到 55 萬次瀏覽。

要理解這些成果的分量，得先看它站在什么位置上。ARC-AGI-3 今年 3 月上線時，最強的前沿智能體只拿到 0.51%。到 7 月，官方驗證過的最好成績是 GPT-5.6 Sol 在最高推理檔下的 7.78%（半私有集），公開集也才 13.33%。一個跑了近半年、被 ARC-AGI 和 Keras 創(chuàng)造者 Fran?ois Chollet 判斷「大約還能撐一年」才會飽和的基準(zhǔn)，被幾乎打穿了。

真正值得注意的不是分?jǐn)?shù)本身，而是它來自哪里：模型權(quán)重一個字節(jié)都沒動，變的只是模型外面那層「殼」。也就是當(dāng)前大熱的Harness，它把「觀察、提出假說、設(shè)計實驗、修正規(guī)則、規(guī)劃執(zhí)行」串成不可跳過的閉環(huán)，并讓模型把理解寫成可以運行、回放和修改的「世界程序」。拉開差距的，不只是模型會不會推理，更是 harness 能否把推理變成一套可驗證的行動流程。

而就在整個 AI 圈還在比拼誰的模型更大、推理更強時，[schema] 給出了一個不太一樣的答案：有時候，問題不在模型，而在你怎么用它。

[schema] 是什么？

首先，先簡單介紹一下ARC-AGI-3。

這是一個「不告訴你規(guī)則」的游戲基準(zhǔn)。它給智能體一塊 64×64 的網(wǎng)格、16 種顏色、幾個合法操作，然后什么都不說：沒有物體清單，沒有目標(biāo)說明，沒有獎勵信號。智能體只能一邊玩一邊猜，包括猜網(wǎng)格里哪些像素是「玩家」、哪些是「墻」，猜某個操作會讓世界怎么變，猜什么算「過關(guān)」。

而[schema]則是套在大模型外面的一層 harness。它不重新訓(xùn)練模型，而是逼著模型用一種特定的方式工作：把每一關(guān)的機制寫成一段可以運行的程序，拿這段程序去對照歷史記錄做驗證，再在程序里搜索出通關(guān)路徑。

視頻鏈接：
https://mp.weixin.qq.com/s/BbOBM0A-znQtVSDRcDK6zw

[schema] 來自 Impossible Research、加州大學(xué)伯克利分校與卡內(nèi)基梅隆大學(xué)研究者的合作。名字借自康德的「圖式」概念，意指連接抽象概念與具體感知的一套構(gòu)造規(guī)則。落到工程上，它是一層 harness，也就是包裹在大模型外部的工作框架。

網(wǎng)友：印象深刻，也有人喊「作弊」

結(jié)果一出，討論熱烈。

有人直接被數(shù)字震住。一位網(wǎng)友感嘆，公開集從 7.8% 跳到 99% 是「實打?qū)嵉囊淮蟛健埂Ｒ灿腥碎_始想更遠的問題：這套外殼到底跟什么樣的模型能力最匹配？換個模型還成立嗎？

但質(zhì)疑同樣不少。有人半開玩笑地貼出一段偽代碼，調(diào)侃道：「我們造了個能下棋的大模型。」「什么突破？」「我把棋局輸進去，往后一站，看它算。」——言下之意，真正干活的是搜索算法，不是模型。還有人更直接：「有沒有可能，這里面有點作弊？」

最有分量的評價來自 ARC Prize 總裁 Greg Kamradt。他一方面肯定這項工作，說核心思路他很欣賞：把世界模型的隱含表示寫成程序而非向量，于是它可以被讀、被 diff、被逐條回放驗證，還能當(dāng)模擬器來免費搜索。「這講得通，我喜歡。」

https://x.com/GregKamradt/status/2077949388673151332

另一方面，他也點出幾處存疑。

其一，兩個分?jǐn)?shù)都用了一條固定的「兜底規(guī)則」：先跑 Opus 4.8 和 Sol xhigh，凡是單局低于 80 分的，再換 Fable 5 和 Sol max 重跑一遍，取兩者里的高分。在他看來，ARC-AGI-3 的精神是讓智能體在毫無先驗的情況下面對游戲，一旦你根據(jù)「哪局跑得好、哪局跑得差」來切換模型，就等于把人和環(huán)境的信息注入了流程。

其二，官方文檔里出現(xiàn)了「玩家」「墻」「計數(shù)器」這類詞。如果這些概念是人告訴模型的，那所謂的成績就同時來自模型和人，「而我們早就知道人類得分很高，那就沒那么有意思了」。

Kamradt 也強調(diào)，98.98% 和 95.35% 都是團隊在公開集上的自報告結(jié)果，ARC Prize 尚未獨立復(fù)核。[schema] 團隊自己在博客里也主動寫明了這一點。

核心：把世界模型寫成一段可以運行、可以證偽的程序

現(xiàn)在進入正題：[schema] 到底怎么工作的？

博客地址：
https://schema-harness.github.io/

一、像物理學(xué)家一樣，先決定「定律是關(guān)于什么的」

物理學(xué)家寫下一條定律之前，得先決定這條定律說的是什么：觀測里哪些部分是物體？哪些屬性定義了狀態(tài)？想清楚這些，才談得上問「狀態(tài)怎么變」。

[schema] 把這件事拆成兩個問題。

• 狀態(tài)落地（state grounding）：把原始像素變成能追蹤的物體、變量和關(guān)系。
• 機制發(fā)現(xiàn)（mechanism discovery）：找出這些狀態(tài)在一次操作下如何改變，并把規(guī)則寫成一段可運行的程序。

關(guān)鍵在于，這兩個問題不能分開解。一個乍看合理的狀態(tài)表示，可能在后續(xù)實驗里露餡，因為你找不到任何一條一致的規(guī)則能解釋接下來發(fā)生的事。

[schema] 的做法是把狀態(tài)表示和轉(zhuǎn)移規(guī)則編碼進同一段可編輯的程序：一旦某個觀測跟預(yù)測矛盾，智能體既可以改規(guī)則，也可以改「狀態(tài)到底是什么」，再回過頭調(diào)整另一半，讓整個模型重新自洽。

團隊舉了個漂亮的例子：狹義相對論的誕生。邁克爾遜-莫雷實驗測不到光賴以傳播的「以太」時，洛倫茲選了第一條路：保留以太，用收縮假設(shè)去打補丁，硬把零結(jié)果吸收掉。愛因斯坦選了第二條：干脆把以太從「狀態(tài)」里刪掉，讓同時性變成相對于參考系的，于是得到了一套簡潔的運動電動力學(xué)。當(dāng)預(yù)測反復(fù)失敗，物理學(xué)家改的不只是定律，而是「狀態(tài)是什么」。

二、把世界模型當(dāng)程序，于是它可讀、可驗、可搜

這是 [schema] 最核心的一步，也是 Kamradt 最欣賞的地方。

在大多數(shù)系統(tǒng)里，模型對世界的理解是一個向量，藏在網(wǎng)絡(luò)內(nèi)部，看不見摸不著。[schema] 反其道而行：它把這個「潛在世界表示」寫成一段代碼。好處有三。

• 它是可解釋的：一個你能讀、能比對差異的文本文件。
• 它是可驗證的：可以拿著歷史記錄一條一條回放，逐個信念地檢查對不對。
• 它是可搜索的：一段程序本身就是一個模擬器，在里面做規(guī)劃不花任何真實操作。

三、外循環(huán)：觀察、推演、執(zhí)行、記錄

[schema] 讓智能體對著游戲跑一個四階段循環(huán)：觀察 → 推演 → 執(zhí)行 → 記錄。

記錄這一環(huán)是不可篡改的交互歷史。智能體可以隨時修改自己的假設(shè)和筆記，但改不了它收到過的觀測和做過的操作。每一輪推演里，智能體把當(dāng)前理論更新成一段 step(state, action) 程序，用 run_backtest 拿它去對照全部歷史記錄，哪里對不上就定位錯誤，然后用 run_bfs 在模型里搜出一條路徑，把結(jié)論寫進 notes.md。這些操作全都不碰真實環(huán)境，只有 commit_actions 才會真的把操作發(fā)給游戲。

這里有一條硬規(guī)矩：現(xiàn)實的優(yōu)先級高于模型。執(zhí)行過程中，每一次真實的狀態(tài)轉(zhuǎn)移都會拿去跟理論預(yù)測比對。只要有一處對不上，當(dāng)前計劃立刻中止，智能體帶著這個「反例」回到推演，必須先修好模型才能重新規(guī)劃。

還有個容易被忽略的細節(jié)：智能體不只為了通關(guān)而行動，它也會主動做實驗。當(dāng)好幾條候選規(guī)則都能解釋歷史時，它會去找一個「能把它們區(qū)分開」的操作；各條規(guī)則對這個操作的預(yù)測不一樣，做一次就知道誰對。這種有針對性的試探本身也很省，因為 RHAE 對多余操作施加的是平方級懲罰，最好的實驗就是用最少的真實交互解決最多的不確定性。

四、數(shù)字到底說了什么

得先搞清楚 RHAE 怎么算。它比較的是智能體和「首次接觸的人類基線」各用了多少操作，單關(guān)得分是（人類操作數(shù) ÷ 智能體操作數(shù)）的平方，上限 1.15。越靠后的關(guān)權(quán)重越高，且只有通關(guān)全部關(guān)卡才可能拿到滿分。所以 98.98% 是一個把完成度和操作效率揉在一起的綜合指標(biāo)。

因為比值被平方了，多走冤枉路的代價非常大。團隊給了個直觀對比：智能體 A 用 785 步打完全部 7 關(guān)，逼近人類的 776 步，拿到 97.7%；智能體 B 花了 1591 步、是人類的 2.7 倍，還卡在第 6 關(guān)沒打完，最終得分不到 14%。

真正干凈的對照來自 Claude 這一行。同樣是 Opus 4.8 加 Fable 5 的組合，把 Claude Code 的通用外殼當(dāng)基線，只拿到 42.83%；換成 [schema]，同一對模型沖到 98.98%，提升 56.15 個百分點。變量只有外殼，模型沒動。

至于那條從 13.33% 到 95.35% 的巨大落差，團隊自己也說了：這不是一場對等的 harness 對比，Sol max 的 13.33% 是官方在極簡外殼下報的最好單變體成績，兩者不在一個口徑上，只能算作背景參照。

寫出程序之后，模型能少走多少彎路

團隊分析發(fā)現(xiàn)，在 25 個游戲中，有 14 個游戲被模型誘導(dǎo)出能精確復(fù)現(xiàn)歷史的程序世界模型。在這些游戲里，智能體的實際動作數(shù)比人類基準(zhǔn)少 1.6 至 5 倍。原因并不神秘：發(fā)現(xiàn)機制需要付一次真實交互成本；一旦 step() 和 is_goal() 經(jīng)驗證，后續(xù)關(guān)卡的規(guī)劃就能在模擬器內(nèi)完成。

一個極端案例是 M0R0 的第 4 關(guān)。團隊稱，智能體用了 42 次動作，人類基準(zhǔn)是 500 次。這里的「省」不意味著模型從一開始就知道答案，而是它把前幾關(guān)找到的機制保留下來，之后只需重新計算路線。可遷移的不是某個具體動作序列，而是解釋這些動作為何有效的程序。

另一個對比也很能說明問題。在 FT09 游戲中，F(xiàn)able 5 起初把一個棋盤樣圖案視為不可點擊的裝飾。當(dāng)前目標(biāo)邏輯看似已經(jīng)滿足，關(guān)卡卻不推進。它于是換了一個更基礎(chǔ)的問題：這個「提示」本身會不會就是可操作對象？一次探測揭示，這是類似「熄燈游戲」的十字按鈕，會翻轉(zhuǎn)自身及上下左右。Fable 隨即把機制編碼，11 步后過關(guān)，下一關(guān)只用了 13 步。

同在 Schema 框架里的 Opus 4.8 最終也發(fā)現(xiàn)了同一規(guī)則，但它先在原有表示中反復(fù)修補目標(biāo)狀態(tài)，約多花 240 次動作才去點擊那個圖案。兩個模型都能寫出正確程序，差別不在最后能否表達規(guī)則，而在何時懷疑自己的表示、如何挑選最能區(qū)分假設(shè)的實驗。框架降低了「用理論」的成本，底座模型決定了「發(fā)現(xiàn)理論」的成本。

結(jié)語：這是起點，不是終點

有一點需要冷靜。[schema] 的所有數(shù)字都測在 25 個公開游戲上。而 ARC-AGI-3 的公開集，按官方說法本就比私有集容易得多，官方也從不在正式榜單上報告任何系統(tǒng)的公開集分?jǐn)?shù)。Sol max 那唯一一個跨集校準(zhǔn)點（公開 13.33% 對半私有 7.78%）恰恰說明，公開集上接近滿分，不代表半私有集上也接近滿分。98.98% 在半私有集上對應(yīng)到什么，在真正測出來之前，無人知曉。

但拋開分?jǐn)?shù)的口徑之爭，[schema] 指向的東西是清楚的：讓模型把對世界的理解顯式地寫成可運行、可證偽的程序，再逼它用行動去做實驗、拿現(xiàn)實去否證假設(shè)。這套「分析-綜合」的循環(huán)，本質(zhì)上就是科學(xué)方法本身。

團隊把打穿公開集稱作「一個新的開始」，而非終點。他們真正想探索的，是把「機制發(fā)現(xiàn)」當(dāng)成一種通用能力：在遠比 64×64 網(wǎng)格更豐富的環(huán)境里，通過行動與感知的循環(huán)，去錨定一個世界的因果結(jié)構(gòu)。ARC-AGI-3 只是第一塊試驗田。

更多詳情請訪問原博客。