Scaling Law一招鮮？首個晶體結(jié)構(gòu)操作基準，頂級大模型集體翻車

新智元報道

【新智元導讀】大模型在原子操作任務(wù)中遭遇瓶頸。盡管大模型能解析材料知識，卻難以精準操控原子結(jié)構(gòu)。研究指出Scaling Law在空間邏輯任務(wù)中效果有限，強調(diào)AI for Science需轉(zhuǎn)向Action Scaling，提升模型在真實科研操作中的能力。

過去幾年，大模型領(lǐng)域最成功的經(jīng)驗總結(jié)莫過于「Scaling Law（縮放定律）」。一個幾乎被行業(yè)默認接受的共識是：只要模型足夠大、數(shù)據(jù)足夠多，能力就會持續(xù)涌現(xiàn)，甚至自動泛化到未知的領(lǐng)域。

但一項最新發(fā)布的材料學基準測試，卻給這種「大力出奇跡」的樂觀情緒帶來了不一樣的參考視角。

由中科大蘇州高等研究院、新南威爾士大學等機構(gòu)聯(lián)合在ICML2026發(fā)布的AtomWorld，借助一系列真實原子操作任務(wù)得出結(jié)論：在文本理解、知識歸納等場景表現(xiàn)穩(wěn)定有效的Scaling Law，落地到受物理規(guī)則約束的原子實操任務(wù)時，往往達不到預(yù)期效果。

論文地址：https://arxiv.org/abs/2510.04704

項目主頁：https://masterai-eam.github.io/atomworld/

代碼倉庫：https://github.com/MasterAI-EAM/atomworld

理解不等于操作

在科學領(lǐng)域，大模型已經(jīng)展現(xiàn)出了驚人的 「理解力」：讀懂文獻、預(yù)測材料性質(zhì)、解析晶體結(jié)構(gòu)、甚至科學發(fā)現(xiàn)。

比如，Anthropic推出AI科研工作臺Claude Science，將科研拆成可逐步審計的流水線，實現(xiàn)綜述寫作、基因分析等特定環(huán)節(jié)效率提升10倍；Google DeepMind的GNoME用圖神經(jīng)網(wǎng)絡(luò)預(yù)測無機晶體穩(wěn)定性、以「生成候選→DFT 驗證→數(shù)據(jù)回流」的閉環(huán)產(chǎn)出約 220 萬個結(jié)構(gòu)。

這也讓行業(yè)形成一種普遍認知——既然模型能夠看懂材料相關(guān)知識，完成原子搭建、結(jié)構(gòu)調(diào)整這類實操任務(wù)理應(yīng)順理成章。

但真實的材料計算研究，并非簡單的選擇題作答。科研日常充斥著高度具象化的實操指令：構(gòu)建特定材料的 (001) 表面，模擬「真實世界」的邊界；替換晶格特定位點原子給材料摻雜或改性；在指定間隙位置嵌入新原子，設(shè)計「儲能」和「輸運」通道等。

這類任務(wù)對模型提出了完全不同的能力要求：符合物理定律的三維空間操控能力。

為了客觀量化該項能力，研究團隊搭建了AtomWorld評測框架，框架依托材料領(lǐng)域通用晶體學信息實現(xiàn)自動化測評。它不考核材料識別、理論辨析類問題，只聚焦基礎(chǔ)空間操作任務(wù)：模型能否按照指令精準調(diào)整原子排布？

圖1： AtomWorld 基準測試流程示意圖。AtomWorld生成器流程：1. 隨機采樣器調(diào)取預(yù)設(shè)原子結(jié)構(gòu)；2. 隨機初始化器配置原子編號、位置參數(shù)；3. 結(jié)構(gòu)算子運算得到目標結(jié)構(gòu)；4. 提示詞模塊生成對應(yīng)自然語言描述。產(chǎn)出的結(jié)構(gòu) - 文本配對數(shù)據(jù)送入大模型智能體，通過pymatgen的StructureMatcher工具對比模型輸出結(jié)構(gòu)與標準目標結(jié)構(gòu)，量化評估模型性能。

Scaling Law遭遇能力邊界

圖2：不同模型在AtomWorld上的總體表現(xiàn)。a、c為成功率；b、d為mean max_dist幾何誤差。左側(cè)比較不同主流模型，右側(cè)比較不同尺寸 Qwen 模型。模型規(guī)模擴大可以提升部分規(guī)則清晰的任務(wù)，例如原子替換、刪除和移動；但面對旋轉(zhuǎn)、區(qū)域刪除、擴超胞等需要三維空間理解和幾何規(guī)劃的操作時，提升并不穩(wěn)定。即使是 Claude 等強通用模型，在「繞原子旋轉(zhuǎn)」等任務(wù)上也表現(xiàn)較差。

AtomWorld的結(jié)果提示，Scaling Law在原子操作任務(wù)上并不能被簡單理解為「模型越大，能力越強」。

本次測試覆蓋Claude Opus 4.6、GPT-5.4、Gemini 3.1 Pro、Gemini 2.5 Pro、Qwen3-32B、GPT o3、GPT-4o-mini、DeepSeek Chat、Llama3-70B等主流模型。圖 2 顯示，模型規(guī)模擴大確實能改善一部分規(guī)則清晰、可模板化的操作，但面對依賴三維空間關(guān)系的任務(wù)，這種提升并不穩(wěn)定。

以 Qwen 系列為例，從 4B 到 32B，原子更換、移除、移動等任務(wù)的成功率明顯提高，說明規(guī)模增長仍然有價值。但這種提升主要集中在規(guī)則明確、路徑相對固定的任務(wù)上，不能自動遷移到所有原子操作。

更具挑戰(zhàn)性的任務(wù)暴露出明顯瓶頸。典型例子是「繞原子旋轉(zhuǎn)」：它不僅在 Qwen 不同尺寸模型上始終表現(xiàn)很低，在 Claude Opus 4.6 這類強模型上也只有約 12% 的成功率。這說明問題并不只是某個模型不夠大、不夠強，而是當前通用大模型普遍缺少穩(wěn)定的三維空間行動能力。

類似地，「刪除下方原子」、「擴超胞」等任務(wù)即使換成更大模型，完成效果也仍不穩(wěn)定；幾何誤差也不是隨模型變大就必然下降。

因此，AtomWorld并不是簡單否定Scaling Law，而是指出它的適用邊界：規(guī)模擴大能夠帶來部分能力增益，卻無法自動補齊三維物理空間操作中的核心短板。對于材料建模而言，語言推理能力、文本知識儲備和原子級結(jié)構(gòu)行動能力之間，不能直接畫等號。

從這個意義上說，AtomWorld 也提示了一個新的方向：除了追求參數(shù)規(guī)模和文本數(shù)據(jù)規(guī)模，AI for Science 還需要關(guān)注「Action Scaling」。

也就是把可執(zhí)行動作的數(shù)據(jù)生成、動作基元拆解、模擬器反饋、物理約束驗證和工具調(diào)用糾錯系統(tǒng)性地規(guī)模化，讓模型不僅在語言上變強，也在可驗證的科研行動中變強。

科研智能體的新賽道

AtomWorld的核心價值，不止于定位模型失效，更在于把 「材料智能體不會建模」 這個模糊痛點，拆解成一系列可測量、可追蹤的原子操作能力 —— 從基礎(chǔ)元素替換到空間區(qū)域判定，再到連續(xù)幾何理解，逐層厘清失效類型、程度與規(guī)模增益規(guī)律。

這也點破了單純擴參難以落地的癥結(jié)：現(xiàn)有Scaling Law聚焦海量文本語料的語言與知識擬合，但材料原子建模需要的空間理解、幾何規(guī)劃與物理約束行動能力，在公開數(shù)據(jù)中極度缺少 「操作指令 — 坐標變化」 的高質(zhì)量成對訓練樣本，很難僅靠語言規(guī)模擴張自然補齊。

針對大模型三維操作偏弱的問題，行業(yè)普遍通過對接pymatgen等專業(yè)工具庫補短板。AtomWorld 對照測試顯示，外掛工具僅能提升原子插入等強坐標計算類任務(wù)效果，面對需要判別原子關(guān)系、空間區(qū)域的復雜場景，提升十分有限。

本質(zhì)上，工具只能輸出精確坐標，卻無法替代模型做 「原子該放哪」、「哪些屬于目標區(qū)域」 這類核心決策；模型本身若缺乏三維空間感知，工具只會把錯誤意圖執(zhí)行得更精準，最終得到 「建模邏輯錯誤」 的結(jié)果。

AtomWorld并非直接否定Scaling Law，而是提醒科學智能體重思 「該縮放什么」。文本語料的Language Scaling是知識基礎(chǔ)，但材料建模這類強操作任務(wù)，更需要面向行動能力的Action Scaling——將「行動 — 反饋 — 糾錯」全流程變成可規(guī)模化學習的對象。

AtomWorld的真正意義，正是通過自動生成任務(wù)、標準結(jié)構(gòu)與匹配反饋，為材料建模的動作數(shù)據(jù)與訓練閉環(huán)提供底座，推動AI for Science從追求更大的通用模型，轉(zhuǎn)向在可驗證的科學操作中迭代真實行動能力。

結(jié)語

AtomWorld不只是一套標準化評測基準，更像一面觀測鏡，直觀展現(xiàn)出當前AI for Science發(fā)展中的關(guān)鍵問題：大模型可以解釋材料結(jié)構(gòu)性質(zhì)，并不意味著它已經(jīng)能夠可靠修改材料結(jié)構(gòu)；可以讀懂元素周期表，并不意味著它能夠在三維空間中穩(wěn)定執(zhí)行一次原子級操作。

這一問題并不局限于材料建模。真正的科學研究從來不是純文本工作，而是由提出假設(shè)、設(shè)計實驗、調(diào)用工具、調(diào)整參數(shù)、觀察結(jié)果、排查錯誤和持續(xù)修正等一系列行動構(gòu)成。無論是材料建模、分子設(shè)計、自動化實驗，還是更廣泛的科學發(fā)現(xiàn)流程，AI 若想真正參與科研，就不能只會「解釋知識」，還必須學會「執(zhí)行動作」。

因此，AtomWorld提醒我們重新理解Scaling Law在科學場景中的適用范圍：基于網(wǎng)絡(luò)文本語料的Language Scaling依然重要，但它只是起點。

未來AI for Science更需要面向行動能力的Action Scaling，讓模型在可執(zhí)行任務(wù)、工具調(diào)用、環(huán)境反饋和物理驗證中學習如何完成真實科研任務(wù)。

只有當模型同時具備知識理解能力和行動能力，科學智能體才可能從「會回答問題」的百科全書，走向「能完成任務(wù)」的實驗助手。

參考資料：

https://arxiv.org/abs/2510.04704

編輯：LRST