![]()
新智元報道
![]()
我們如何判斷人工智能是否已經足夠聰明,能夠從事科學研究,實現端到端的自主科學發現?
中國科學技術大學發布的最新研究讓AI「大腦」接管機器科學家實驗室「身體」,由此將這一問題從知識問答和方案生成,推進到真實物理世界中的實驗執行與反饋學習。
![]()
論文鏈接:https://arxiv.org/abs/2607.23045
研究團隊搭建了一個機器催化實驗室,其中包括45個覆蓋合成、表征和催化性能測試的模塊化自動工作站。
為了讓AI理解和調用實驗室能力,研究團隊將這些能力封裝為機器可讀技能(skills)。AI智能體可以通過這些技能直接調用實驗設備,同時接受真實設備能力、操作規范和實驗條件的約束。
![]()
圖1.用于催化研究的AI讀得懂的機器科學家實驗室架構。
![]()
圖2.從科學意圖到機器實驗室執行路徑。
壓力測試
基于該平臺,研究團隊對由6種智能體框架和9種大語言模型構成的48種實際配置進行了系統評測。
測試覆蓋32項由領域專家定義的研究任務,共計4,608次評測試次。評估不僅考察智能體能否生成實驗計劃,還追蹤這些計劃能否通過核驗并下發至機器人系統,以及生成的工作流是否能夠在無需人工干預的情況下直接執行。
殘酷的真實世界評測結果
當前領先的大語言模型智能體距離「接管」仍有明顯差距。在4,608次測試中,僅151個工作流無需人工修復即可執行,占全部測試的3.3%。表現最好的Claude Code與Claude Opus 4.7組合,可執行率為28.1%;Codex與GPT 5.5組合的可執行率為19.8%。
會調整參數,不等于會重新規劃
研究還進一步考察了智能體能否從真實實驗結果中學習。團隊將Codex/GPT 5.5的組合置于一個開放式的五輪閉環中,連續開展實驗規劃、機器人執行、證據獲取和重新規劃。
智能體能夠根據返回的實驗結果調整材料配方和操作條件,但這些調整主要停留在局部參數優化層面。
在五輪實驗過程中,智能體始終保留原有的工作流骨架,沒有重新設計分析方法,也未能糾正一些持續存在的關鍵遺漏,例如缺少電極黏結劑和針對特定分析物的顯色試劑。
結果表明,能夠讀取實驗反饋并調整參數,并不等同于能夠識別研究策略本身的問題,更不等同于進行科學層面的重新規劃。
![]()
圖3.AI智能體在可執行規劃、驗證和實驗室任務下發各環節的表現。
長程規劃仍然是瓶頸
雖然部分智能體生成了經專家評估可執行、且最多包含44個操作步驟的工作流,但在全部測試中,只有3個工作流超過30個操作步驟。這表明,隨著任務鏈條延長,智能體維持實驗邏輯完整性和物理可執行性的能力仍面臨顯著挑戰。
重新定義AI的科學能力
研究由此區分了當前「AI科學家」討論中經常被混為一談的三種能力:一是流暢地生成實驗計劃,二是生成能夠在物理實驗室中實際執行的工作流,三是根據實驗結果調整整體研究策略。
研究結果顯示,語言層面的規劃能力并不能自動轉化為可靠的實驗執行能力,局部參數調整也不能被直接視為科學層面的重新規劃。
從「AI測試場」走向「AI訓練場」
作為AI for Science的智能科研基礎設施,機器實驗室既可以成為檢驗AI科學能力的「測試場」,也可以成為推動AI持續進化的「訓練場」。AI智能體通過機器可讀技能與機器實驗室直接對話,將科學意圖轉化為可執行任務,并接收來自機器執行、儀器狀態和實驗結果的真實反饋。
由此形成的「規劃—執行—反饋—重新規劃」閉環,不僅能夠暴露AI在知識、操作和研究策略層面的缺陷,還可以將成功的工作流、失敗案例、實驗結果和專家評估沉淀為模型訓練與智能體對齊的數據,持續迭代AI模型及其智能體系統。
機器科學家由此為回答「我們如何判斷人工智能是否已經足夠聰明,能夠從事科學研究?」提供可量化、可重復、可驗證的物理世界證據,并推動AI從生成實驗方案,逐步走向涵蓋科學問題提出、實驗設計、機器人執行、數據分析和證據驅動重新規劃的端到端自主科學發現。
![]()
圖4.開放科學問題下AI-機器科學家的五輪迭代。
參考資料:
https://arxiv.org/abs/2607.23045
編輯:LRST
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.