一文讀懂AI大模型之「盾」！全行業283個LLM基準測試都在這了

圖｜代表性 LLM 基準測試（按時間線）。

大模型技術如矛，基準測試（benchmark）如盾。只有矛愈鋒利，盾愈堅固，AI 行業才會不斷被推向更高處。

如果你身處大模型行業或已經被大模型技術所影響，除了知道有哪些“矛”，還必須了解有哪些“盾”，從而更好地了解人工智能（AI）行業的真正發展現狀。

日前，中國科學院深圳先進技術研究院團隊及其合作者首次對「LLM 基準測試」的現狀與發展進行了系統性回顧，并將283 個具有代表性的基準測試分為了三類：

• 通用能力（general capabilities）基準測試：涵蓋核心語言學、知識和推理等方面的內容；

• 領域特定（domain-specific）基準測試：聚焦于自然科學、人文社會科學和工程技術等領域；

• 目標特定（target-specific）基準測試：關注風險、可靠性、代理等方面的內容。

他們指出，當前基準測試存在因數據污染導致的“分數虛高”、因文化和語言偏見導致的“不公平評估”，以及缺乏對過程可信度和動態環境的評估等問題，并為未來基準測試創新提供了可參考的設計范式。

論文鏈接：

https://arxiv.org/abs/2508.15361

大模型考試亟待突破

自 2017 年 Transformer 架構問世以來，從基礎的語言理解與文本生成任務，到復雜的邏輯推理與智能體（Agent）交互，LLM 持續拓展著 AI 的能力邊界，進而重塑人機交互模式和信息處理范式。

如今，LLM 已廣泛滲透到智能客服、內容創作、教育、醫療、法律等領域，成為推動數字經濟發展和社會智能化轉型的核心力量。然而，隨著 LLM 技術的快速演進，建立一套科學、系統且全面的評估體系變得尤為迫切。

基準測試作為衡量模型性能的量化工具，不僅是評價模型能力的核心手段，更是推動技術迭代與模型優化的重要因素。通過基準測試，研究者能夠客觀比較不同模型的性能，準確識別技術瓶頸，并為算法優化與結構設計提供數據支持。同時，標準化評估結果也有助于增強用戶信任，確保模型在安全性、公平性等方面符合社會和道德規范。

與早期 LLM 相比，現今 LLM 的參數規模已呈指數級增長，其能力也從單一任務拓展至多任務、多領域。因此，評估內容也從固定任務轉變為多任務、多領域，對評估方法的科學性和適應性都提出了更高要求。

當前，大語言模型（LLM）的評估體系仍存在諸多亟待突破的難題，如下：

• 部分模型在訓練階段可能已接觸過評測數據，從而導致評估結果存在“數據泄露效應”，難以真實反映模型的泛化能力。

• 靜態評測方法在很大程度上無法刻畫動態真實世界環境的復雜性，亦難以有效預測模型在新任務或新領域下的適應性表現。

• 現有評估指標維度相對單一，難以全面揭示 LLM 在推理、理解、生成等多方面的綜合能力。

• 在偏見檢測、安全漏洞識別以及指令合規性等核心環節上，尚缺乏系統性與可擴展的評估框架。

• 大規模評估所需的高昂算力與人力成本，也成為限制 LLM 評估體系可持續發展的關鍵瓶頸。

大模型考題的「發展史」

語言能力基準的演化，體現了 LLM 進步與評估方法之間持續不斷的“軍備競賽”。這一過程的核心動力在于對“廣義語言能力”的探索，即從表層的模式匹配，轉向對語法、語義及語用等深層語言理解的考察。

2018 年推出的 GLUE 是一個關鍵進展，它通過將 9 個不同的英語自然語言理解（NLU）任務，如情感分析、文本蘊含，納入統一框架來應對這一問題。隨后，SuperGLUE 引入了更具挑戰性的任務，強調復雜推理能力。

然而，研究發現，模型傾向于利用數據標注中的人工痕跡。HellaSwag 等基準應運而生。這類任務對人類而言輕而易舉，但對模型卻具有較高難度，從而更直接地測試常識和腳本知識。在中文方面，CLUE 是首個具有代表性的中文 NLU 基準，而 Xtreme 則擴展至包含 12 個語系、40 種語言，系統評估了形態變化、詞序等不同語言屬性下的泛化能力。HELM 則引入了“動態基準”概念，通過不斷擴展場景來動態整合新興語言維度。

圖｜代表性語言核心基準。

存儲并準確提取大量現實世界信息的能力，是現代 LLM 的基石之一。這些模型如同知識庫一般，從海量訓練語料中吸收信息。因此，衡量其知識范圍與可靠性，成為模型評估的重要維度。這類測試通常模擬“閉卷考試”，要求模型完全依賴其內部參數化知識。

知識評估的演化路徑，呈現出 LLM 從信息檢索工具向內化知識轉變的趨勢。MMLU 的引入成為開創性的突破，它確立了一個新的、有影響力的范式。MMLU-Pro 通過增加選項數量和推理密集型問題的比例，提高了任務的對抗性難度。GPQA 等基準由領域專家設計，旨在實現“防谷歌化”，直接應對模型依賴網絡搜索而非內化知識作答的挑戰。

當前最主要的評估形式為多項選擇問答（MCQA），其優勢在于具備良好的可擴展性，且可以通過準確率這一核心指標實現客觀自動評估。AGIEval 和 GAOKAO-Bench 等基準正是采用這一方式，從高風險的人類考試中精選題目。

HELM 和 BIG-Bench 等框架則將知識能力評估納入更廣泛的指標體系中，涵蓋魯棒性、公平性與校準性等維度。為打破英語中心、文本導向的評估范式，業內還提出了如 M3Exam 等多語言基準，以及 GAOKAO-MM、CMMMU 等以中文為主的多模態知識測試。

圖｜代表性知識導向基準。

盡管知識導向的基準測試在方法和形式上愈發嚴謹、多元，但仍面臨一系列關鍵挑戰。其中最普遍的挑戰，是數據污染的隱患。其次，封閉式評估方法本身也存在局限性。

推理能力——涵蓋形式邏輯、常識推理和應用問題求解——是構建高級智能的關鍵基礎。在 LLM 中評估這一能力，對于理解其認知邊界與實際應用潛力至關重要。

邏輯推理領域，是 LLM 評估中最為成熟且最密集的方向。整體演進軌跡清晰：從測試離散推理步驟的基礎性基準（如 SimpleLogic）開始，逐漸發展到對高度復雜、多步甚至程序化推理的評估（如 LogicPro）。

常識推理與專業推理的引入，標志著評估維度的進一步拓展。智能需要的不僅僅是形式邏輯。Corr2Cause 與 CLadder 等基準首次嘗試系統評估因果推理，推動模型從相關性走向理解。與此同時，主動推理（AR-Bench）和語言規則歸納（IOLBENCH）類基準的出現代表了一種范式轉變，將評估從被動的模式識別轉向主動的、具備能動性的問題解決。

在應用推理和上下文推理上，HotpotQA 要求模型定位并連接分散的證據以進行多跳推理，而ARC則需要運用科學知識。BIG-Bench Hard 在 23 個多樣任務上專注挑戰性組合推理，而 LiveBench 的創新之處在于使用實時的、私有用戶查詢。

LLM 推理能力的評估方式已從早期的形式邏輯測驗不斷演進，發展出更加貼近現實應用的復雜評估體系。

圖｜用于評估 LLM 推理的各種基準的全面概述。

將評估視角從通用能力轉向專業領域，是測試 LLM 能力邊界的另一個關鍵步驟。

作為人類知識體系中邏輯最嚴密、結構最有組織的領域之一，自然科學對 LLM 的知識基礎和推理能力提出了巨大挑戰。該領域涵蓋數學、物理、化學、生物等核心學科，在此類任務中取得成功不僅要求模型具備扎實的通用能力，還需具備強大的抽象推理、符號操作能力，以及追蹤復雜因果鏈的能力。

圖｜自然科學領域代表性基準。

除了在自然科學中對 LLM 進行理性層面的能力評估，其擬人化的對話特性還使其與人類交流更加自然、高效，從而增強了交互式應用的潛力。

社會科學作為最以人為中心的領域之一，在這一背景下顯得尤為重要。一個關鍵問題是，LLM 能否在法律、知識產權、教育、心理學和金融等領域有效應對現實世界的挑戰。所有人文與社會科學領域都高度適用于現實場景。其中的最大挑戰之一，是如何科學評估 LLM 在這些領域的知識水平，這涉及定義合適的任務、構建相關的數據集，以及選擇適當的評估方法。

圖｜人文和社會科學代表性基準。

工程與技術領域是 LLM 的另一座試煉場，它測試模型在任務中的能力，這些任務不僅要求語言流暢，還要求邏輯嚴謹、功能正確，以及具有深厚的專業知識。不同于通用任務，工程應用往往存在唯一正確答案，或僅有一小部分在嚴格的物理定律、數學原理或語法規則下成立的合理解。在這一領域中，成功的模型需要能夠像真正的工具一樣運作，而不僅僅是提供語言交互。因此，工程與技術方向也產生了一系列最為復雜且成熟的評估框架。

圖｜工程與技術領域代表性基準。

未來評估：更安全、更全面

隨著 LLM 模型從研究原型走向現實部署，尤其是應用于醫療咨詢、法律推理、金融顧問或客戶支持等高風險場景中，也同步催生了一些顯著的風險，如幻覺生成、偏見輸出、對抗性脆弱性以及隱私泄露等問題。這些風險已不再停留在理論層面，而是對用戶、組織乃至整個社會產生了切實影響。

因此，風險與可靠性評估已從邊緣議題演變為現代 LLM 基準測試體系的核心支柱，其核心動因包括：

• 識別與量化：系統性地探測 LLM 的各種負面影響模式（如生成有害內容、虛構事實 、泄露私人數據），并量化這些風險的發生頻率與嚴重程度。這需要在多樣化且具有挑戰性的輸入下進行測試，包括極端情況、對抗性提示和邊緣案例（如越獄嘗試 、帶偏見的提示 、高事實密度的查詢）。

• 風險緩解：利用基準測試揭示的弱點推動開發者進行技術改進（如更魯棒的 RLHF、事實性增強、隱私保護訓練），并為部署方提供更有效的防護措施（如內容過濾、使用政策）。最終目標是盡量降低模型出錯或造成傷害的可能性。

• 符合期望：檢驗模型在復雜的現實交互中，是否能夠遵守既定的倫理規范、法律邊界與安全標準（即對齊問題），特別是在涉及敏感話題時展現出足夠的魯棒性。

• 構建與維持信任：通過提供嚴謹、可復現的風險評估證據，向用戶、監管機構和社會傳達某一 LLM 的安全性與可信度，從而推動生態系統健康發展，實現負責任的廣泛應用。

本質上，該研究方向所關注的核心問題是：在具備令人驚嘆的能力之外，模型是否足夠安全、可靠，且值得信賴？它旨在為模型的責任擔保提供實證基礎，作為 LLM 從實驗室走向現實世界的關鍵“安全檢查點”。

LLM Agent 是基于基礎 LLM 構建的自主系統，旨在超越靜態的提示-響應交互，并參與以目標為導向的行為。通過整合規劃模塊、工具使用能力、記憶系統和觀察循環等組件，這些 Agent 能夠將復雜目標分解為可執行的步驟，與外部環境進行動態交互，并不斷迭代調整其策略直至任務完成。

隨著 LLM Agent 在現實場景中的應用日益增加，構建系統化、全面性的評估框架變得尤為重要，評估框架主要包括以下四個維度：

• 特定能力評估，側重于對單一功能（如規劃、推理、博弈）以及執行能力（如工具使用、外部控制）的細粒度評估。

• 綜合能力評估，強調在解決復雜任務過程中多種能力的協調與協同。

• 領域專業性評估，側重于評估在特定專業領域中應用專門知識并完成任務的有效性。

• 安全與風險評估，關注 Agent 在對抗性或不安全場景中的韌性、脆弱性及防護機制。

總而言之，要讓模型真正融入社會技術系統，評估的重點必須從“模型能做什么”轉向“模型應如何負責任地表現”。

未來的基準需要具備動態性（以匹配模型演進）、因果性（用于解釋結果）、包容性（避免偏見）以及魯棒性（預判風險）。

實現這一目標，需要跨學科力量的深度協作，在保持技術科學性的同時，也確保與社會價值體系的高度一致。

整理：小羊

如需轉載或投稿，請直接在公眾號內留言