《王者榮耀》要變天？騰訊TiG框架讓AI大神隊友帶你飛

人類《王者榮耀》玩家，真要打不贏 AI 了？

曾經，我們都以為，像《王者榮耀》這樣需要實時操作、團隊協作和戰略判斷的游戲，是人類玩家的絕對主場。哪怕是小學生，也能在峽谷里熟練補兵、推塔、配合隊友開龍和打團。

而相比于人類，大語言模型（LLM）和傳統 RL Agent 在這類游戲中的表現，卻顯得相對一般。

如今，一項來自騰訊的新研究或將顛覆我們的這種認知——

在“Think-In Games”（TiG）框架的幫助下，LLM 不僅可以像人類玩家一樣在《王者榮耀》里制定精準策略，還能清晰地解釋每一步決策的邏輯。

例如，在以下案例中，AI 已經能夠在分析雙方英雄損失/站位、防御塔狀態、野區資源剩余等多個條件后，做出“打暴君、拿主宰”的最佳綜合決策。

從技術層面講，TiG 能夠讓 LLM 借助與《王者榮耀》游戲環境的直接交互，逐步掌握程序性理解能力（知道“如何做”），同時確保其原本具備的推理與解釋能力（知道“是什么”）不受影響。

論文鏈接：https://arxiv.org/pdf/2508.21365

結果表明，TiG 有效彌合了陳述性知識與程序性知識之間的鴻溝，以更低的數據和計算需求達到了與傳統 RL 方法相當的性能。

此外，TiG 還可以為決策提供逐步自然語言解釋，提升了復雜交互任務中的透明性和可解釋性。

游戲是AI的絕佳試煉場

在 AI 領域，一直存在一道難以跨越的鴻溝：陳述性知識（了解某事物）與程序性知識（掌握操作方法）的割裂。

簡單來說，陳述性知識是 “知道某事”，比如 LLM 能夠從《王者榮耀》攻略里記住“避免過度推進”；而程序性知識是“知道如何做某事”，比如在游戲里判斷什么時候該開龍、推進到哪一步不算“過度”。

從傳統的象棋、撲克，到多人在線戰術競技（MOBA）游戲，再到沙盒游戲，都成了測試 AI 認知能力的“考場”，提供了豐富的衡量和提升人工智能認知能力的基準，考察 AI 的模式識別、推理、規劃和泛化能力。

尤其是《王者榮耀》作為典型的 MOBA 游戲，因其強調團隊協作、長期規劃和動態目標的特點，為探究高級推理提供了豐富的研究環境，既有可控性，能設定明確的規則和目標，又足夠復雜，需要 AI 應對動態變化的戰局，就像人類在童年通過玩耍學習一樣，AI 也能在游戲里把理論知識轉化為實踐能力。

TiG框架：將決策任務轉變為語言建模任務

TiG 框架恰恰旨在解決這些問題。它的核心邏輯很簡單：把傳統 RL 的決策任務，變成 LLM 擅長的語言建模任務，再通過游戲環境的實時反饋不斷優化。LLM 從原本的輸出離散的動作指令，轉變為生成一段語言引導的策略。

表｜TiG 的提示模板

具體到《王者榮耀》的對局里，TiG 框架涉及如下關鍵技術細節：

1. 游戲狀態表征

TiG 會把《王者榮耀》的實時對局狀態，用 JSON 格式清晰呈現——包括隊友的英雄屬性、防御塔狀態、野區資源、視野情況等關鍵核心信息。

同時，TiG 定義了 40 個宏觀動作，比如“推進上路兵線”“防守基地”“中路抱團”等，讓 AI 聚焦于戰略決策，而不是糾結 “要不要用閃現躲技能” 這種操作層面的問題。畢竟在《王者榮耀》這種競技游戲里，好的戰略往往比單個操作更能決定勝負。

1. 構建數據集

TiG 的訓練數據，來自《王者榮耀》的真實匿名對局記錄。為了保護玩家隱私，沒有收集任何用戶標識符或個人信息。而且數據里勝場和敗場的比例是 1:1，只選玩家技能等級超過一定閾值的對局，確保數據有參考價值。

不過，真實對局里的動作標簽可能很稀疏，或者不一致。TiG 專門設計了重標注（Relabeling）算法，核心是基于優先級的宏觀動作層級。先把檢測到的關鍵動作向后填充到 L 幀內的未標注幀；如果同一幀有多個動作重疊，就根據動作優先級保留最重要的動作。這樣一來，每個游戲狀態都有準確的動作標簽，AI 學起來更高效。

1. 強化學習算法（GRPO）

TiG 使用了“群體相對策略優化”（GRPO）算法，該框架直接使用來自游戲狀態-動作對的反饋來優化策略模型，專門解決《王者榮耀》這類復雜環境下的策略優化問題。

圖｜TiG 框架下的 GRPO 訓練流程

該算法會先讓 AI 生成一組《王者榮耀》的戰術策略，然后計算每個策略的“組相對優勢”——如同一對局狀態下，某個策略的勝率比其他高多少，再用 KL 散度約束策略的變化幅度，避免 AI 突然做出離譜決策。

并且，TiG 采用二元獎勵函數：如果 AI 預測的動和真實對局里的最優動作一致，就給 1 分；不一致就給 0 分。這種簡單直接的獎勵方式，能讓 AI 快速學會打游戲的正確戰略，同時避免冗余輸出。

為了測試 TiG 的能力，研究團隊在《王者榮耀》環境里做了大量實驗，還對比了多個其它 LLM 模型（比如 Qwen 系列、Deepseek-R1）的表現。他們探索了多階段訓練的不同組合方式：

• GRPO：僅使用 GRPO 方法訓練基礎模型；

• SFT：使用 SFT 訓練數據集訓練基礎模型；

• SFT + GRPO：先用 SFT 訓練基礎模型，再通過 GRPO 算法進一步優化模型的推理能力。

根據實驗結果，我們可以得出以下關鍵發現：

首先，多階段訓練——特別是 SFT 與 GRPO 的結合，顯著提升了模型性能。

圖｜動作預測任務（左），不同模型錯誤案例分布（右）

原本 Qwen-2.5-32B 模型在《王者榮耀》動作預測任務里，準確率只有 66.67%，經過 TiG 的 GRPO 訓練 160 步后，準確率提升到 86.84%，超過了參數規模大很多的 Deepseek-R1（86.67%）；Qwen-3-14B 模型經過 SFT+GRPO 訓練 2000 步后，準確率更是達到 90.91%，在《王者榮耀》的戰略決策上遠超其他模型。

同時，此訓練方法還保留了通用語言和推理能力。

表｜關于語言模型一般能力的不同基準的性能

TiG 訓練沒有讓 AI 偏科——在數學（Ape210K）、記憶（School-Chinese）、邏輯推理（BBH）等通用基準測試中，模型性能要么保持不變，要么略有提升。例如，Qwen-3-14B 在 BBH 邏輯推理任務中，訓練后準確率從 65.8% 升到 66.9%。

此外，TiG 在其他任務中的泛化能力良好。

為了測試 TiG 的泛化能力，研究團隊還設計了“TiG-QA”任務——讓 AI 根據《王者榮耀》的對局狀態，回答開放式問題。結果顯示，TiG 在與游戲狀態強相關的決策問題上，表現和 Deepseek-R1 相當，甚至在部分場景下更優，說明它不是只會“死記硬背”對局數據，而是真的理解了《王者榮耀》的戰略邏輯。

表｜模型在與板載相關任務上的性能

實戰案例

光看數據不夠直觀，來看看 TiG 在《王者榮耀》里的具體表現。

案例：主玩家操控的英雄是阿古朵，正和隊友姜子牙一起，在中路對抗敵方血量較低的一塔。

TiG 先判斷對局階段：已經進入中后期，“防御塔和野區保護機制已經失效”。再看當前局勢：剛發生過小規模沖突，敵方中路一塔血量低，是推進的好機會，但也有風險。阿古朵血量不足，而且敵方英雄位置不明，可能有埋伏。不過 TiG 在這里有個小失誤，誤判了雙方人數（其實兩隊都還剩 3 個英雄），但整體分析還是準確的。

基于分析，TiG 把“摧毀敵方中路一塔”定為當前最高優先級目標。因為這能擴大優勢，且配合姜子牙的控制技能，成功率很高。同時，TiG 明確“不能因為阿古朵血量低就撤退”，也“不能去追敵方殘血英雄而放棄推塔”，確保團隊不偏離核心目標。

接著，TiG 制定了對戰的策略與指令。給出的具體指令很明確：“和姜子牙在敵方中路一塔處會合，集中火力推塔”，同時特別提醒 “注意敵方埋伏，保持警惕”。針對阿古朵的英雄特性，還建議 “保持安全距離輸出，配合姜子牙的控制技能使用大招”，把英雄玩法和當前戰術完美結合。

最終，TiG 把復雜的思考過程，濃縮成一句人類玩家能直接執行的指令：“和姜子牙聯手壓制敵方中路一塔，注意防范敵方伏擊”。這種決策既符合《王者榮耀》的對局邏輯，又清晰易懂，完全能和人類玩家配合打團。

未來：不止于《王者榮耀》

《王者榮耀》這一案例說明，TiG 框架既做到了“知道是什么”，又做到了“知道如何做”，以更低的數據和計算需求達到了與傳統 RL 方法相當的性能。

然而，研究團隊也承認，TiG 依然存在一些局限性。如下：

• 嚴重依賴 LLM 的能力：TiG 的有效性本質上依賴于底層 LLM 骨干的能力。如果語言理解或生成存在局限性，尤其是在高度復雜或實時性強的環境中，可能會限制策略的表現。

• 領域泛化性待驗證：目前的實驗主要在數字游戲環境中進行。TiG 能否推廣到其他交互領域——例如機器人學或現實世界任務——仍有待深入研究。

• 樣本效率有待提升：盡管 TiG 相比基線方法提高了樣本效率，但它仍然需要大量的環境交互。在數據收集昂貴或耗時的場景中，這一需求可能成為限制因素。

• 策略可解釋性待提高：基于語言的策略可解釋性依賴于生成解釋的清晰度和真實性。在某些情況下，這些解釋可能無法完全或準確地反映底層的決策過程。

為此，研究團隊表示，可以從以下幾個方向改進 TiG：

一方面，未來的工作將側重于將 TiG 擴展到更廣泛的環境中，包括那些具有更高復雜性和多樣性的場景。此外，我們還希望提升生成解釋的真實性，并引入多模態反饋（如視覺或聽覺提示），以支持更豐富的操作性學習。

另一方面，研究需要長期記憶或跨越較長狀態轉移進行推理的任務。解決這些挑戰將需要更復雜的時間抽象和記憶管理機制。

在不久的將來，我們在《王者榮耀》里遇到的“大神隊友”，或許就是由 TiG 框架訓練出來的 AI 了。

整理：小瑜

如需轉載或投稿，請直接在公眾號內留言

廣告時間到

智譜上線 Glm Coding Plan

20 元包月，「1/7 價格、3 倍用量」

暢享 Claude Code 編碼體驗

開發者用了都說好

歡迎體驗～