深度｜騰訊AI的雙線戰爭：混元之外，微信WeLM用四年證明了另一種可能

7月6日，騰訊混元Hy3正式版發布。

同一天，幾乎沒有人注意到另一件事：微信AI團隊在GitHub上 quietly 放出了Hidden Decoding at Scale的正式論文，WeLM技術博客同步更新。不僅如此，WeLM的官方技術團隊還開設了小紅書賬號，開始對外宣傳WeLM的技術成果。

信號的導火索在幾個月前。據《中國企業家》報道，2026年騰訊年會上，微信高層公開表態，希望自己訓練大模型，集團給予更多GPU支持。

在騰訊集團層面，混元是無可爭議的「正規軍」。前OpenAI研究員姚順雨空降半年，AI Lab被整體并入，數百億研發投入押注于此。

但在這條主線之外，微信事業群也正在悄悄發力。它的名字叫WeLM。

比ChatGPT還早的"微信造"

WeLM的誕生，比大多數人以為的要早得多。

2022年10月，WeLM的第一個版本悄然上線。彼時OpenAI的GPT-3.5尚未發布，ChatGPT還要再等一個月才會引爆全球。

微信AI團隊在技術博客里低調地放出了10B參數模型的論文，然后便歸于沉寂。此后三年，外界幾乎遺忘了這個項目。

真實的答案是：WeLM一直在迭代，只是從未對外。

2026年1月到7月，微信AI團隊在welm.weixin.qq.com上發布了四篇技術博客，完整地向外界展示了WeLM團隊的選擇、路徑和野心。

第一篇：《以適度資源構建高效稀疏MoE模型》（2026年1月）

"WeChat AI團隊聚焦于構建極具成本效益的MoE模型，在不足14T tokens的語料上訓練出了80B-A3B MoE模型，其性能在同量級乃至更大規模系統中均極具競爭力。"

這句話的關鍵詞是"不足14T tokens"。

要知道，同級別的模型訓練通常消耗數十萬億token。WeLM團隊用不到 industry average三分之一的訓練數據，做出了一個80B總參數、單次僅激活3B參數的稀疏模型。

論文詳細介紹了WeLM-V4的完整架構：loss-free balance routing（無損均衡路由）、sigmoid gate配合一個共享expert、Grouped-Query Attention（GQA）與partial RoPE、KNorm穩定注意力logit。其中最值得注意的兩項原創設計是：

KV-Mirror技術——允許淺層與深層之間共享hidden states以生成KV activation，在prefill階段顯著降低推理成本。對微信這種長上下文場景（群聊記錄、朋友圈動態）而言，這是決定性的工程優化。

Multi-Token Prediction（MTP）層——在模型最上層額外添加一層MoE作為MTP層，支持推理階段的speculative decoding（投機解碼）。簡單說，就是讓模型一次猜多個token，猜對了就批量通過，猜錯了再逐個修正。這直接提升了小微在實際對話中的響應速度。

論文還展示了通過Depth Up-Scaling（深度上擴展）技術獲得的130B變體，將80B基座模型中間三分之一的層循環復制兩次，僅經過少量追加訓練，便在GPQA-Bench（研究生級推理基準）上從65.57提升至68.21，Web-MMLU從89.47提升至90.17。

第二篇：《初探WeLM-258B MoE模型后訓練》（2026年1月）

如果說第一篇講的是"怎么練出一個模型"，第二篇講的是"怎么讓它聽話"。

這篇論文以WeLM-V3-258B-A22B為例，披露了完整的后訓練流程。整個流程分為冷啟動階段和強化學習訓練階段：先用高質量指令數據做 SFT，讓模型學會遵循指令和生成連貫回復；再進入RL階段，結合驗證器、獎勵模型和策略優化算法，進一步提升推理能力和有用性。

RL訓練中的穩定性是行業公認的大模型訓練難點。WeLM團隊提出了兩項關鍵技術：

推出校正（IcePop）——通過雙向截斷與動態掩碼機制，校正訓練與推理階段的概率分布偏差，避免RL訓練崩潰。

熵控制策略（Clip-Cov）——通過限制高協方差token的梯度更新，防止模型在RL訓練中過早陷入"過度自信"狀態，保留了持續探索的可能性。

最終，WeLM-258B在多個評測上與DeepSeek-V3.1正面交手：MATH（61.2 vs 57.0）、代碼評測EvalPlus（73.9 vs 69.9）、多語言編程MultiPL-E（73.4 vs 64.9）、LiveCodeBench（37.4 vs 26.4）——均超過DeepSeek-V3.1。在中文評測上，CMMLU 91.0，C-SimpleQA 73.4，也處于同級別模型的第一梯隊。

第三篇：《Hidden Decoding：在預訓練中擴展序列長度》（2026年3月）

這是四篇中最具原創性的工作，也是WeLM團隊區別于行業主流路線的最鮮明標志。

問題的起點是這樣的：隨著DeepSeek-R1和OpenAI o1/o3的實踐，"讓模型多思考一會兒"——即在推理階段生成長思維鏈（CoT）——已被證明能極大提升模型質量。但這種顯式推理有一個致命缺陷：它依賴自回歸的串行生成，每次只能生成一個token，帶來了漫長的延遲。強制模型在離散的自然語言空間中"思考"，對神經網絡的內部復雜規劃而言，本身就是一種低效的信息載體。

WeLM團隊的解決方案是Hidden Decoding——一種全新的Scaling范式。

核心思想極其巧妙：在不增加Transformer主體參數的前提下，復制多份Vocab Embedding，將序列長度擴展n倍。每個token在單次前向傳播中，獲得n倍的有效計算量。模型在連續的潛空間中"思考"，不是輸出實際的文字token，而是在hidden states層面完成推理過程，然后將思考結果"折疊"進最終的輸出。

這與行業主流的CoT路線形成了微妙但關鍵的分歧：別人讓模型"說出來"思考過程，WeLM讓模型"在心里想，用更高的計算密度換取更快的推理速度。

實驗數據驗證了這條路線的有效性。在80B規模上，從基線到scale n=8的漸進式擴展，BBH（大模型硬基準）從87.5提升至90.6，MMLU從85.1提升至87.5，MATH從60.4躍升至71.7。最引人注目的是，模型在經過簡單SFT后展現出了驚人的文學創作能力——當被要求"以汾河為題賦一篇陸機風格的駢文"時，WeLM-HD8的輸出讓評測人員難以區分是AI生成還是人工作品。

這篇論文的代碼和模型已在Hugging Face和GitHub上開源，基于Qwen3-8B的Dense模型可以直接用SGLang本地部署。

第四篇：《Hidden Decoding at Scale：面向前沿大模型的潛空間計算擴展》（2026年7月）

這是最新的一篇，也是最重要的一篇。它回答了 Hidden Decoding 最大的質疑：這個方法能在小模型上work，但能不能scale到真正 deployed 的大模型？

答案是能。

WeLM團隊將Hidden Decoding推進到了100B+ MoE的前沿規模，訓練出WeLM-HD4-80B與WeLM-HD4-617B（n=4），在完全對齊的對照實驗中全面超過各自的自回歸基線。這是首個在100B+ MoE規模上、通過繼續預訓練（CPT）實現的序列長度擴展——此前的深度循環或長度擴展方法從未觸及這一規模。

關鍵的工程創新是Stream-Factorized Attention。多數層只在同一條stream內做注意力、僅少數層跨stream混合，把擴展帶來的注意力開銷從O(n2)降到接近線性。這使得Hidden Decoding在100B+ MoE上以可接受的訓練與服務成本落地成為可能。

評測結果令人印象深刻。在FrontierMath上，WeLM-HD4-80B相對基線提升+3.2；在PHYBench上提升+4.0；在MathArena Apex上提升+3.7。論文還附帶了一系列消融實驗，驗證了KV保留策略和注意力組合的有效性。

這篇論文的正式版本已發表在GitHub Tencent/Sequential-Hidden-Decoding上。值得注意的是，發表時間，2026年7月6日，恰好是混元Hy3正式版發布的那一天。兩個團隊在騰訊大廈的同一周內，向外界展示了各自最硬的成果。

這不是巧合，這是一種表態。

賽馬再現，但這次不一樣

WeLM與混元的并行，是騰訊內部一場微妙的雙線作戰。

在組織架構上，兩者的分界線非常清晰：混元隸屬技術工程事業群（TEG），由首席AI科學家姚順雨統籌，向總裁劉熾平匯報；WeLM隸屬微信事業群（WXG），由周顥帶隊，向張小龍匯報。

兩條匯報線互不交叉，兩個團隊各用各的算力、各建各的基礎設施。

這不是騰訊第一次內部賽馬。2010年前后，手機QQ和微信同步攻堅，最終張小龍的廣州團隊做出了重塑騰訊基本盤的產品。

但當年的賽馬和今天有本質區別：移動互聯網時代比拼的是產品體驗和迭代速度，試錯成本可控；AI大模型賽道高度依賴統一算力集群、人才儲備與技術標準，兩套體系并行意味著大量的資源重復消耗。

財新在一篇報道中披露了一個細節：WeLM在騰訊缺GPU的情況下訓練速度受限，微信事業群只得不斷向集團申請新的卡資源。而同一時期，混元團隊也在爭奪同批次的算力。

高盛在一份研報中直指痛點："兩套大模型體系并行引發資源重復投入擔憂，兩者能否實現協同、訓練成本能否最終整合，目前仍是未知數。"

更微妙的信號在于模型的選用。小微暫時沒有選擇混元作為任何一層的主模型，而是采用了"WeLM主模型+DeepSeek兜底"的混合架構。這意味著，在騰訊最核心的流量陣地中，DeepSeek才是那個被選中的外部力量。

這背后有商業原因，也有組織原因。

商業上，豆包已經用真金白銀驗證了免費的toC應用走不通。晚點LatePost此前報道，豆包日活超過2億，每天總收入不到100萬元，但推理算力消耗數以千萬元計，收入和成本根本不在一個數量級。根據國聯民生證券測算，僅維持豆包免費C端服務，單日綜合成本就在1.32億至2.4億元之間。

微信月活14億、日活超10億。騰訊如果給微信全量用戶上一個大參數模型跑推理，可能每天就要虧幾個億。

WeLM的架構設計就是這道算術題的答案： 80B總參數保證能力上限，3B激活參數壓低單次推理成本。 每次用戶提問，模型只動用不到4%的"腦細胞"。這意味著WeLM不適合復雜推理， 但發消息、點外賣、查記錄這些高頻輕量交互，綽綽有余。但小微的產品設計里留了一條清晰的"逃生通道"：輕量交互走WeLM，需要深度思考時切DeepSeek，切混元也行。

組織上，微信事業群在騰訊內部向來以高度自治著稱。"微信的數據是紅線中的紅線。張小龍不會允許一個他無法完全掌控的模型去處理微信用戶的對話內容。"混元雖然是騰訊自研，但歸屬于TEG，其訓練數據的來源、模型權重的管理、推理服務的部署，都不在WXG的掌控范圍內。而WeLM從訓練到推理的全鏈路，完全由微信團隊自己搭建。

這不是簡單的技術選型，這是主權問題。

克制本身就是一種力量

理解WeLM為什么存在，必須回到張小龍。

微信上線15年，張小龍用一貫的產品哲學定義了這個產品：工具屬性優先，用完即走，不制造信息焦慮，不主動打擾用戶。這套理念在移動互聯網時代被奉為圭臬，但在AI時代，它變成了一道枷鎖。

AI天生是"侵略性"的。它會主動推薦、主動提醒、主動介入對話。每一個主流AI產品都在想盡辦法占據用戶的注意力和時間。這與微信的產品基因截然相反。

小微的設計，處處可見這種張力。它被藏在主界面左上角。你可以找到它，但它不會主動找你。聊天窗口里，你必須點擊"問小微"才能臨時調用。它甚至不會主動讀取群聊記錄，除非你明確授權。

WeLM的技術路線同樣在回答同一個問題。它不做通用對話，不做創意寫作，不做代碼生成，這些混元和DeepSeek都能做得更好。當行業都在追捧萬億參數稠密模型時，WeLM選擇了一條看起來更"土"的路：MoE小模型、低成本推理、針對微信場景做深度優化。

WeLM只做一件事：理解微信生態內的用戶意圖，然后調度微信內的服務能力。

灰度測試印證了這條路的合理性。實測中，小微的生成速度極快，除小程序模擬操作外，其他內容生成幾乎無需等待。一個代碼生成工具可以讓用戶等十秒，但聊天界面不行。這是微信和Codex的本質區別。

總結朋友圈、調用小程序、發消息、查聊天記錄，這些看似"不夠AI"的功能，恰恰是14億用戶最高頻的需求。

"混元想做一個能回答宇宙終極問題的AI，"一位騰訊內部人士打了個比方，"WeLM只想幫你點好一杯奶茶，然后讓你該干嘛干嘛去。"

兩條路線，一個終點

2026年7月6日，騰訊正式發布混元Hy3正式版。同日，WeLM技術博客也更新了一篇英文論文《Hidden Decoding at Scale》。

兩個團隊在同一周對外發聲，這是不是巧合？

樂觀的說法是，混元和WeLM正在形成互補?；煸撠煂ν廨敵鐾ㄓ媚芰Γ琖eLM負責對內承載微信生態的專用場景。姚順雨在上任后的一次內部講話中提到，"騰訊擁有大量真實場景，這些場景是模型迭代的磨刀石。"微信當然是最大的那個磨刀石。

悲觀的說法是，整合從未真正開始。WeLM的團隊、算力、數據體系仍然獨立于混元之外。張小龍不會讓一個TEG的負責人來決定微信AI的技術路線，就像馬化騰不會讓一個外部高管來決定微信的產品方向一樣。

也許最終，WeLM和混元不會合并成一個模型。但它們必須證明，自己是不可或缺的一部分。在騰訊的AI敘事里，沒有誰是理所當然的主角。

而微信的14億用戶也不會容忍一個平庸的AI助手。

WeLM用了四年時間證明自己不輸于混元，接下來的問題更難回答：它是否足夠優秀，來定義下一個十年的微信？