剛剛，Thinking Machines首發大模型：9750億參數，完整開放權重

由 OpenAI 前首席技術官 Mira Murati 創立的 AI 初創公司 Thinking Machines Lab，剛剛發布了自研 AI 模型 Inkling。

與 OpenAI、Anthropic 或 Google 的旗艦模型不同，Inkling 是一款開放權重模型，外部開發者和企業可以直接下載，并根據自身需求進行修改。正如官方介紹的：Inkling 能夠高效地對文本、圖像和音頻進行跨模態推理。與此同時，Inkling 完整模型權重也將開放。

Inkling 采用混合專家 Transformer 架構，總參數量為 9750 億，激活參數量為 410 億，支持最高 100 萬 token 的上下文窗口。

Inkling 使用 45 萬億 token 的文本、圖像、音頻和視頻數據完成預訓練。它是一個不同規模模型家族中的首款產品。

與此同時，Thinking Machines Lab 還發布了 Inkling-Small 預覽版。這是一款更輕量的模型，激活參數量為 120 億，采用與 Inkling 相似的訓練方法，能夠以更低的成本和延遲實現出色性能。

Inkling 能夠原生處理并推理文本、圖像和音頻，并通過高效、可控的推理強度，在成本與性能之間取得平衡。Inkling 在多個領域都有較強表現，同時具備足夠的靈活性，能夠適配不同需求。

官方表示，Inkling 并不是目前綜合能力最強的模型，無論與開源模型還是閉源模型相比都是如此。它的價值在于多項特性的結合，使其成為適合定制的開放權重基礎模型，包括多模態能力、高效推理，以及可以通過 Tinker 進行微調。顯然，該公司追求的是均衡全面的性能。

Inkling 只是一個開始。它是 Thinking Machines Lab 發布的模型家族中的第一款產品，未來還會在此基礎上持續迭代。

為了讓模型定制覆蓋更多應用場景，Thinking Machines Lab 已在 Tinker 平臺開放 Inkling 的微調能力。

在該公司看來，選擇適合微調的基礎模型，既需要參考可量化的基準測試，也離不開開發者在實際使用中對模型風格與表現的判斷。為此，Tinker 控制臺新增了 Inkling Playground，開發者可以直接與模型交互，更直觀地了解其能力特點。

為了進一步展示模型定制的實際效果，Thinking Machines Lab 還進行了一次頗具實驗性的嘗試，讓 Inkling 參與自身的微調過程。Inkling 通過 Tinker 編寫微調任務、運行訓練流程，并對最終結果進行評估。

Inkling 能力

下面將展示 Inkling 能夠完成哪些任務，以及它在可信度、安全性等重要維度上的表現。

通用模型

Inkling 的設計目標是覆蓋廣泛的任務類型。訓練過程中，它同時面向智能體、推理、編程、指令遵循、事實準確性、視覺和音頻等任務展開，而沒有針對某一個領域進行狹窄優化。

這種能力廣度對于模型定制和實際應用十分重要。不同用戶需要模型適應差異很大的工作流程，而不只是擅長在基準測試中取得高分。

智能體編程與工具調用

一個適合微調的強大基礎模型，需要能夠靈活調用智能體工具，解決多種不同類型的任務。在大多數智能體基準測試中，Inkling 在開放權重模型中都取得了較好的成績。

訓練過程中，Inkling 被置于多種編程與智能體框架中運行。團隊還隨機調整了訓練時使用的工具集和工具定義，以降低模型對某一種特定框架的依賴。

下面展示幾個 Inkling 進行智能體編程和工具調用的案例，以及它在過程中生成的成果。

一次生成（One-shot）帶有內嵌瀏覽器操作能力的 Web 應用

Inkling 通過一次生成就構建出一個可正常運行的 Web 應用。隨后，它還為該應用提供了一個內嵌 AI 助手，用戶可以通過自然語言指令，讓助手直接操作 Web 應用界面。

Design Arena

Inkling 參加了 Design Arena 的智能體 Web 開發排行榜評測。在該評測中，匿名的人類評審會對模型生成的 Web 應用進行兩兩對比。評測結果顯示，Inkling 躋身能力最強的開放權重模型之列。

風格統一的多頁面成果

Inkling 能夠創建多頁面的完整成果，準確遵循指令、呈現可靠的信息，并在不同頁面之間保持統一連貫的視覺風格與設計。

多人游戲

在 GPT Codex 擔任評審的情況下，Inkling 根據其反饋進行了 40 輪迭代，逐步完善了一款在線多人貪吃蛇游戲。

能夠持續完成長周期的優化，并根據反饋不斷改進，是產出高質量協作成果的關鍵能力。

可控的推理強度

推理時擴展能力和問題解決能力，是衡量模型的核心指標，但很難用一個數字完整概括。對于希望針對特定任務進行模型微調的開發者來說，效率與模型在公開基準測試中以最高推理強度取得的成績同樣重要。現實應用通常受到成本和延遲的嚴格限制，其中，低延遲對于通過持續迭代實現協作與改進尤為關鍵。

Inkling 支持對推理強度進行調節，讓開發者可以在性能與 token 效率之間靈活權衡。上圖展示了 Inkling 及其他開放權重模型在多項基準測試中的推理強度與性能曲線，包括用于評估智能體編程能力的 Terminal Bench 2.1、用于評估高級推理能力的 HLE，以及用于評估指令遵循能力的 IFBench。

在 Terminal Bench 上，Inkling 只需使用 Nemotron 3 Ultra 三分之一的 token，就能達到相同的性能水平。對于需要運行數百萬次，或被嵌入長流程工作流中的模型來說，成本與延遲至關重要。通過觀察完整的成本與性能曲線，開發者可以為不同應用場景選擇更合適的模型。

多模態能力

Inkling 的一項重要設計目標，是作為 Thinking Machines Lab 近期發布的交互模型系統中的后臺推理模型。交互模型支持用戶通過語音和視覺進行實時、自然的協作，因此需要一個經過原生訓練、具備廣泛多模態能力的模型作為基礎。

Inkling 的多模態組件使用通用領域數據從零開始訓練。團隊采用了與交互模型設計一致的無編碼器架構，處理音頻和視覺輸入。音頻信號以 dMel 頻譜圖的形式輸入，圖像則被劃分為 40×40 像素的圖像塊，并通過一個四層 hMLP 進行編碼。隨后，兩類輸入都經過輕量級嵌入層轉換，并與文本 token 一同進行處理。

在音頻方面，Inkling 能夠完成語音轉寫、遵循語音指令、回答與錄音內容相關的問題，并對較長的音頻進行推理。在 VoiceBench、MMAU 和 AudioMC 等基準測試中，Inkling 躋身能力最強的開放權重音頻模型之列。

在視覺方面，Inkling 支持圖像輸入，可以描述視覺內容、回答相關問題，并基于給定的視覺信息展開深入推理。它在圖表、示意圖和數學視覺推理任務上表現突出。推理過程中，Inkling 還可以調用 Python 工具，通過放大、裁剪等操作輔助理解圖像，并將視覺推理與基于代碼的推理無縫結合。

作為該系列的首個模型，Inkling 為后續研究建立了一個較為穩固的多模態基礎。Thinking Machines Lab 表示，隨著模型規模和訓練流程在后續版本中繼續擴展，Inkling 的多模態能力還將進一步提升。

在 FORTRESS 基準測試中，Inkling 展現出了較強的內置安全防護能力。Inkling 拒絕了更多有害請求，對無害對應問題的誤拒率也更低。

Inkling 基準測試

團隊從多個能力維度對 Inkling 進行了基準評測。所有評測均將推理強度設置為 0.99，溫度設置為 1.0。所有編程類評測的單條軌跡最大 token 上限均為 25.6 萬。

為了提高結果的一致性，在條件允許的情況下，團隊對自家模型和外部模型都采用第三方公開評測結果。具體而言，Humanity’s Last Exam、GPQA Diamond、GDPVal、Tau 3 Banking、AA Omniscience 和 MMMU Pro 等評測均采用 Artificial Analysis 公布的分數。

Inkling 的訓練過程

架構

Inkling 是一款混合專家 Transformer 模型，在常見架構方案的基礎上做了幾項調整，主要用于提升效率和長上下文性能。

其 MoE 設計整體沿用了 DeepSeek-V3 的思路。每個 MoE 層包含 256 個路由專家和 2 個共享專家，每個 token 會激活 6 個路由專家。Inkling 采用基于 sigmoid 的路由機制，并通過無輔助損失的負載均衡偏置來平衡專家負載。被選中的路由專家與共享專家的得分會進行聯合歸一化，再用于加權組合各自的輸出。

在注意力機制方面，Inkling 以 5∶1 的比例交替設置滑動窗口注意力層和全局注意力層，并采用 8 個 KV 頭。團隊發現，與更常見的旋轉位置編碼 RoPE 相比，相對位置嵌入在位置編碼上表現更好，也能更有效地外推到更長的序列。

此外，團隊還在兩個位置引入了短卷積。一個位置位于每個注意力層的 Key 和 Value 投影之后，另一個位置位于注意力分支和 MLP 殘差分支的輸出處，在它們重新匯入主殘差流之前進行處理。

訓練

Inkling 使用 45 萬億 token 完成預訓練，數據涵蓋文本、圖像、音頻和視頻等多種內容類型。

訓練采用混合優化策略。大規模矩陣權重使用 Muon 優化器，其他參數使用 Adam 優化器。超參數調度方案則借鑒了團隊此前關于模塊化流形的研究。團隊還將權重衰減強度與學習率的平方綁定。實驗表明，這種方法能夠在不同訓練周期下保持模型權重整體規模的穩定。

在后訓練階段，Inkling 覆蓋了數學、智能體編程與工具調用、音頻、圖像、對話和安全等多個領域。

為了啟動后訓練，團隊首先使用合成數據進行了一輪監督微調。這些數據由包括 Kimi K2.5 在內的開放權重模型生成。該啟動階段只占用了較少的計算資源，絕大部分算力都投入到大規模強化學習中，訓練環境同時包括合成環境和人工構建環境。

Inkling 是 Thinking Machines Lab 首次開展的大規模模型訓練，使用 NVIDIA GB300 NVL72 系統完成。未來的模型將在預訓練、后訓練和強化學習等階段進一步擴大計算規模。

大規模強化學習

團隊通過大規模異步強化學習塑造模型行為，并提升其推理能力和整體性能。

下圖展示了模型在一組留出推理評測集合上的得分，其中包括 AIME、HLE、GPQA 等測試。強化學習最終擴展到超過 3000 萬次 rollout，并在兩次持續時間較長的連續訓練中保持穩定。

在整個訓練過程中，模型的推理性能持續呈現對數線性增長，最終實現了顯著提升。

團隊通過修改系統消息，并調整每個 token 的成本，為不同樣本設定不同的推理強度。這使模型在不同 rollout 中使用不同數量的 token，并逐步學會控制自身的推理強度。

團隊還觀察到，隨著強化學習訓練推進，模型的推理風格出現了一種自然形成的變化。思維鏈逐漸變得更加簡潔，減少了不必要的語法性表達，同時仍然保持可理解性，也沒有影響最終答案。

這種變化并非獎勵機制刻意引導的結果，單純追求效率就推動了思維鏈的壓縮。Cognition 團隊近期在訓練 SWE-1.7 時，也觀察到了類似現象。

下面展示了 Inkling 在回答同一道數學題時，其思維鏈如何隨著強化學習訓練逐步演變。

Inkling-Small

在發布 Inkling 的同時，Thinking Machines Lab 還帶來了 Inkling-Small 的預覽版。它是一款總參數量為 2760 億的混合專家模型，激活參數量為 120 億，低于 Inkling 的 410 億，在性能與延遲之間提供了不同的權衡。

在多項基準測試中，Inkling-Small 的表現與更大規模的 Inkling 持平，甚至有所超越。這主要得益于團隊針對小模型改進了預訓練數據和訓練方案。

兩款模型采用相同的可擴展后訓練技術棧。

早期測試結果顯示，Inkling-Small 在推理和智能體任務上的表現已經接近 Inkling。憑借 120 億激活參數和可控的推理強度，它尤其適合對成本和延遲較為敏感的工作負載，例如編程、使用大模型進行評測打分，以及為其他模型生成合成數據。

目前，Thinking Machines Lab 正在完成 Inkling-Small 的最后測試，相關工作結束后將發布完整模型權重。

定制 Inkling

許多現實問題，即使是能力最強的通用模型也難以妥善解決。通過微調引入企業或組織的專業知識，可以進一步彌補這一差距。Tinker 客戶的實際使用經驗也印證了這一點。

Inkling 的后訓練結果以及大規模強化學習表現表明，它能夠通過微調快速學習和掌握新的能力。

Inkling 的開放與使用方式

Inkling 目前已經上線 Tinker，提供 6.4 萬和 25.6 萬 token 兩種上下文長度。限時期間，Inkling 的使用價格享受五折優惠，完整定價信息可在官方文檔中查看。

為了幫助 Tinker 用戶更方便地微調 Inkling，團隊更新了 Cookbook，使其原生支持 Inkling，并新增了三套示例方案，用于展示 Inkling 獨特的音頻能力。

團隊還發布了 tml-renderer，支持在包含工具調用、推理內容和多模態輸入的場景下，更可靠地進行采樣和后訓練。

在正式啟動訓練任務之前，用戶可以先進入 Tinker 控制臺中的 Inkling Playground 體驗模型。該功能提供聊天界面，并集成了智能體式網絡搜索能力，限時免費開放。

Thinking Machines Lab 還與多家生態合作伙伴展開合作，幫助客戶部署在 Tinker 上微調得到的模型檢查點。

Inkling 已經可以通過 Together AI、Fireworks、Modal、Databricks 和 Baseten 的 API 使用。

在開源推理和強化學習支持方面，團隊與 RadixArk 合作，為 SGLang 和 Miles 提供支持；與 Inferact 合作適配 vLLM；與 Lightseek 合作支持 TokenSpeed 推理；與 Unsloth 合作支持 llama.cpp；同時還與 Hugging Face 合作，完成了對 Transformers 的集成。

Inkling 的完整模型權重已經發布在 Hugging Face 上，包括原始模型檢查點，以及面向 NVIDIA Blackwell 系統高效推理的 NVFP4 檢查點。

參考鏈接：https://thinkingmachines.ai/news/introducing-inkling/