剛剛，中國AI交卷了！不加一張卡，暴省數百萬

新智元報道

五千名工程師，四個月，把Uber一整年的AI預算燒成了灰。

面對這張賬單，Uber的COO直接懵了：錢燒成這樣，ROI到底在哪？

緊接著，微軟、Meta、亞馬遜，一個接一個開始給員工手里的AI編程工具踩剎車。

魔幻的是，這一切偏偏發生在Token單價一路下跌的2026年。

而它背后的「罪魁禍首」，就是Agent。

一個Agent跑完一個完整任務吞掉的Token，是過去一次簡單問答的數倍乃至數十倍。模型越會干活，賬單漲得越快。

于是，一門去年還沒人當回事的學問，今年成了顯學——給AI算賬。

建模型的時代過去了

「麻煩」才剛開始

和前兩年相比，現在的模型可以說是多到數不清。開源的、閉源的、通用的、行業的，能訓的幾乎都訓出來了。

但更難的問題隨之而來：模型都有了，怎么讓它們在企業里跑得又快、又省、又安全？

真實的現場比想象中更亂。

一家大型企業，應用建了百八十個，模型接了四五十個，中間靠一條條硬連接對上。哪個應用走哪個模型，全憑當初誰接的誰。

跑是能跑。但三件麻煩事會挨個找上門。

第一件是成本。

不同任務的復雜度天差地別，落地時企業卻習慣性地全量呼叫最高性能的模型。資源利用率跌進谷底，Token賬單一路飆升。

第二件是治理。

AI已經在碰核心業務了，但權限怎么切、操作怎么審計、敏感數據怎么防外泄，這些企業級的防線普遍千瘡百孔。一個能直接調用核心數據的AI，如果沒裝安全護欄，本身就是一枚定時炸彈。

第三件是國產化。

在央國企主導的私有化機房里，國產芯片上的推理效率，直接決定這臺AI引擎轉不轉得起來，轉得劃不劃算。

這三件事指向同一個結論：企業AI的重心，正在從「模型能力」轉向「AI基礎設施運營」。

換句話說，AI的上半場拼的是誰的模型更強，下半場拼的是誰管得住。

而這場控制力之戰的第一塊陣地，正是模型路由。

全都用最強的，這毛病你可能也有

這事你大概也有體感。自己用AI寫代碼的時候，明明有便宜的檔位擺在那兒，可你還是把檔位拉滿。畢竟，萬一它解決不了怎么辦？

一個人這么干，浪費可能只是這周的訂閱額度。但到了企業這里，就會變成一句「我的訂單到哪了」和一份上百頁的合同條款審查，燒掉一樣貴的Token。

實際上，文本分類、信息抽取這類輕松活兒，跟長文檔分析、復雜推理這類硬骨頭，對算力的消耗差著好幾個量級。

「模型路由」要做的，就是讓每個任務都匹配到「剛剛好」的模型——

簡單任務走性價比，復雜任務上高性能，在效果和成本之間找到最優解。

企業與大模型之間的超級立交

就在這屆WAIC上，科大訊飛星火企業軍團給出了自己的答案——「星火Token Factory」。

它的作用，是橫在業務和大模型之間的「統一中間層」。

所有模型調用請求，都先流經這一層，由它來統一接入、智能調度、優化成本、把守安全。

最終實現的是，讓任務匹配對的模型（算得聰明），砍掉不必要的算力消耗（算得省），把每一筆Token的賬算清（算得明）。

接下來，我們一件一件拆開看。

把貴的模型用在刀刃上

首先是「星火Token Factory」的第一件事，也是最核心的一件。

它會根據Prompt長度、對話輪次、任務難度和數據敏感等級，把請求分成不同的級別，再匹配對應量級的模型：

簡單的FAQ交給輕量模型，常規的公文摘要交給標準模型。復雜的合同審查等Agent應用交給Agent增強模型，而戰略規劃、安全審計這類要緊事，強制調用最高規格模型。

整個路由決策，會綜合考慮「質量、成本、延遲、可用性、安全」等五個因子，而且平均決策延遲壓在100毫秒以內。

進到真實業務里，這省下來的全是真金白銀。

比如有個企業就發現，客服平臺日均數萬次咨詢中，超過60%的請求不過是查訂單、問退換貨這類不用動腦的問題。

接入網關按難度分流、敏感信息強制走私有化之后，月均Token成本不僅比之前全量灌給高檔模型砍掉了一半還多，而且響應速度反而還更快了。

不過，選對模型還只是第一步。接下來這三層，是為了在同一件事上少花冤枉Token。

第一層是語義緩存。遇到相似的舊問題，系統直接從記憶庫里掏出答案。在內部知識問答這種高頻轟炸的場景里，命中率能穩定在20%到30%。

第二層是Prompt壓縮，第三層是上下文裁剪，各自再精準剔掉10%到20%的輸入贅肉。

三層疊加，綜合可以削減30%到60%的Token消耗。

對一家日調用量以億計的大企業來說，這幾十個百分點的落差，就是財報上真金白銀的差別。

同樣的卡，扛起翻倍的業務

跨過路由這關，還有一塊更硬的骨頭：推理引擎。

在國產化私有部署場景里，推理引擎的強弱，直接宣判了算力利用率和服務成本。

在這個場景里，科大訊飛針對DeepSeek、Qwen、GLM等國產主流模型，緊貼昇騰硬件特性，從最底層的算子一路做到最上層的調度。

• 顯存側用模型壓縮和精度優化把占用壓下來，讓有限的硬件能吃下更大的模型、更長的上下文；

• 計算側把零散算子融合成高效指令序列，還對多卡通信做了調度優化，讓計算和通信并行重疊；

• 緩存側引入跨節點的KV Cache管理和上下文感知的緩存路由；

• 解碼側則上了面向昇騰的并行解碼加速。

實測顯示，相同硬件條件下，對標開源的vLLM-Ascend框架，推理效率提升約為5倍，首Token延遲降低30%到40%。

也就是說，同一批國產算力，現在能硬抗接近翻倍的業務量；反過來，企業也可以用更少的卡，撐起同樣規模的服務。

另一家企業的經歷，便是這串數字最好的注腳。

他們在自有的8臺8卡昇騰服務器上，塞進了訊飛星火、DeepSeek、Qwen等一眾模型，承載內部多個AI應用。

隨著接入的應用越掛越多，工作日高峰期的并發壓力不斷攀升，吞吐終于撞上天花板。響應卡頓、排隊等待，個別長文本請求甚至會霸占通道，把其他短請求活活拖慢。

經過評估之后，他們最終決定直接升級高性能推理框架。結果就是，整體效率提升約50%，等效省下數百萬元的硬件采購成本。

你只知道花了多少，卻不知道值不值

開頭那張讓大廠高管夜不能寐的賬單里，其實藏著兩個問題：錢花在哪了，和這錢花得值不值。

過去企業能查到的，最多只有前半個。

某個API調了多少次，扣了多少錢，賬單上寫得清清楚楚。但這筆錢辦成了哪件事、頂了幾個人力、這活到底該不該交給大模型，賬上一個字都查不出來。

對此，「星火Token Factory」給的答案是全鏈路可觀測。

從用戶、部門、項目、模型一直追蹤到部署方式，用八個維度把每一筆Token的去向扒得一清二楚，再配上預算預警、路由分析和ROI報表。

這一點對企業的數字化部門尤其要命。

一年預算砸下去，建了幾十個模型、上百個應用，年底要跟大領導匯報成效。過去，多半只能靠拼湊和估算，現在總算有據可查了。

安全那一側，「星火Token Factory」另有一套企業級體系。

三權分立加混合授權，管理不碰數據、操作不碰權限、審計不碰業務，三者互相獨立、互相制約；全鏈路審計記錄不可篡改、不可刪除、不可繞過；敏感信息自動識別、分級路由，確保數據不出域。

這套治理體系，往往比模型跑分榜上的名次，更能決定一家企業的掌舵者到底敢不敢把核心業務交出去。

AI的下半場，拼的是運營力

除了作為調度中樞的「星火Token Factory」，科大訊飛星火企業軍團這次還發布了三款企業級新品。它們合在一起，共同拼出一張「場景—能力—平臺」新產品矩陣。

星火營銷助理，是一個精通營銷策略、能持續進化的AI營銷數字員工。它以營銷策略大腦為核心，跑通了「1名真人座席+5個AI分身」的人機協同模式，AI分身的音色和溝通風格與真人座席保持一致。在試點中，日均有效溝通時長被提高了36%。

星火AI企業風控官，則扛起「企業風險體檢」這面大旗，把過去高度依賴老師傅經驗的風險判斷，格式化成可解釋、可追溯的標準動作。審核決策效率提升5到8倍，目前已經穩穩扎進多家頭部銀行的信貸風控場景。

星火智能語音VoiceWise，通過高性能CPU版ASR讓企業徹底擺脫對昂貴GPU的依賴，同等算力下在線識別并發路數提升約90%。全雙工技術更讓AI能邊說邊聽，在某保險公司的業務高峰期，扛住了7000路實時語音并發。

如今，全球AI早就跨過了「能不能用」的青澀期。尤其是，中國的日均Token調用量，兩年漲了超過一千倍。

但Uber們的賬單同時也在宣告，光會用，遠遠不夠。

真正決定一家企業能走多遠的，是下半場的新法則。

當模型能力逐漸成為公共品，企業之間的差距，將越來越取決于誰能把AI管得更精細、算得更清楚、跑得更穩定。

換句話說，未來企業競爭的，不再只是模型能力，而是AI運營能力。

模型路由的調度、推理引擎的壓榨、安全底線的死守、運營數據的深度解剖，這些深埋地下的隱形地基，正在成為AI規模化落地的真正支撐。

這次「星火Token Factory」補上的，正是這塊地基。

它讓語音、營銷、風控這些沖鋒在前的能力，得以在企業的血管里安全高速地奔涌；也讓站在Token經濟與國產化替代雙重路口上的央國企，摸到一條從概念驗證走向價值兌現的清晰航道。

模型參數還會繼續膨脹。但下一張寄到CFO桌上的AI賬單，不該再是一筆糊涂賬。

算得清、接得快、管得住——這是企業AI下半場的入場券，也正是「星火Token Factory」想替企業拿到的東西。

https://www.forbes.com/sites/janakirammsv/2026/05/17/uber-burns-its-2026-ai-budget-in-four-months-on-claude-code/

https://www.news.cn/tech/20260326/8026bd54df3f489a8c79d4438cac96b3/c.html