Agent拉爆算力？中國殺出新物種：日沖10萬億Token，還賺錢了

新智元報(bào)道

今年WAIC開幕當(dāng)天，上海世博展區(qū)擠滿了各種機(jī)器人、大模型和智能體。

但如果你問一圈做AI的人，2026年最讓他們睡不著覺的事情是什么，答案出奇一致——

不是模型不夠強(qiáng)，是算力不夠用了。

過去一年，AI行業(yè)發(fā)生了一個(gè)根本性的切換：大模型從「陪聊」變成了「干活」。

這帶來一個(gè)很直觀的變化：Agent太能吃了。

這不是夸張。今年，密歇根大學(xué)、斯坦福等機(jī)構(gòu)測算發(fā)現(xiàn)，在一組真實(shí)軟件工程任務(wù)中，編碼Agent每生成1個(gè)輸出Token，背后平均要累計(jì)處理約154個(gè)輸入Token。

更要命的是，這些Agent不是偶爾吃一頓，它們7×24小時(shí)不停地吃。行業(yè)里的共識是，今年AI推理的算力需求是去年的5倍到10倍。

與此同時(shí)，英偉達(dá)最新的高端卡今年很難大批進(jìn)入國內(nèi)，存量供給幾乎沒怎么增長。

需求暴漲，供給不動。怎么辦？

就在今天，商湯在總部舉辦以「算創(chuàng)·無限」為主題的Agentic時(shí)代AI基礎(chǔ)設(shè)施創(chuàng)新發(fā)展論壇。

本次論壇上，商湯給出了一個(gè)聽起來有點(diǎn)反常識的答案：不造更強(qiáng)的卡，而是把比賽拆開，讓不同的卡接力跑。

一場鐵人三項(xiàng)的啟示

要理解商湯在做的事情，得先搞清楚一個(gè)技術(shù)概念。

大模型每一次推理，其實(shí)可以拆成兩道工序。第一道叫Prefill，就是「讀題」：把用戶扔過來的資料、文檔、聊天記錄、上下文全部讀進(jìn)去，理解清楚。第二道叫Decode，就是「答題」：在理解的基礎(chǔ)上，一個(gè)字一個(gè)字地往外蹦答案。

這兩道工序?qū)τ布囊笸耆煌?/p>

讀題拼的是計(jì)算吞吐量——你得一口氣吞下海量信息，越快越好。答題拼的是顯存帶寬——你得一個(gè)字一個(gè)字地往外擠，快不了但不能卡。

過去大家的做法是一張卡從頭干到尾，既讀題又答題。這就好比讓一個(gè)人獨(dú)自跑完鐵人三項(xiàng)——游泳、騎車、長跑全包了。能不能跑完？能。但一定不是最優(yōu)解。

商湯的思路是：把鐵人三項(xiàng)拆開，讓三個(gè)運(yùn)動員各跑自己最擅長的那段。

具體來說，就是讓通用國產(chǎn)卡去做Prefill——它們的計(jì)算吞吐量不差，干這個(gè)活效率很高。把高端卡集中起來做Decode——這是它們的絕對強(qiáng)項(xiàng)。

這就是所謂的「異構(gòu)混合推理」。說白了，不是逼國產(chǎn)卡去硬剛英偉達(dá)，而是讓每一張卡都去干自己最擅長的事情。

聽起來很美，但這事能落地嗎？

這事可遠(yuǎn)不是「把卡插上去就能跑」那么簡單。

你想想看，一臺Decode節(jié)點(diǎn)要同時(shí)協(xié)調(diào)三十個(gè)Prefill節(jié)點(diǎn)，這三十臺芯片還可能來自不同廠家、不同代際。

網(wǎng)絡(luò)怎么不堵？請求怎么分？長文檔和短對話怎么區(qū)別對待？某張卡突然掉線怎么辦？緩存命中率怎么保證？

商湯首席科學(xué)家張行程說得很實(shí)在：純英偉達(dá)方案4個(gè)Prefill對1個(gè)Decode就夠了，換成國產(chǎn)方案變成30對1，網(wǎng)絡(luò)復(fù)雜度、調(diào)度復(fù)雜度、容錯(cuò)復(fù)雜度全線飆升。

所以商湯這幾年在底層做了海量的臟活累活——編譯器、算子、網(wǎng)絡(luò)、緩存、調(diào)度、容錯(cuò)，一層一層地打通。經(jīng)過系統(tǒng)級調(diào)優(yōu)，才能讓這套復(fù)雜程度遠(yuǎn)高于英偉達(dá)方案的異構(gòu)系統(tǒng)，實(shí)現(xiàn)長時(shí)間穩(wěn)定運(yùn)行，系統(tǒng)可靠性達(dá)到99.9%，真正實(shí)現(xiàn)大規(guī)模商用。

而且從2018年開始，商湯就在做多芯片適配，到今天形成了一整套方法論。

張行程說，這不單純是技術(shù)上的方法論，更是一種組織上的方法論——商湯自己的研發(fā)團(tuán)隊(duì)、芯片原廠、高校和科研機(jī)構(gòu)，有的深度綁定、有的靈活協(xié)作，擰在一起才啃得動這塊骨頭。

目前，這套方案已經(jīng)在真實(shí)客戶場景中跑通了。適配的模型包括GLM 5.2、DeepSeek V4、Kimi K2.7、MiniMax M3、SenseNova V6.7等主流大模型。

但光是「能跑」還不夠。技術(shù)再漂亮，不賺錢就是玩具。接下來才是整個(gè)故事里最關(guān)鍵的一步。

國產(chǎn)算力，上桌吃飯

過去幾年，國產(chǎn)算力的敘事基本上是這么個(gè)套路：自主可控很重要，供應(yīng)鏈安全很緊迫，我們的芯片能跑了。然后呢？然后往往就沒有然后了。

能跑，但是性價(jià)比不行。能用，但客戶不買單。聲音很大，賬算不平。

商湯這次最讓人意外的地方在于：國產(chǎn)芯片參與的混推集群，已經(jīng)實(shí)現(xiàn)了可盈利。

這里的「可盈利」不是財(cái)務(wù)游戲，商湯科技聯(lián)合創(chuàng)始?、?裝置事業(yè)群總裁楊帆給了一個(gè)非常明確的定義：收入覆蓋折舊、攤銷、機(jī)柜租賃、電費(fèi)和人員服務(wù)費(fèi)之后，利潤率為正。是真金白銀地賺錢。

怎么做到的？

第一步，把國產(chǎn)卡的實(shí)際性能「榨」出來。商湯在三個(gè)不同廠牌的國產(chǎn)芯片上做定向優(yōu)化，單卡MFU（可以理解為「有效利用率」）相比原廠出廠表現(xiàn)平均提升約一倍，最高的一款提升了152%。

第二步，通過異構(gòu)混推，讓同樣成本產(chǎn)出更多Token。相比國產(chǎn)同構(gòu)推理，異構(gòu)混推的同成本Token產(chǎn)出規(guī)模擴(kuò)大了2.5倍。簡單說，同樣花那么多錢買卡和建機(jī)房，產(chǎn)出的Token多了一倍多。

第三步，Token量跑起來了。年初日均4000億Token，到7月底預(yù)計(jì)日均2.42萬億，年底目標(biāo)是日均10萬億——全年預(yù)期增長25倍。賬算得正是一回事，規(guī)模跑得起來才能證明這不是小打小鬧。

這意味著，國產(chǎn)算力第一次不必等到單卡全面追平英偉達(dá)，就通過系統(tǒng)分工，提前進(jìn)入了真實(shí)的商業(yè)市場。

不是等著領(lǐng)先了再上桌，而是找準(zhǔn)了自己的位置先坐下來——還掙到錢了。

一座工廠最怕的事：五個(gè)老板管一條流水線

那為什么同樣買國產(chǎn)卡，有些智算中心依然虧錢，商湯能把利潤跑出來？

答案不在某一張卡，而在整座工廠的控制權(quán)。

楊帆說了一段特別犀利的話：很多自稱算力服務(wù)商的公司，實(shí)際上是幫大廠代持機(jī)器、簽長租約，本質(zhì)上提供的是一種金融服務(wù)。

一座工廠的廠房、機(jī)器、流水線、倉庫和銷售分別歸五家公司管——?jiǎng)e說極致優(yōu)化，光開會就能把利潤開沒。

商湯的做法是端到端控制：從機(jī)房物理層到服務(wù)器、網(wǎng)絡(luò)架構(gòu)、編譯器、算子、框架、推理引擎、調(diào)度系統(tǒng)，再到最終客戶的Token流量，整條鏈路盡可能由一個(gè)主體貫穿。

每一個(gè)環(huán)節(jié)單拎出來可能不是最長的板，但拼在一起就是平臺型的優(yōu)勢——優(yōu)化空間來自于系統(tǒng)級的聯(lián)合調(diào)優(yōu)，這是分層割裂的模式永遠(yuǎn)做不到的。

這里還有一個(gè)很有意思的閉環(huán)：Agent正在反過來幫助生產(chǎn)算力。

過去國產(chǎn)芯片適配是公認(rèn)的苦活，每換一款芯片都要重新踩坑。但今年，商湯開始用Agent來輔助完成算子遷移、適配和優(yōu)化。

楊帆說，今天大家都在用Agent去寫算子適配。

當(dāng)芯片、網(wǎng)絡(luò)和業(yè)務(wù)流量被端到端打通之后，優(yōu)化的觸角自然會伸到一個(gè)過去大家不太關(guān)注的地方——電。

在臨港數(shù)據(jù)中心，商湯跟寧德時(shí)代合作搞了儲能系統(tǒng)，配合峰谷電價(jià)和算力預(yù)測做彈性調(diào)度。效果是單位電力成本Token產(chǎn)出提升約80%，電費(fèi)比同地區(qū)IDC低約10%。

7月10號上海用電緊張的時(shí)候，國網(wǎng)發(fā)出需求響應(yīng)，商湯臨港數(shù)據(jù)中心兩小時(shí)內(nèi)釋放了75%的容量，少用了4.6萬度電。

這件事的意義不只是省電，它說明大型智算中心可以變成電網(wǎng)中的一塊「虛擬電池」：高峰期主動降負(fù)荷給市政電網(wǎng)讓路，低谷期開足馬力跑推理。

到這里，整個(gè)「Token工廠」的畫面就比較完整了：芯片是機(jī)器，網(wǎng)絡(luò)是流水線，KVCache是倉庫，調(diào)度系統(tǒng)是廠長，電力是原料，Token是最終產(chǎn)品。

從一座工廠到一張網(wǎng)

Token工廠跑通了，但一家公司的端到端再強(qiáng)，也撐不起整個(gè)國產(chǎn)AI基礎(chǔ)設(shè)施的生態(tài)。

所以商湯在這次WAIC上同步發(fā)布了「銀河計(jì)劃」——聯(lián)合近20家生態(tài)伙伴，從寒武紀(jì)、沐曦、華為昇騰、摩爾線程等國產(chǎn)芯片廠商，到硅基流動、基流科技、中科加禾等基礎(chǔ)設(shè)施服務(wù)商，把上下游攏到一起搞共建。

目標(biāo)是四個(gè)數(shù)字：1個(gè)Token工廠、5個(gè)萬卡國產(chǎn)集群、10個(gè)共創(chuàng)技術(shù)方向、200+家AI初創(chuàng)組織。

為什么是5個(gè)萬卡而不是1個(gè)10萬卡？因?yàn)樯虦嫦虻氖堑谌绞袌觥笳Z言模型、視頻生成、具身智能、世界模型、AI for Science，這些任務(wù)對硬件的要求完全不同。

在模型和芯片都還在高速演化的階段，靈活組合比把單一模型再優(yōu)化20%更重要。

科研端的合作同樣在這次WAIC集中落地。商湯聯(lián)合上海人工智能實(shí)驗(yàn)室、北京中關(guān)村學(xué)院、深圳河套學(xué)院、上海算法創(chuàng)新研究院、上海交通大學(xué)人工智能學(xué)院等五家科研機(jī)構(gòu)，啟動了科學(xué)發(fā)現(xiàn)平臺戰(zhàn)略合作。

主要就是，共同構(gòu)建覆蓋「算力基礎(chǔ)—平臺工具—模型能力—科研創(chuàng)新」的一體化科研服務(wù)體系，為生命科學(xué)、新材料、智能制造等重點(diǎn)領(lǐng)域提供高效、開放的AI科研支撐。

區(qū)域上，上海臨港是核心樞紐，鹽城是算電協(xié)同的區(qū)域試點(diǎn)，北京、天津、深圳、福州等節(jié)點(diǎn)逐步連成一張網(wǎng)，接入全國一體化算力網(wǎng)。

出海方面有兩個(gè)樣板：香港是跳板——楊帆直接說，「香港是中國未來Token出海的行業(yè)實(shí)驗(yàn)場」，計(jì)劃于2030年前形成40,000P+算力規(guī)模，打造全港最大國產(chǎn)智算中心。

沙特是另一種模式——幫當(dāng)?shù)亟ㄖ撬阒行摹⒂?xùn)練主權(quán)模型、培養(yǎng)人才，輸出的不是一張卡，而是一整套「中國AI方案」。

國產(chǎn)化進(jìn)程也在提速。臨港AIDC的國產(chǎn)卡占比不斷提升，預(yù)計(jì)進(jìn)展順利的話，明年可能超過50%。

而在更遠(yuǎn)的地方，商湯還在同時(shí)布局三條前沿路線：光計(jì)算降低數(shù)據(jù)搬運(yùn)的能耗，量子計(jì)算解決傳統(tǒng)方法算不動的高維優(yōu)化，太空算力則是把Token送到地面網(wǎng)絡(luò)覆蓋不了的地方。

太空這條線值得多說兩句。商湯已經(jīng)簽約國星宇航，計(jì)劃今年四季度發(fā)射4顆「商湯號」系列算力衛(wèi)星，完成首發(fā)并組網(wǎng)；2028年目標(biāo)建成星地混合云商用骨干網(wǎng)；到2030年建成千顆級天地一體化AI算力星座。

楊帆對此的判斷是，中國搞太空算力的核心邏輯不是地面電太貴，而是全球還有大量地區(qū)沒有3G、4G，要把AI服務(wù)滲透過去，星上算力是最有效的路徑。

地面的Token工廠解決「怎么生產(chǎn)得更便宜」，未來的星地一體算力網(wǎng)解決「怎么把Token送到更遠(yuǎn)的地方」。

下一代工廠長什么樣？

過去幾年，AI基礎(chǔ)設(shè)施的競爭像一場軍備競賽：誰GPU多，誰峰值算力大，誰機(jī)房壯觀。

到了Agent時(shí)代，這套玩法正在失效。

模型不關(guān)心你用了哪張卡，用戶也不關(guān)心你機(jī)房里有多少P算力。他們只關(guān)心三件事：Token夠不夠快，夠不夠便宜，服務(wù)穩(wěn)不穩(wěn)。

所以未來的贏家，未必是擁有最多GPU的公司，而更可能是那家最懂得怎么把不同芯片、不同電價(jià)、不同模型和不同任務(wù)，組織成一條高效生產(chǎn)線的公司。

商湯這次在WAIC展示的，不只是一套國產(chǎn)異構(gòu)混推方案。它其實(shí)是在提前回答一個(gè)更大的問題：

當(dāng)AI真正進(jìn)入大規(guī)模生產(chǎn)時(shí)代，下一代「工廠」究竟應(yīng)該長什么樣？

編輯：所羅門