國產算力最大的短板，被一座Token工廠補上了？

商湯大裝置試圖把不同品牌、不同代際的芯片，組織成一座能夠持續盈利的Token工廠。

最近兩年，關于AI基礎設施討論最多的是一個單位——P。

比如這家公司的算力有多少P、那座智算中心裝了多少張GPU，一躍成了判斷實力最直觀的方式。地方政府建設智算中心，和大模型公司采購算力，也大多圍繞芯片數量和算力規模展開。

但進入Agent時代后，這套計算方式正在改變。IDC數據顯示，2025年1月，中國企業級MaaS市場日均Token消耗量約為1.6萬億，到當年12月底已經飆升至9.6萬億；2026年全年Token消耗量預計達到40000萬億，約為2025年的20倍，折合日均接近110萬億。

背后增長動力主要來自多模態模型不斷走向成熟與Agent應用規模化落地。Agent扮演的功能與角色逐漸豐富，遠不止被動回答問題，而要讀取更長的上下文，調用搜索、數據庫和外部工具，拆解任務并進行多輪推理。

對此，商湯大裝置事業群首席科學家張行程在接受采訪時表示，過去聊天場景的模型輸入較短、輸出較長；到了Agent場景，輸入輸出比例可能達到100∶1甚至更高，上下文也從數萬Token向數十萬乃至百萬Token躍進。

因此，企業真正購買的不再是抽象算力，而是算力最終能夠生產的Token。這就導致企業開始思考：同樣一筆預算可以生成多少Token？同樣一度電可以支撐多少推理？模型遷移到新芯片需要多長時間？高并發時能否保持穩定？這些也不可避免正成為新的算力賬本。

36kr了解到，WAIC 2026期間，商湯大裝置分別發布了異構混合推理、全棧適配、算電協同Agent及國產生態計劃。它試圖回答當國產AI芯片越來越多，如何把不同架構、不同性能的芯片組織起來，變成一套穩定、低成本，甚至能夠盈利的Token生產系統？這一切動作也都指向“最懂大模型的AI基礎設施”這個定位。

國產算力邁過盈虧線，靠的不是一張更強的卡

過去，國產算力面臨的首要問題是“有沒有”。隨著國產AI芯片公司陸續進入商業化階段，問題正在轉變為“怎么用”。不同芯片采用不同的硬件架構、編譯器、算子、通信方式和軟件工具鏈。一個已經在NVIDIA平臺上運行的模型，遷移到一款國產芯片上，往往需要重新適配。換一款芯片，又要重新踩一遍坑。

張行程將這項工作稱為“苦活”。商湯從2018年開始進行國產芯片適配，逐步把芯片原廠、商湯研發團隊、高校和科研機構組織到同一套體系內，并與上海人工智能實驗室推動DeepLink開源體系，統一適配不同芯片的算子、編譯和異構通信。

同時，Agent也開始被用于解決基礎設施自身的問題。過去需要工程師逐個完成的算子遷移、開發和性能調優，如今可以由AI輔助完成。芯片廠商提供底層算子后，商湯大裝置在平臺上進行自動化遷移和優化，試圖降低國產芯片進入新模型、新業務的工程成本。

但適配只是第一步。今年上半年，商湯大裝置開始把一項此前跑通的技術推向規模化商業服務：異構混合推理。大模型推理通常可以分成Prefill和Decode兩個階段。Prefill負責讀取、理解用戶輸入的大量上下文，計算密集；Decode則逐個生成Token，對顯存帶寬、延遲和穩定性要求更高。

在傳統方案里，這兩個階段往往由同一種GPU完成。商湯大裝置的思路是把任務拆開：讓通用國產芯片承擔Prefill，把高端芯片留給Decode，再通過統一網絡、調度和緩存體系把兩者連接起來。通過PD分離、異構組網和系統優化，以較低硬件成本獲得更高的整體Token產出。

此外，不同于其他的Token工廠，能實現這樣的組合優化與技術落地，還依賴于商湯大裝置自建并持有超大規模的AIDC智算中心。商湯科技大裝置事業群CTO宣善明表示，國產算力的優化并不只是把模型遷移到一張國產卡上。依托自建的臨港AIDC，商湯可以同時改造硬件組合、網絡架構和軟件系統，嘗試不同國產芯片與高端芯片的異構組合。“每一點可能都不是特別長的板，但組合起來，就是平臺型的長板。”相比之下，不少算力運營方沒有機房物理改造權，軟件廠商也難以打通硬件與網絡系統，異構混合推理很難真正落地。

這套組合優化的關鍵，恰恰在于不追求某一張卡在所有任務中做到最好。商湯科技聯合創始人、大裝置事業群總裁楊帆用鐵人三項作比喻：一個游泳運動員獨自參加鐵人三項未必能取得好成績，但如果允許三名擅長不同項目的運動員接力，整體成績可能更高。

同樣的邏輯也適用于AI基礎設施。大語言模型、視頻生成、世界模型、具身智能和AI for Science，對計算、顯存和通信的要求并不相同。即使未來由更高端的國產芯片承擔Decode，舊一代芯片仍可以負責Prefill或數據生成，新一代芯片承擔更復雜的任務，異構組合不會因此消失。

在商湯看來，異構不是國產芯片尚未成熟時的權宜之計，而是在模型和硬件快速迭代、需求尚未收斂時尋找系統最優解的方式。其商業結果已經開始顯現，據楊帆透露，國產混推集群目前可以實現正毛利率。

商湯大裝置Token服務量也在擴張。據其估計，日均服務量將從2026年初的約4000億Token，上升至7月底的約2.42萬億，年底目標達到10萬億，約為年初的25倍。

宣善明也坦言，國產算力的商業化不會在訓練和推理環節同步發生。目前，國產芯片在模型訓練上仍面臨較大挑戰，相對成熟的閉環更多出現在視頻、圖文等模型上。相比之下，推理更有可能率先放量：通過PD分離和異構混推，將不同芯片放到各自更擅長的任務中，既能提高整體吞吐，也能撬動國產芯片進入真實業務。

商湯“最懂大模型”的定位，也建立在這種任務拆解能力之上。在楊帆看來，技術知識擴散很快，單一能力很難維持兩年以上。更持久的壁壘是組織能否一直比別人快一步，看懂下游模型將往哪里演進，再反向調整基礎設施。相比于其他AI企業，商湯擁有一個獨特的組織優勢：模型團隊和基礎設施團隊的距離足夠近。比如商湯大裝置首席科學家張行程，同時也參與商湯研究院的工作，兩側團隊通過輪崗和共同研發，將模型負載變化快速傳遞到芯片選型、網絡、緩存和調度系統中。

這種端到端能力也延伸到了電力系統。商湯臨港AIDC于2024年獲評全國首個5A級智算中心。該認證綜合考察理論算力、有效算力、算力能效和業務場景支持能力等指標。

傳統數據中心通常使用PUE衡量能源效率，但PUE只能反映有多少電被用于IT設備，無法回答這些電最終生產了多少有效Token。極端情況下，為了優化PUE，機房可能讓服務器風扇高速運轉，GPU卻因溫度或功耗限制降頻，局部指標更好，實際算力產出反而下降。商湯大裝置因此提出TPW，即單位電力成本對應的Token產出。

在臨港，商湯大裝置將儲能系統、機房管理系統和算力運營平臺打通，根據任務實時性、電價和電網負荷調度算力。離線推理、模型評測和部分預訓練任務不需要立即執行，可以轉移到電力負荷較低的時間段。比如7月上海電網進行需求響應時，臨港數據中心在兩小時內釋放了75%的用電容量，減少用電約4.6萬度。商湯大裝置希望借此證明，智算中心不一定只是耗電大戶，也可以成為電網中的彈性“容量池”。

但電費目前并不是國內Token業務能否盈利的決定性因素。楊帆判斷，算電協同在國內大約可以形成10個百分點的成本差異，其價值到了電價更高的東南亞、中東等海外市場，可能會更加突出。

區域、場景、生態三板斧，讓每個人都能用上Token工廠

事實上，中國并不缺建設智算中心的公司，但大量項目的參與者分層、割裂。有人提供機房，有人購買服務器，有人負責組網，有人包銷算力，還有人面向最終客戶做零售。每一層都需要獲得利潤，卻沒有一個主體能夠看見全部數據，更無法在模型、芯片、網絡、電力和客戶任務之間進行聯合優化。

楊帆認為，只有真正接觸終端流量，根據不同客戶、模型和任務進行調度，才有可能找到Token成本的優化空間。

商湯大裝置與大廠的差異也由此出現。阿里、火山等大廠同樣具備從數據中心到模型和應用的端到端能力，但它們最優質的資源通常會優先服務自身電商、內容和云業務。商湯大裝置則愿意面向AI公司、科研機構和產業客戶提供高穩定性、高彈性、可擴展的端到端系統服務。

按照楊帆披露的目標，商湯計劃建設至少5個萬卡國產集群，服務超過200家AI初創組織。選擇5個不同組合的萬卡集群，而不是建設一個單一架構的十萬卡集群，正是為了保留面對不同模型和場景的靈活性。

區域項目則承擔著驗證商業模式的任務。在鹽城，商湯智算中心一期規劃3000P算力，并試圖通過引入AI企業、產業鏈資源和基金，形成從基礎設施到地方優勢產業應用的閉環。中國香港項目計劃在2026年底建成第一批算力集群，在2030年前建成具備40000P算力規模的智算中心。

沙特項目仍處于更早期的市場驗證階段。楊帆也承認，2026年AI基礎設施出海的重點仍是布局和跑通路徑，東南亞、中東目前只有少量項目，更大規模的收入可能要到下一階段。

除了在沙特、中國香港落地項目外，商湯大裝置也在加速探索大量的更創新更有想象力的場景，以此不斷拓展國產算力的邊界，比如太空算力。在2026 WAIC大會上，商湯大裝置與國星宇航共建商湯算力星座，發射衛星進行初步驗證。盡管未來兩年，太空算力更多處于技術儲備和預研階段。但它在中國依舊擁有高潛在價值，比如解決海外弱網絡地區和衛星覆蓋場景中的AI服務問題。

為了把技術能力擴大到更多國產軟硬件，商湯大裝置還聯合芯片、核心零部件和AI Infra發起“銀河計劃”。這一計劃要解決兩個問題：第一是讓國產化不只停留在GPU層面。一臺服務器即使使用國產GPU，CPU、內存、光模塊和交換機仍可能來自海外，國產CPU與GPU之間也存在適配和聯調問題。硬件供應鏈需要軟件、模型和真實應用共同驗證，否則所謂“全國產”很容易停留在設備清單上。

第二是為國產算力找到持續需求。具身智能、世界模型、視頻生成和AI for Science等公司需要算力，卻未必有能力自行完成芯片適配、集群運維和性能優化。商湯希望向它們提供算力、Token和工具，再把這些公司帶入城市、科研和產業智能化項目。

東吳證券提出，2026年是“國產AI基礎設施規模化商用元年”。從需求端來看，Token市場爆發式增長，供需缺口擴大；DeepSeekV4主動深度適配國產算力，為國產算力加速崛起奠定了基礎。

而一家國產AI基礎設施服務商，用異構混合推理及端到端服務能力，讓更多人看到了國產算力的曙光。

但對于整個國產AI基礎設施生態系統來說，未來還有很長的一段路要走。更大的卡點在于，如何能讓國產集群真正長期穩定運行，Token成本持續下降，智算中心能否保持足夠高的利用率，以及客戶是否愿意不斷續費。

對商湯大裝置來說，他們希望，“最懂大模型的AI基礎設施”不只是一句定位，而是把它能翻譯成一筆清晰的經濟賬：每一張卡、每一個機柜和每一度電，最終能夠變成有多少人愿意付費的高質量Token。