1792TOPS算力！國產AI芯片暴降token成本，CEO揭秘4大技術訣竅

芯東西（公眾號：aichip001）
作者 ZeR0
編輯 漠影

芯東西7月10日報道，近日，杭州AI芯片公司中昊芯英發布第二代全自研高性能TPU芯片須臾，混合精度浮點算力達896TFLOPS，性能是上一代剎那芯片的3倍，8-bit推理算力達1792TOPS，額定功耗600W，相比算力性能持平的傳統算力芯片，功耗降低50%，執行同等AI任務時綜合計算效能可達傳統GPU架構的數倍。

在集群部署層面，搭載須臾芯片的智算平臺泰則2.0，通過自研的低延遲高并行片間通訊協議，單個超節點可實現2048片須臾芯片直聯，并可拓展搭建萬卡超大規模集群，承載萬億參數大模型分布式訓練、多智能體協同運算、全平臺海量token并發推理等重負載業務。

圍繞最新發布的須臾TPU芯片，中昊芯英創始人兼CEO楊龔軼凡與芯東西等媒體進行深入交流，分享了更多技術細節和產業思考。

中昊芯英成立于2018年，是國內最早投身于TPU架構AI專用算力芯片研發的企業之一。楊龔軼凡回顧說，從創業之初，中昊芯英就確立了“把TPU架構做成AI界的x86”的目標，希望推動TPU成為AI領域通用底層架構，對標CPU領域x86架構，打造全行業通用AI計算標準。

他告訴芯東西，中昊芯英的產品系列命名“剎那”、“須臾”取自中國傳統時間計量單位，希望打造融合中國傳統文化與前沿半導體科技的企業文化。須臾芯片已完成基礎數據測試，完整軟件適配正在推進，整體性能對標海外先進的GPU與TPU，表現不落下風。

目前中昊芯英已完成MiniMax、智譜等國產主流大模型適配，在現階段多個落地場景中，單位美元token產出性價比超過海外頭部GPU，單位token成本數據在國內同類芯片中具備領先優勢，未來會推進芯片與模型廠商深度芯模聯動和調優，進一步提升性價比。

據楊龔軼凡透露，中昊芯英會提前根據業務預判鎖單備貨，二代芯片須臾早已進入量產階段，已有批量產品完成交付。

須臾的PPA核心是平衡性能+芯片面積，不以功耗為首要優化目標，設計目標是大幅壓低單位token成本，從一代到二代直接減半，后續迭代有望降到原有的1/10。

“優先拉高算力、降低單百萬token硬件采購成本，對商業化落地的價值遠高于單純降功耗。”楊龔軼凡說。

他談到當前行業GPU整機采購成本占三年綜合運營成本70%-80%，能耗僅占20%，而中昊芯英的TPU產品采購與能耗成本比例約7:3，可將芯片性能提升1.5-2倍，能耗又可降低20%-30%，因此更具市場競爭力。

現階段，中昊芯英側重國內市場，研發優先級是先解決智能體落地痛點，再推進超大模型訓練、視頻算力、萬卡超大規模集群等中長期目標。

一、三大維度定制優化TPU：計算流水線、片間互連、PD分離架構

楊龔軼凡談道，須臾芯片專門針對長上下文做底層架構適配，目標原生穩定支撐百萬token完整上下文。從客戶內測反饋來看，其整機綜合性能實現3倍以上提升，同時芯片售價僅小幅上調，百萬token推理性價比實現2倍以上提升。

據他分享，相比上一代剎那芯片，須臾芯片在通信、存儲、計算三大維度做了TPU專屬定制優化，所有創新設計邏輯僅適配張量脈動架構。

（1）計算流水線優化：傳統矩陣乘加計算會存在大量等待空泡（Bubble），前序計算未完成、后序流程只能閑置。須臾芯片重構全鏈路計算流，針對多批次矩陣并行乘加做深度優化，通過調整參數、特征數據流調度邏輯，大幅降低產生空泡的場景條件，實現多階段并行無等待執行，消除絕大多數數據依賴造成的空泡，單計算單元硬件利用率大幅提升。

（2）片間互連通信升級：優化芯片之間、芯片與主機之間傳輸鏈路，降低通信延遲、拓寬有效帶寬；對比一代，片間傳輸效率顯著提升，綜合算力實現3倍增長。

（3）存儲體系擴容與重構：從硬件層面緩解存儲墻壓力，在軟件棧原生支持Prefill-Decode（PD）分離推理架構。芯片KV Cache緩存命中率、重復計算削減能力作為核心指標，是二代芯片PD分離架構的重點優化方向。芯片底層配套專用硬件加速單元，當海量輸入token流入時，大幅提升KV Cache緩存命中率；緩存命中后可重復復用歷史計算結果，省去重復矩陣運算，進一步壓低整體算力開銷，拉升并發吞吐。

楊龔軼凡解釋說，TPU天生面向大模型矩陣乘加、Attention算子做數據流優化，數據復用率遠高于通用GPU，重復內存讀寫開銷大幅削減，同等算力輸出僅消耗80%的功耗，這是整機能效領先的核心根源。

他進一步拆解了中昊芯英TPU和通用GPU優化思路的區別：GPU迭代會優先調整時鐘頻率、晶體管密度、低功耗器件（ULVT）做功耗平衡；而TPU還有海量未挖掘架構創新空間，現階段中昊芯英優先堆算力特性，將功耗優化放在次要位置，即便二代須臾芯片選用高功耗ULVT晶體管，TPU原生張量計算架構的先天能效依舊優于GPU，不用像GPU一樣耗費大量研發資源反復權衡功耗、面積、性能三者平衡，研發與流片成本更低。

等未來TPU架構創新空間挖掘充分后，中昊芯英才會精細化做PPA功耗面積平衡調優。

先進封裝方面，中昊芯英從第一代剎那TPU芯片起就完整落地了Chiplet芯粒架構。楊龔軼凡稱，其整套Chiplet集成方案的復雜程度“遠高于同行業”，完整走完落地驗證路徑，也為國內TPU產業沉淀了整套自主工程化知識體系。

“如果沒有我們初代產品率先打通這套高難度芯粒分層集成路線、落地量產驗證，國內TPU整體產業化研發、落地進度會大幅滯后，”他談道，“我們在多裸片先進封裝、多芯粒協同領域的工程實踐，為國內專用算力芯片行業提供了完整可復用的技術參考。”

二、拆解智能體AI芯片四大升級路徑，TPU將放大性價比優勢

針對智能體任務需求，楊龔軼凡總結了AI芯片的四大重點優化方向：

（1）PD分離專用硬件架構：推理場景下預填充、解碼計算邏輯差異極大，未來會推出專用細分芯片分別承載兩類計算任務，分開優化后整體性價比能大幅提升，這是通用GPU架構很難靈活實現的設計思路。中昊芯英已完成PD分離硬件適配，可實現1顆Prefill芯片搭配1-2顆Decode芯片協同工作。

（2）超大模型分布式集群互聯優化：當前商用智能體模型參數普遍達到600B、800B級別，參數規模不足就無法覆蓋復雜商業場景。單顆芯片算力上限固定，想要支撐超大模型需要搭建千卡、萬卡甚至十萬卡分布式集群，芯片間高速互連、低延遲通信會成為持續迭代重點。

（3）低精度推理硬件原生加速：傳統計算普遍采用FP32精度，未來推理場景會大規模普及FP8、FP4低精度計算，TPU架構會配套專屬計算單元適配低精度運算，進一步壓縮算力開銷。但低精度計算對存儲帶寬要求極高，普通DDR、LPDDR帶寬無法匹配，必須配套高帶寬存儲方案。

（4）超大片上存儲架構設計：超大片上內存能夠大幅提升KV Cache緩存命中率，高效釋放存儲帶寬。中昊芯英TPU片內存儲容量對比通用GPU有量級優勢，差距接近數倍，未來會進一步拉開差距。

在楊龔軼凡看來，經過長期迭代，GPU存儲、計算配比已固化，相關硬件架構、軟件棧的優化空間基本被挖掘殆盡，后續行業升級基本只依托先進制程、新型存儲、新型半導體器件做微小調整，底層核心架構很難再做顛覆性革新。

同時，完整CUDA軟件生態已成為GPU廠商最堅固的護城河，也是全行業切換技術路線最大的門檻，后來者很難實現彎道超車。

這也是為什么中昊芯英自成立起就選擇布局TPU賽道。

楊龔軼凡解釋說，TPU架構天生面向大模型高并發張量計算做深度定制優化，在同等制程、同等硬件成本前提下，運行主流深度學習模型時，綜合性能可達通用GPU的3-5倍，如果再結合針對特定模型網絡的專屬算子調優，性價比優勢會進一步放大。

作為新興專用張量架構，當前TPU仍有大量待挖掘的技術空白，硬件架構高度依賴產品流片、量產迭代來驗證創新思路，硬件優化空間充足。中昊芯英計劃在每一代芯片迭代中新增專屬硬件特性，持續拉升算力與能效。

楊龔軼凡相信，只要AI產業持續擴張、Transformer與Attention算子仍是大模型底層核心計算單元，那么TPU架構的行業價值就會持續放大，相比通用GPU擁有更大的性能、性價比提升想象空間，這也是當下推理、智能體爆發階段TPU差異化壁壘不斷凸顯的核心根源。

配合PD分離架構落地后，TPU的性價比優勢還會進一步放大。

雖然專用TPU的開發適配流程更為繁瑣，但楊龔軼凡判斷，只要長期綜合性價比更高，企業大多都愿意選用，這給TPU賽道打開了巨大成長空間。

三、軟件生態，國產算力芯片廠商的共同痛點

楊龔軼凡認為，完整軟件生態是當前國產AI芯片產業面臨的最大瓶頸。

芯片硬件流片量產周期可控，但配套算子庫、開發工具、模型適配全鏈條搭建需要3-5年甚至更久打磨。

現階段大模型、智能體商業化落地會在一定程度上降低生態適配門檻，但想要從“芯片可用”進階到“好用、低成本”，持續優化算力性價比，仍是國內自研芯片廠商長期核心攻堅難點。

通用GPU擁有二十年積累的成熟軟件生態，而中昊芯英TPU軟件棧搭建周期僅一年半，差距客觀存在，仍有很長的優化之路要走。

在落地過程中，中昊芯英發現軟件生態搭建難度遠高于硬件集群搭建，完整軟件棧、算子適配、工具鏈打磨需要海量自有算力持續迭代。該公司正在通過各類創新手段持續優化，逐步縮小差距。

楊龔軼凡相信，在行業進入大規模商業化落地階段后，客戶決策核心會回歸單位token性價比。“國內芯片廠商不需要像英偉達一樣對全球所有模型做到很好適配，只需把國內幾十家主流大模型廠商的產品做深度專屬調優，就能在本土場景實現顯著成本優勢。”

他強調中昊芯英不會打造封閉獨立軟件生態，將堅持全面擁抱開源，兼容全球主流開發平臺，力求最大限度降低企業適配負擔。

結語：降低token算力成本，一場中長期攻堅戰

算力成本對AI商業化落地至關重要。進入批量落地、持續對外提供服務的商業化階段，企業首要訴求會轉變為控制算力成本。楊龔軼凡稱，深度芯模協同、持續降低訓練與推理成本會是中昊芯英中長期核心合作方向。

面對上游供應鏈漲價、產能緊缺等行業沖擊，他透露中昊芯英會從芯片研發、產品設計、供應鏈管理、運營模式、財務統籌等多維度探索創新解法，降低客戶長期token算力使用成本。

其具體應對策略包括通過芯片架構升級提升性能、用高規格物料長期攤薄綜合成本、通過提前備貨平抑原材料價格波動等。

對于未來token價格變化，楊龔軼凡預測高時效復雜任務Fast Token定價將持續走高，而離線批量推理任務Slow token依托芯片架構優化、規模化集群攤薄成本，價格會不斷走低。

“長遠來看，大模型甚至可以自主完成軟件遷移、算子開發等工程工作，進一步降低企業人力與算力雙重開支。”楊龔軼凡說。