端側大模型成了剛需，芯片準備好了嗎？

來源 | 36氪（ID：wow36kr）

端邊芯片的競爭，才剛開始。

文｜曉曦

在2026 WAIC現場，我們觀察到： 大模型的能力，正在從互聯網和聊天框里走出來。

兩年前，行業對大模型的所有想象幾乎都在云端：參數越大越好，集群越強越好，誰在數據中心里堆的GPU多，誰就是贏家。其實，這套邏輯到今天也沒有錯，但它只講對了故事的一半。

至于另一半，在云端之外，正在安靜地發生。

Agent到來以后，人們發現，推理任務開始離開數據中心，沉淀到了PC本地、手機本地、機器人的大腦里，以及更多叫不出名字的終端設備中。終端形態各異，面對的是同一個“不可能三角”：功耗只有幾瓦，成本卡在幾十美金，客戶卻要求它們跑得動幾十億甚至上百億參數的模型。

芯片行業過去十年沒解過這種題，因為云端的規則是推高天花板，算力強者通吃。而端邊要做的是，在物理規則的鐵籠子里，把大模型推理的效率逼到極致。

這道題，重寫了端邊AI芯片的競爭規則。

大模型，正在走向端邊

為什么端邊大模型“一夜之間”就成為了大勢所趨？

最近一段時間，黃仁勛反復在講一個判斷：推理算力需求大約要增長一萬倍，Token會成為新的計量單位。

數字本身不是重點，量級的變化才是。推理一旦變成如此高頻、持續、與賬單直接關聯的行為，全走云端在成本上也就會越來越荒謬。一次推理調用花不了幾個錢，但一天幾億次會是一筆很驚人的賬。

新的推理量級造就的成本壓力，會把越來越多的計算推向端邊。

中國市場對這件事的反應比海外更快，大量應用方案公司已經在找芯片廠商，要求做本地加云端的混合方案。法律、金融這些垂直行業的需求尤其具體，對數據隱私和計算延遲要求更高，對生產力工具迭代的嗅覺也更敏銳。

相比驗證概念，市場更需要的是能跑通、能量產的交付級產品。而站在芯片公司的視角下，水溫的變化正在于此：適配端邊大模型的AI芯片，很快就會成為一批批真實的訂單。

一家深圳公司提供了一個樣本，他們搭了一個端云混合的Agent平臺，上面跑著各行業的智能體，用于日常運營，用一套算法動態分配任務，實時判斷哪些走本地，哪些上云端。系統跑了一段時間之后，結論是：80%左右的任務在本地完成，只有20%走云端，平臺還會自動統計客戶省下了多少Token費用。

這個數字說明了一件事：大量智能體的工作流程，本地算力完全可以承載，而且無論是終端設備還是更好的AI芯片，客戶購置本地算力都只需要一次性消費，云端的token賬單卻要按用量、按月計費。

經濟賬一旦跑通，遷移就是不可逆的。

成本只是第一層，延遲是第二層。端側推理能做到毫秒級響應，云端推理則要受制于網絡環境，對于需要實時交互的Agent來說，延遲是會破壞任務的硬傷。

隱私是第三層讓端邊大模型走向舞臺中心的因素，數據即資產的認知越來越普遍，本地處理意味著照片、文件、視頻數據始終留在本地設備里，不但安全，而且離線可用。

也就是說，端邊大模型可以聯網獲取外部信息，但本地數據和處理能力是留在本地的，斷網也能跑。對于不少需要在網絡死角運行的工業設備和移動終端來說，安全可離線是數字化的生死線。

幾層變量疊加在一起，揭開了端邊大模型價值升維的真正原因：大模型的價值錨點，正在從知識密度轉向行動密度。

一個會聊天的模型，只要云端的算力和數據就夠了，而一個會做事的模型，由于推理頻次和持續性大幅上升，帶來了更顯著的成本和安全問題，必須往安全、靈活、可控的端邊走，所以端邊的比例只會越來越大。

未來，主流解決方案的端云比例具體是多少不重要，但背后的邏輯很清楚：本地推理能滿足的場景，肯定先用本地；本地做不了的，再上云端。

與此同時，端邊化的趨勢也給硬件端拋出了一道新難題：云端芯片比的是一力降十會，算力即正義，而端邊的游戲，競爭規則不一樣，比的是另一種本事。

走向端邊大模型的AI芯片，逃不開的一個入局門檻是，如何解開那個“不可能三角“：即能力要求越來越高，要跑更大的模型、更快地處理任務，功耗卻只有幾瓦，成本卡在幾十美金。

性能、成本、功耗，三個約束彼此咬合，放棄任何一個，都會讓端邊大模型失去實用的魅力。

新的終端，新的解法

把這個“不可能三角”從幕后推到臺前的，是一批跟過去完全不同的終端。

過去幾年，AI在終端上的角色很輕。比如給手機加個修圖優化，給PC加個語音助手，于是前幾年早早地就出現了AI PC這個品類。芯片廠商們的應對措施也是輕量級的，Intel在Panther Lake里塞一點GPU或NPU，高通在驍龍里集成一個 NPU，屬于對PC品類的錦上添花。

但從2025年開始，新的設備形態開始冒頭。

“它們長得不像任何你見過的電腦，可能更像雞蛋、像花瓶、像路由器。”一位芯片創業者描述客戶樣機的時候，用了這么幾個比喻。

但共同點是：它們不是“為人”設計的，是為了AI和Agent而設計的原生硬件。所以不需要觸控、鍵盤，不需要人坐在前面操作，可能也沒有屏幕，但可以做到語音和多模態交互，7×24小時不間斷運行。它們的存在理由只有一個，就是讓AIagent有一個物理的、持續在線的身體。

這些設備有一個剛熱起來的名字：Agent Computer。

聯想今年初在拉斯維加斯Sphere發布了全球首款個人超級智能體Qira，英偉達從DGX Spark一路推到RTX Spark。兩家巨頭的動作指向同一個方向：讓Agent Computer從一個概念成為一個真實的硬件品類。

WAIC現場：聯想AI主機P7

但最終能夠決定這個品類主流形態的，可能不是PC廠商，也不是芯片廠商，而是應用場景。

單就通用性較強的家庭場景和企業場景，目前完全是“兩撥人”在做兩套不同的設備。家庭要的是中樞大腦，比如放在客廳，調控燈光、記憶對話、監管老人孩子的看護；企業要的是生產力工具，跑法律文書、數據分析、代碼審查。

同一家硬件廠商很難把這兩套思路一起做透，同一個芯片架構要覆蓋這兩種需求，也絕非易事。這也就意味著，端邊終端市場天然就是碎片化的。

而終端形態的變異和碎片化，也進而倒推了AI芯片的定義。

一個不間斷承載Agent任務的設備，對本地算力的要求跟過去跑一個本地模型完全不同，它需要獨立的、能力足夠強的NPU，要大帶寬、大存儲容量，能處理長上下文的復雜任務。單個任務可能要跑半個小時甚至更久，中間不能斷。

新終端把不可能三角削得更尖了。所有AI芯片玩家面對的是同一道題，必須把效率做到極致，這一點沒有爭議。但解法在明顯分化。

高通和蘋果走的是SoC延展路線，在原有ARM架構上加NPU，好處是生態成熟，幾十億設備已經在跑了，但改良的天花板就在頭頂上。常規架構哪怕堆到3納米、2納米的先進工藝，遞減的制程紅利也帶不來質變。

英偉達從GPGPU往下延伸，算力儲備不是問題，但三十年的CUDA生態既是護城河也是歷史包袱，帶著一整套為云端訓練優化的架構往端邊挪，跟背著一座山下山差不多。

在巨頭們的路徑分野之間，出現了第三條路：存算一體。

存算一體的本質是從架構層面重新設計，把計算和存儲的物理邊界打破。傳統芯片的瓶頸在于數據在計算單元和存儲單元之間來回搬運，功耗和時間都耗在路上，存算一體的解法是直接在存儲單元里做計算，搬數據的開銷被壓到最低。

相比生態延展的路線，這條新路前期走得會更慢、更難，要一遍遍test chip，解決沒人碰過的量產問題。但優勢在于，新架構的效率優勢是結構性的，天花板上限也會更高。

押注這條路的芯片玩家不多，正是因為海外巨頭舍棄不了生態游戲，在敢于做架構創新的廠商里，國產玩家的身位反而很突出。成立于2020年底的后摩智能，算是其中跑得更早、存算一體路線更堅決的一家。

到了端邊大模型和Agent Computer這個時間拐點，芯片廠商的起點基本一樣。不像做手機基帶，或者云端訓練芯片，海外已經領先了十年。端邊芯片的競爭中，國產并非完全沒有先發優勢，反而有機會在量產和行業落地的速度上，拿到身位的先機。

端邊芯片的競爭，才剛打響

端邊AI芯片是一條剛拉開的賽道，而選手已經在加速進場。

目前的格局大致可以分三類：高通和蘋果這類SoC巨頭，生態成熟，出貨量巨大，但端邊大模型對他們來說還是增量需求，改良基因決定了能力上限。高通最近也在做獨立NPU，說明它自己都清楚，集成方案不夠用了。

英偉達憑借GPGPU的算力勢能從云端往下走，1 PetaFLOP的AI算力扔到消費級設備里，火力是夠的，但端邊的功耗和成本約束，是英偉達過去三十年幾乎不需要嚴肅對待的問題，卻也是當下真金白銀的市場需求。

第三類則是像后摩智能這樣專注端邊的新玩家，缺點是量產經驗和生態還不足，但與此同時也沒有歷史架構包袱，可以直接從終端的真實需求出發重新設計芯片。

顯而易見，最適合創業公司扎堆的第三類路徑，戰略決策更值得解構。

以存算一體路線切入端邊大模型的后摩智能，就是一家典型的“戰略決定身位”的公司，創始人吳強早在2023年下半年就做出了一個判斷：大模型會從云端往端邊遷移。

當時，Agent還沒有出現，這個判斷可以說沒有太多證據。大模型的主戰場還在云端，國內六小龍都在卷參數和集群規模。存算一體作為架構路線，做端邊大模型有點像“橫著切了一刀”。

但吳強盯住了兩個信號：智譜出了6B模型，Llama出了7B模型，大模型不再是幾百B參數巨獸的專利，小模型也能跑出實際可用的效果，在很多場景中避免“大炮打蚊子”。

團隊拿存算一體架構試跑了一下本地大模型，跑得相當好。既然如此，提前布局端邊大模型，對于做存算一體起家的后摩來說，就成為了一件順理成章的事。

這個預判在兩年后得到了密集驗證。2025年DeepSeek R1橫空出世，端側部署大模型的技術門檻也被大幅拉低；2026年Agent一波落地爆發，大量硬件公司涌入做Agent Box、Agent Computer，ToC、ToB、To家庭的都有，而以上所有硬件廠商都需要解決一件事：找性價比最高、能量產的芯片。

后摩因為提前兩年做了布局，吃到了第一波紅利：因為市場上當時能選的成熟方案不多，戰略和技術路線上的先發優勢，實實在在地轉化成了客戶和訂單。

產品性能層面，后摩漫界M50用存算一體做到160 TOPS，功耗約10瓦，單芯片能跑35B到120B參數的模型，覆蓋AI PC、機器人、邊緣推理等場景。半年到一年前左右，端邊芯片還只能跑7B模型，今天已經可以跑到120B的參數，重新標定了端邊的能力邊界。

WAIC現場：后摩漫界M50

另一個佐證是，后摩漫界M50已經走到量產級。在AI PC方向，后摩先后進入了聯想和長城的供應鏈：聯想AI主機P7搭載M50全球首發，長城N90 Pro也用M50打出了端側算力的賣點；操作系統層面，后摩漫界M50完成了與銀河麒麟操作系統V11的深度適配；在端邊大模型這條賽道上，后摩還與中國移動達成了鏈長生態層面的合作，客戶場景正在從Agent Computer向具身機器人、端邊推理和智能移動終端延伸，量產訂單已經開始轉化。

WAIC現場：長城N90 Pro筆記本

不過，雖然從芯片巨頭到帶著新架構加速入場的創業公司，都已經給出了自己的解法，但再把視角拉遠一點，端邊AI芯片的競爭還處于早期，接下來可以分成兩個階段來理解。

第一個落地階段，比的是效率，也就是誰能在功耗、成本、面積的物理約束下，把大模型本地推理的能效推到極致，這是硬碰硬的工程能力比拼，花架子和長期敘事在這個階段沒有用。

而再往遠看，在效率也逐漸收斂之后，第二個階段比的就會是生態和場景適配。也就是說，回到了英偉達的舒適區，考驗的是誰的工具鏈更完整，與主流模型框架的適配更順滑，更快地幫客戶把方案跑起來，長期來看仍然能拉開越來越大的差距。

在第一階段，存算一體因為從架構層動了刀，天然在效率和功耗上有結構性優勢，但這個窗口期也不會一直持續下去。好在，國產廠商在這條賽道上的起點和海外是平的，以后摩來說，憑借架構的獨特性和提前布局，在國內外都具備站進第一梯隊的條件。

但行業也清楚，端邊大模型現在還處在向行業價值過渡的時期。AI NAS怎么做，home center怎么做，企業端的推理設備怎么做，大部分人都在摸索，中間一定會有起伏，也一定會出現大量掉隊的人。

2023年，大家還只有一點Agent的概念，到了2025、2026年至少看到了場景，而從看到場景到規模化落地，中間還有一段長路要走。

未來兩年，端邊場景里一定會跑出Killer App，會孵化出大模型原生的應用形態。生產力工具、更聰明的智能家居和情感陪伴可能最先跑通閉環，面向大眾的普惠應用則是下一步。

不過，就像移動互聯網時代才出現了美團、滴滴和抖音，我們當下其實很難真正想象，未來能改變人類生活甚至就業方式的主流應用會長什么樣，經濟價值又會是如何滾動起來的。

在這場競賽里，芯片是基礎設施。先落地、先跑通的算力底座，就能拿到下一階段的入場券。

本文首發于“36氪”，中國領先的新商業媒體，提供新銳深度的商業報道。

更多干貨分享敬請注我們的公眾號與視頻號~超多精彩對話內容等待您的解鎖！