7月19日,2026年世界人工智能大會(huì)正在進(jìn)行中,高通公司全球副總裁、中國區(qū)研發(fā)負(fù)責(zé)人、IEEE Fellow徐晧博士出席“端側(cè)AI創(chuàng)新和行業(yè)發(fā)展論壇”,并發(fā)表《智能體AI時(shí)代:計(jì)算架構(gòu)與模型效率的持續(xù)創(chuàng)新》主題演講。
徐晧博士指出,端側(cè)的AI應(yīng)用擁有非常廣闊的前景,并系統(tǒng)性闡述了智能體浪潮對(duì)終端計(jì)算架構(gòu)帶來的范式變革。他指出,隨著手機(jī)使用場景從單輪對(duì)話邁向多輪交互、再邁向智能體調(diào)度,設(shè)備所需的Token處理量正以十倍量級(jí)遞增——從一萬、十萬到百萬級(jí),因此端云協(xié)同處理十分重要。為此,高通針對(duì)持續(xù)運(yùn)行始終在線工作負(fù)載、持續(xù)的傳感器數(shù)據(jù)處理和系統(tǒng)性協(xié)同需求,面向智能體AI打造新一代設(shè)備架構(gòu),并與面壁智能等合作伙伴持續(xù)推動(dòng)在端側(cè)模型領(lǐng)域的合作。
![]()
以下是演講全文;
非常高興和大家分享高通在端側(cè)AI方面所做的硬件,軟件,算法和系統(tǒng)開發(fā)以及生態(tài)合作。
這支視頻帶我們簡單回顧了我們使用手機(jī)這一終端的方式,從最開始簡單的交互,到今天支持智能體的手機(jī)。同樣,能夠運(yùn)行智能體的終端品類多種多樣,從最小的智能耳機(jī)到千瓦級(jí)的數(shù)據(jù)中心,高通不同的硬件平臺(tái)可以為這一系列的智能終端提供支持。很早之前,我們就注意到面壁在端側(cè)的布局,我們雙方有很多的契合點(diǎn)。
接下來,我們看一下為什么端側(cè)這么重要。這里呈現(xiàn)的是一個(gè)簡單的統(tǒng)計(jì),可以看到不同終端的市場規(guī)模在幾十億量級(jí)。大多數(shù)人現(xiàn)在都很注重?cái)?shù)據(jù)中心這類大規(guī)模訓(xùn)練,但實(shí)際上端側(cè)的AI應(yīng)用也擁有非常廣闊的前景。
可以看到,手機(jī)從簡單的單輪對(duì)話、到多輪對(duì)話,再到運(yùn)用智能體,其所需的token量是以十倍量級(jí)往上增加的,從一萬、十萬到百萬級(jí)。比如,在手機(jī)端使用龍蝦或者智能體要用到的token數(shù)量非常之大,現(xiàn)階段是端云結(jié)合的解決方案,端側(cè)小模型處理隱私性強(qiáng)需要實(shí)時(shí)處理的任務(wù),云端處理深度推理和規(guī)劃。將來越來越多的模型處理會(huì)在端側(cè)來減少對(duì)數(shù)據(jù)傳輸和云端token運(yùn)算的需求。
剛剛面壁的同事也介紹了,端側(cè)模型在未來一至兩年內(nèi),可以達(dá)到與幾十倍算力的云端模型同樣的功能,并且這個(gè)趨勢(shì)還在不斷發(fā)展,越來越多的大模型將遷移到端側(cè),以小模型的形式出現(xiàn)。隨著硬件算力的不斷提高,這些模型在端側(cè)也將能夠輕松運(yùn)行。
我們看一下,從端側(cè)硬件設(shè)計(jì)的角度來看,有哪些最重要的設(shè)計(jì)難點(diǎn)。
第一,在打造智能體手機(jī)時(shí),我們需要出色的任務(wù)規(guī)劃,我們通過全新的CPU來做任務(wù)規(guī)劃和控制。
第二,需要隨時(shí)隨地處理傳感器信息。以前的手機(jī)只是用戶給它指令讓它執(zhí)行任務(wù),它不需要24小時(shí)判斷你在干什么或者你需要什么。但是智能體手機(jī)需要主動(dòng)幫助你、告訴你需要做什么,需要隨時(shí)感知你在什么地方,比如它感知你現(xiàn)在在大會(huì)現(xiàn)場,它可以幫你自動(dòng)靜音;比如它感知你進(jìn)入座艙,它會(huì)自動(dòng)調(diào)節(jié)成你喜歡的溫度和座椅位置。這都需要有出色的低功耗傳感器處理。傳感器中樞會(huì)對(duì)大量的傳感器做有效地處理和融合,來精確地感知環(huán)境,給智能體提供決策信息。
第三是NPU,來提供強(qiáng)大的模型運(yùn)算功能。我們會(huì)做一系列的模型適配和優(yōu)化,有效地利用NPU高效張量計(jì)算能力來處理2B到3B量級(jí)的模型在手機(jī)端側(cè)地運(yùn)行。
此外,還需要有出色的5G或6G連接。現(xiàn)在大部分智能體的功能是在云端運(yùn)行的,因?yàn)樾枰罅克懔ΓS著越來越多的模型在端側(cè)運(yùn)行,需要端側(cè)、云端和邊緣云的協(xié)同處理,出色的無線連接功能可以把端側(cè)的算力和云端的算力無縫連接。
接下來讓我們看看,高通如何帶來最有效的硬件支持。首先是高通傳感器中樞,它能夠?yàn)橹悄荏w提供更多數(shù)據(jù),24小時(shí)在線了解關(guān)于你的所有信息,為大語言模型或端側(cè)模型的輸入提供情境感知,打造個(gè)人知識(shí)圖譜。另一方面,我們的NPU可為端側(cè)提供強(qiáng)勁算力,例如剛才提到的20億、30億參數(shù)mini CPM大模型,都能在端側(cè)流暢運(yùn)行。
這是高通最新的旗艦移動(dòng)平臺(tái)第五代驍龍8至尊版,今年我們還將推出更強(qiáng)大的移動(dòng)平臺(tái),來支持所有的端側(cè)運(yùn)算;我們的座艙芯片也具備強(qiáng)大算力,可支持更大規(guī)模的模型,在車上穩(wěn)定運(yùn)行百億以上的參數(shù)大模型。
從應(yīng)用以及模型的角度來說,我們已經(jīng)完成從最初的感知AI,到現(xiàn)在的生成式AI和智能體AI的迭代,下一階段我們將重點(diǎn)推進(jìn)物理AI,實(shí)現(xiàn)從小模型向多功能大模型的轉(zhuǎn)變。我們?cè)谒惴ǚ矫嬉沧隽艘幌盗械哪P驮诙藗?cè)的適配,比如模型壓縮和量化,長上下文的處理和增強(qiáng),以及端側(cè)模型的不斷學(xué)習(xí)(on device learning)。
最后是從車到機(jī)器人的演進(jìn)過渡,一方面我們要將二維的規(guī)劃,升級(jí)為對(duì)三維真實(shí)世界的理解;另一方面是針對(duì)更多、更復(fù)雜的應(yīng)用場景進(jìn)行優(yōu)化與設(shè)計(jì)。這是我們從汽車芯片到機(jī)器人芯片領(lǐng)域需要開展的一系列開發(fā)工作。
高通與面壁在手機(jī)和車等方面已經(jīng)有很多深度合作。我們也非常期待未來聯(lián)合面壁及在座的各位合作伙伴,共同推進(jìn)智能手機(jī)和多種智能終端在端側(cè)的應(yīng)用和發(fā)展。謝謝大家。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.