北京
650TOPS算力、5nm制程、支持100B參數(shù)模型本地運(yùn)行。一家名為Acrab的初創(chuàng)公司，扔出了自己的首款邊緣AI芯片，直接對標(biāo)蘋果M4 Pro。
這款芯片名為GΞLIX 1 SoC，采用異構(gòu)設(shè)計(jì)，集成了20核Arm CPU、3TFLOPS GPU和NPU等一系列音視頻引擎。芯片的緩存配置相當(dāng)激進(jìn)——8MB的大型L1緩存，共享L2緩存帶寬達(dá)到768GB/s，此外還配備了256-bit 8533T/s的LPDDR5X共享內(nèi)存。
最值得關(guān)注的是它的推理性能。Acrab在GΞLIX 1上通過矢量硬件對注意力機(jī)制做了加速，并針對預(yù)填充環(huán)節(jié)專門優(yōu)化，以此降低首Token的延遲。
在配備40k KV緩存、10k Token輸入的Gemma 26B A4B配置下，GΞLIX 1實(shí)現(xiàn)了1416.8 Token/s的預(yù)填充速率。Acrab給出的參照系是：這個(gè)數(shù)字是蘋果M4 Pro Mac Mini的7.5倍。
芯片之外，Acrab還為GΞLIX 1搭建了完整的軟件堆棧和智能體參考設(shè)計(jì)，并基于該芯片打造了第一方終端設(shè)備Agent Box。這家初創(chuàng)公司顯然不只是想賣硅片，而是要從芯片到終端一攬子把邊緣AI的活兒全接了。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
