谷歌被曝要把Gemini“寫進”芯片？推理能效最高提升10倍

智東西
編譯 茄子
編輯 程茜

智東西7月21日消息，昨日，The Information援引知情人士消息報道，谷歌正在研發一款面向Gemini模型的新型AI服務器芯片Frozen v2。該芯片計劃將Gemini模型部分架構直接集成到芯片中，通過減少運行過程中的計算決策和數據搬運，提升AI推理效率。

知情人士透露，谷歌工程師預估，按照單位功耗能夠輸出的Token數量計算，Frozen v2的效率可能達到谷歌最新自研AI芯片的6至10倍。

這款芯片在谷歌內部被非正式地稱為“Frozen v2”。知情人士稱，谷歌希望借此緩解嚴重的AI算力短缺問題。算力緊張已經在谷歌內部引發矛盾，還迫使谷歌云拒絕部分外部客戶的訂單。

知情人士還透露，谷歌最快可能于2028年部署這款芯片，但該公司目前仍在確定Frozen v2的主要功能、各部分的協同方式，以及究竟要將多少模型信息固化在芯片中。

The Information還提到，Frozen v2并非谷歌首次探索模型專用芯片。此前，谷歌DeepMind首席科學家杰夫·迪恩（Jeff Dean）曾計劃將模型權重直接固化到芯片中，但由于該方案的芯片只能適配特定版本模型、生命周期過短，最終被擱置。

一、把Gemini部分邏輯寫入芯片，減少芯片數據搬運

當前主流AI芯片大多強調通用性和可編程能力，如英偉達GPU能夠支持多種AI模型和計算任務。這類芯片需要支持多種不同AI模型，因此在運行過程中需要根據模型需求完成大量計算調度和決策。谷歌TPU也類似，雖然它針對AI進行了優化，但也需要兼顧不同模型運行需求。

而Frozen v2采用了不同思路。據爆料，谷歌計劃將Gemini模型部分信息直接“固化”到芯片中，讓硬件提前了解模型運行方式，從而減少執行過程中的決策步驟，以及芯片內部的數據移動。

簡單來說，傳統GPU更像一臺能夠運行各種軟件的通用計算設備，而Frozen v2則更接近針對Gemini優化的專用硬件。這種設計可能帶來更快的響應速度，并幫助谷歌降低Gemini模型運行成本。

不過，模型專用化也意味著更強綁定。如果未來Gemini模型采用新的底層架構，那么Frozen v2可能無法直接適配。谷歌因此仍需要在芯片效率和模型靈活性之間尋找平衡。

據知情人士透露，谷歌目前仍在決定Frozen v2中應該固定多少模型信息，以平衡性能提升和未來兼容能力。谷歌發言人在一份聲明中稱，研究團隊一直在研究和試驗新的技術，以提高面向用戶和客戶的系統性能與效率，并非所有研究項目都會投入生產，但這些探索是谷歌全棧技術路線的重要組成部分。

二、推理芯片競賽升溫，初代Frozen方案曾被擱置

過去幾年，AI基礎設施競爭圍繞訓練展開。大規模模型訓練需要大量GPU集群，英偉達憑借GPU生態占據主導地位。The Information去年12月報道，英偉達去年12月通過一筆價值200億美元（約合人民幣1353億元）的交易，獲得了AI推理芯片創企Groq的相關技術授權。

包括SambaNova、d-Matrix、OpenAI和微軟在內，多家公司都在開發AI推理芯片。這些公司的共同目標，是以比英偉達GPU更高的效率運行AI模型，緩解算力短缺并降低成本。

與此同時，加拿大芯片創企Taalas也采取了谷歌類似思路，將特定AI模型直接硬編碼進芯片。Taalas目前已經獲得超過2億美元（約合人民幣13.5億元）融資，投資方包括Quiet Capital和富達投資。

據The Information透露，Frozen v2此前還有一個更激進的版本。由谷歌DeepMind首席科學家杰夫·迪恩主導的初代Frozen方案，曾計劃直接將模型權重固化到芯片中。

但這種設計會讓芯片只能運行某個特定版本的Gemini。一旦模型更新，芯片便可能迅速失去使用價值。由于預期生命周期過短，谷歌最終擱置了初代方案。

據知情人士透露，Frozen v2不再固化完整模型權重。但谷歌目前仍在評估應該鎖定多少模型信息，以平衡靈活性與運行效率。

三、Frozen v2并非取代TPU，谷歌先將其作為技術試驗

雖然Frozen v2受到關注，但知情人士透露，谷歌并沒有計劃用它替代TPU。據報道，Frozen項目旨在建立一條區別于TPU的新型自研芯片路線。

今年，谷歌發布了第八代TPU，并開始直接向谷歌云客戶推銷這款芯片，挑戰英偉達在AI芯片市場的主導地位。此外，谷歌還與Meta簽署了價值數十億美元的TPU租賃協議，并在嘗試向其他云服務商銷售TPU。

▲第八代TPU實物，左手為推理芯片TPU 8i、右手為訓練芯片TPU 8t（圖源：谷歌）

The Information稱，相比單純依賴英偉達GPU，谷歌自研TPU已經幫助其降低Gemini模型運行成本。因為，谷歌在開發TPU時也考慮了Gemini的需求，只是TPU集成的模型信息遠少于Frozen v2。Frozen v2面向Gemini進行更深度的定制，但適用范圍也比TPU更窄。

據知情人士透露，谷歌目前沒有計劃讓Frozen v2的產量達到TPU的規模。因為，較小的生產規?？梢允构雀柙谕瞥龃笮彤a品之前，更晚地引入外部芯片設計和制造合作伙伴。該知情人士還稱，谷歌將這一代產品部分視為技術試驗，并希望從中積累開發專用AI芯片的經驗。

結語：用部分通用性換取更高推理效率

Frozen v2并不是TPU的替代品，而是谷歌針對Gemini開辟的一條專用芯片路線。谷歌希望通過將部分模型架構和計算決策固化到硬件中，以減少推理過程中的計算步驟和數據搬運，從而以更低功耗處理更多用戶請求。

不過，更高的專用化程度也意味著芯片與模型架構綁定得更緊。Frozen v2最快要到2028年才能部署，屆時Gemini底層架構能否保持穩定，以及6至10倍的預期能效提升能否在實際應用中實現，將成為決定這一項目價值的關鍵。

來源：The Information