約翰霍普金斯大學(xué)團(tuán)隊(duì)利用 LLM 開創(chuàng)一種創(chuàng)建神經(jīng)網(wǎng)絡(luò)芯片的新方法——神經(jīng)形態(tài)加速器，為機(jī)器人等提供節(jié)能、實(shí)時(shí)的機(jī)器智能

大型語言模型（LLM）能夠根據(jù)各種提示（包括代碼生成）合成聽起來合理的響應(yīng)，因此受到了廣泛的關(guān)注。

約翰霍普金斯大學(xué)（Johns Hopkins University）的電氣和計(jì)算機(jī)工程教授 Andreas Andreou 團(tuán)隊(duì)正利用 LLM 開創(chuàng)一種創(chuàng)建神經(jīng)網(wǎng)絡(luò)芯片的新方法——神經(jīng)形態(tài)加速器，可以為自動(dòng)駕駛汽車和機(jī)器人等下一代實(shí)體系統(tǒng)提供節(jié)能、實(shí)時(shí)的機(jī)器智能。

Andreou 實(shí)驗(yàn)室的Michael Tomlinson和 Joe Li 使用自然語言提示和 ChatGPT（GPT-4） 生成詳細(xì)指令來構(gòu)建脈沖神經(jīng)網(wǎng)絡(luò)芯片：一種運(yùn)行方式與人腦非常相似的芯片。

通過 ChatGPT 的逐步提示，從模仿單個(gè)生物神經(jīng)元開始，然后連接更多生物神經(jīng)元形成網(wǎng)絡(luò)，他們生成了可以制造的完整芯片設(shè)計(jì)。

該設(shè)計(jì)流程展示了如何使用 ChatGPT 進(jìn)行自然語言驅(qū)動(dòng)的硬件設(shè)計(jì)。AI 生成的設(shè)計(jì)使用手工制作的測試臺進(jìn)行了模擬驗(yàn)證，同時(shí)已提交使用開源 EDA 流程，并且交給芯片廠商進(jìn)行了實(shí)體制造。

「這是第一個(gè)由機(jī)器使用自然語言處理設(shè)計(jì)的人工智能芯片。這類似于我們告訴計(jì)算機(jī)『制作人工智能神經(jīng)網(wǎng)絡(luò)芯片』，計(jì)算機(jī)會吐出用于制造芯片的文件。」Andreas Andreou 說道。

該研究以「Designing Silicon Brains using LLM: Leveraging ChatGPT for Automated Description of a Spiking Neuron Array」為題，于 2024 年 1 月 25 日發(fā)布在arXiv預(yù)印平臺。

在過去三十年中，CMOS 技術(shù)和 CAD 工具的進(jìn)步帶動(dòng)了處理器技術(shù)的進(jìn)步，進(jìn)而推動(dòng)了對設(shè)計(jì)和自動(dòng)化工具的研究，為通用計(jì)算和人工智能提供了復(fù)雜的片上系統(tǒng)（System on Chip）。

Verilog 和 VHDL 均于 20 世紀(jì) 80 年代發(fā)布，現(xiàn)已成為數(shù)字設(shè)計(jì)中的標(biāo)準(zhǔn)綜合工具。這些工具允許工作人員描述可以直接映射到數(shù)字標(biāo)準(zhǔn)單元的行為功能，通過布局和布線生成物理布局。Verilog 和VHDL是現(xiàn)代 CAD 工具的原理圖入口點(diǎn)。

但是，用 Verilog 和 VHDL 編寫和維護(hù)代碼會產(chǎn)生巨大開銷，因?yàn)檫@些抽象設(shè)計(jì)處于相當(dāng)?shù)偷募墑e。科學(xué)家提出了許多方法來解決這個(gè)問題。這些方法的總體趨勢是轉(zhuǎn)向更高級別的語言，然后可用于生成 VHDL 或 Verilog。

2023 年 11 月，OpenAI 的 ChatGPT 吸引了大家的關(guān)注，它為 LLM 提供了一個(gè)簡單但功能強(qiáng)大的應(yīng)用界面，用于執(zhí)行生成式 AI 任務(wù)。這種與 LLM 的交互界面能夠執(zhí)行各種任務(wù)，例如撰寫散文和生成代碼。雖然還存在注意力廣度和適應(yīng)性問題，但該模型在生成 python 方面已被證明是有效的。

在最新的研究中，約翰霍普金斯大學(xué)的電氣和計(jì)算機(jī)工程教授 Andreas Andreou 同他的兩個(gè)學(xué)生 Michael Tomlinson 和 Joe Li 一起探索使用生成式 AI 和 ChatGPT 來設(shè)計(jì)硬件系統(tǒng)，即尖峰神經(jīng)網(wǎng)絡(luò)芯片、神經(jīng)形態(tài)電子系統(tǒng)，用于硬件 AI 推理。

圖示：兩層全連接神經(jīng)網(wǎng)絡(luò)。（來源：論文）

該研究與當(dāng)前使用 LLM 進(jìn)行 CAD 的研究不同，該團(tuán)隊(duì)重點(diǎn)關(guān)注數(shù)字尖峰神經(jīng)元、非常規(guī)計(jì)算架構(gòu)，并強(qiáng)調(diào)完整的系統(tǒng)設(shè)計(jì)。

研究人員記錄了，從對話式設(shè)計(jì)描述到可編程尖峰神經(jīng)元陣列的功能性和可綜合性 Verilog 描述，所采取的步驟。最終的 AI 生成的 HDL 具有標(biāo)準(zhǔn)化接口、SPI 和多個(gè)層次結(jié)構(gòu)。

圖示：初始和完整生成的 LIF 神經(jīng)元 Verilog。（來源：論文）

該芯片的最終網(wǎng)絡(luò)架構(gòu)是一個(gè)小型硅大腦，具有兩層互連的神經(jīng)元。用戶可以使用 8 位可尋址權(quán)重系統(tǒng)來調(diào)整這些連接的強(qiáng)度，從而允許芯片配置學(xué)習(xí)權(quán)重來確定芯片的功能和行為。

重新配置和可編程性是通過稱為標(biāo)準(zhǔn)外設(shè)接口 (SPI) 子系統(tǒng)的界面來完成的，該子系統(tǒng)類似于遙控器，對用戶使用十分友好。該 SPI 子系統(tǒng)也是由 ChatGPT 使用自然語言提示設(shè)計(jì)的。

Tomlinson 解釋說，他們設(shè)計(jì)了一個(gè)簡單的神經(jīng)網(wǎng)絡(luò)芯片，沒有復(fù)雜的編碼作為概念證明。在發(fā)送芯片進(jìn)行制造之前，團(tuán)隊(duì)通過廣泛的軟件模擬進(jìn)行了驗(yàn)證，從而確保最終設(shè)計(jì)能夠按預(yù)期工作，并且允許他們迭代設(shè)計(jì)、可解決任何問題。

圖示：初始生成的網(wǎng)絡(luò)和 SPI 模塊。（來源：論文）

當(dāng)然，像 ChatGPT 這樣的技術(shù)有潛力提高設(shè)計(jì)效率，正確生成簡單模塊，從頭開始快速生成基礎(chǔ)代碼，并在提示詳細(xì)說明時(shí)提供對現(xiàn)有代碼近乎即時(shí)、準(zhǔn)確的修改。然而，目前 ChatGPT 的輸出質(zhì)量常常達(dá)不到要求。

ChatGPT 的響應(yīng)往往經(jīng)常包含某種形式的錯(cuò)誤，無論是語法上還是邏輯上的錯(cuò)誤。ChatGPT 還自信地表現(xiàn)出對更高級概念的無知，導(dǎo)致潛在的混淆錯(cuò)誤，增加了驗(yàn)證的難度。

這些問題會變得更加復(fù)雜，給提示者帶來了沉重的負(fù)擔(dān)。如果提示者知道答案，他們可以引導(dǎo) ChatGPT 找到答案；但如果不具備這些知識，就很難將該技術(shù)用作抽象 Verilog 描述的工具。

雖然如此，該團(tuán)隊(duì)的最終設(shè)計(jì)以電子方式提交給 Skywater「鑄造廠」，這是一家芯片制造服務(wù)公司，目前正在使用相對低成本的 130 納米制造 CMOS 工藝「打印」該設(shè)計(jì)。

Tomlinson 說：「雖然這只是邁向大規(guī)模自動(dòng)合成實(shí)用硬件人工智能系統(tǒng)的一小步，但它表明人工智能可以用來創(chuàng)建先進(jìn)的人工智能硬件系統(tǒng)，從而有助于加速人工智能技術(shù)的開發(fā)和部署。」

「過去 20 年來，半導(dǎo)體行業(yè)在縮小計(jì)算機(jī)芯片上物理結(jié)構(gòu)的特征尺寸方面取得了巨大進(jìn)步，從而在同一硅面積上實(shí)現(xiàn)了更復(fù)雜的設(shè)計(jì)。先進(jìn)的計(jì)算機(jī)芯片，反過來支持更復(fù)雜的軟件計(jì)算機(jī)輔助設(shè)計(jì)算法和更先進(jìn)的計(jì)算硬件的創(chuàng)建，從而使計(jì)算能力呈指數(shù)級增長，從而推動(dòng)當(dāng)今的人工智能革命。」

這項(xiàng)研究代表了首批完全由自然對話語言合成的ASIC。

論文鏈接：https://arxiv.org/abs/2402.10920

https://techxplore.com/news/2024-03-collaborate-chatgpt4-brain-chips.html

腦機(jī)接口社區(qū)是國內(nèi)首家腦機(jī)接口(BCI)產(chǎn)業(yè)服務(wù)平臺、國內(nèi)腦機(jī)接口新媒體開創(chuàng)者與引領(lǐng)者。主要為企業(yè)、科研團(tuán)隊(duì)、投資機(jī)構(gòu)和從業(yè)者提供以下服務(wù)：

宣傳報(bào)道：圖文、短視頻、直播形式報(bào)道企業(yè)動(dòng)態(tài)、技術(shù)解讀、產(chǎn)品介紹等內(nèi)容，提升曝光和行業(yè)影響力。

資源對接：根據(jù)需求匹配資本、供應(yīng)鏈、臨床機(jī)構(gòu)、渠道方等資源，完成真實(shí)對接，促進(jìn)合作。

成果轉(zhuǎn)化：協(xié)助技術(shù)團(tuán)隊(duì)尋找產(chǎn)業(yè)方、投資人及落地場景，推動(dòng)技術(shù)到產(chǎn)品的轉(zhuǎn)化。

活動(dòng)策劃執(zhí)行：承接線上線下路演、沙龍、論壇等活動(dòng)的策劃與執(zhí)行。

其他定制需求：包括報(bào)告定制、市場調(diào)研、人才招聘支持等個(gè)性化服務(wù)。

合作洽談，請聯(lián)系微信：ZuoLeiLeiya

（備注：姓名-單位-合作）

投稿丨成為創(chuàng)作者，請聯(lián)系微信：RoseBCI

不錯(cuò)過每一條腦機(jī)前沿進(jìn)展

一鍵三連「分享」、「點(diǎn)贊」和「在看」

歡迎在評論區(qū)聊聊

暫無評論