![]()
![]()
語言,是腦機接口最具挑戰性的研究方向之一。
對于漸凍癥、腦卒中以及腦外傷等患者而言,大腦往往仍然保留完整的語言能力,但由于運動神經受損,無法控制口腔、舌頭或手部完成表達。如何直接從神經活動中恢復語言,使患者重新獲得交流能力,成為神經工程領域長期關注的重要課題。
近期,Meta FAIR 與巴斯克認知、大腦與語言研究中心(BCBL)連續公布了 Brain2Qwerty 系列工作的最新進展。一方面,團隊發布了第二代語言解碼系統 Brain2Qwerty V2,對非侵入式語言解碼模型進行了全面升級;另一方面,研究團隊還利用同一套腦磁圖數據,對人類語言生成過程中的神經活動進行了系統分析,希望進一步理解大腦如何將一個抽象想法逐步組織成為一句完整的話。
從 Brain2Qwerty V1 開始:利用腦磁圖恢復輸入文字
Brain2Qwerty 的研究最早發布于 2025 年。
在第一代系統中,Meta 與 BCBL 選擇了一種不同于傳統語言腦機接口的研究路線。研究對象并非植入電極的患者,而是健康志愿者;神經信號也不是來自皮層腦電,而是采用腦磁圖(MEG)進行非侵入式記錄。
實驗過程中,受試者佩戴 MEG 設備,在鍵盤上持續輸入完整句子。腦磁圖同步記錄整個輸入過程中的腦活動,隨后人工智能模型根據腦信號重建受試者正在輸入的文本。整個過程無需任何植入式設備,也不依賴肌肉運動信息,而是直接利用神經活動完成語言恢復。
與此前大量依賴侵入式神經記錄的研究相比,Brain2Qwerty V1 將語言解碼擴展到了非侵入式腦機接口領域。這一工作表明,即使腦信號經過顱骨傳播后發生明顯衰減,其中仍然保留著能夠支持連續語言恢復的神經信息,為后續非侵入式語言腦機接口的發展提供了新的技術基礎。
![]()
與此同時,Brain2Qwerty V1 也暴露出非侵入式方案面臨的主要限制。由于腦磁圖記錄信號包含大量噪聲,模型仍需要依賴較復雜的數據預處理流程,包括神經事件檢測、人工設計特征以及多階段解碼策略,整體系統距離侵入式腦機接口的性能仍存在較大差距。
因此,Brain2Qwerty 第二代工作的重點,并不僅僅是提高解碼準確率,而是重新設計整個神經解碼流程。
Brain2Qwerty V2:從人工特征走向端到端神經解碼
在 Brain2Qwerty V2 中,研究團隊對模型架構進行了較大調整。
傳統腦機接口中的語言解碼通常需要經過多個獨立步驟。首先對腦信號進行濾波、降噪和時間窗劃分,再利用人工設計的方法提取神經特征,最后輸入分類模型或語言模型完成解碼。這種流程雖然能夠降低神經信號的復雜性,但模型性能在較大程度上依賴于人工特征設計,不同實驗之間也難以形成統一的數據處理流程。
Brain2Qwerty V2 采用了端到端深度學習框架,直接從原始腦磁圖信號學習神經表征,不再依賴傳統神經事件檢測和大量人工設計特征。研究團隊共采集了 9 名健康志愿者約 2.2 萬個句子的腦磁圖數據,并利用這些數據完成模型訓練,使系統能夠直接建立腦活動與文字之間的映射關系。
![]()
端到端訓練帶來的變化不僅體現在模型結構上,也改變了神經信號的學習方式。相比人工篩選神經特征,深度網絡能夠在訓練過程中自動學習不同時間尺度上的神經活動模式,并逐步形成適合語言恢復的內部表征。這種訓練方式已經廣泛應用于計算機視覺和自然語言處理領域,而在非侵入式語言腦機接口中的系統應用仍相對較少。
除模型架構外,Brain2Qwerty V2 還將大語言模型引入神經解碼流程。
研究團隊在神經數據基礎上對語言模型進行了微調,使模型能夠結合語言上下文完成連續句子的恢復。當腦磁圖提供的神經信息存在不確定性時,語言模型可以利用上下文語義約束,對后續詞匯進行聯合預測,從而提高連續文本的整體一致性。
![]()
此外,研究團隊還利用 AI Agent 對不同訓練策略進行了自動搜索,再由研究人員篩選最終訓練配置,以進一步優化整個解碼流程。
Brain2Qwerty V2:解碼性能提升背后的技術變化
在實驗驗證中,Brain2Qwerty V2 展現出了目前非侵入式語言解碼系統中較高的性能水平。
研究結果顯示,系統平均單詞解碼準確率達到61%,最佳受試者達到78%,相比此前公開的非侵入式語言解碼方法約8%的準確率有明顯提升。同時,在超過一半的測試句子中,模型產生的錯誤不超過一個單詞,說明系統已經能夠較穩定地恢復完整句子的語義結構,而不僅僅局限于個別詞匯的識別。
![]()
對于語言腦機接口而言,這一提升并不僅意味著識別率的增加,更反映出模型對于連續語言建模能力的改善。
傳統腦機接口中的語言解碼,大多圍繞單個字符、單詞或固定指令展開。當解碼對象擴展到自然語言句子時,模型不僅需要識別每一個詞,還需要維持句子的上下文一致性,避免錯誤隨著句子長度不斷累積。因此,連續句子的恢復一直是語言腦機接口中難度最高的問題之一。
Brain2Qwerty V2 采用端到端模型與語言模型聯合建模后,系統能夠同時利用神經活動信息和語言上下文信息完成預測,使模型在神經信號存在噪聲時,仍能夠維持較好的句子連貫性。這也是其能夠恢復完整句子的一個重要原因。
研究團隊還進一步分析了模型性能與數據規模之間的關系。
實驗結果顯示,隨著訓練數據持續增加,模型準確率仍保持近似對數線性的增長趨勢,并未出現明顯的平臺期。這意味著,目前模型性能仍然受到訓練數據規模的限制,而不是已經達到算法能力的上限。對于近年來快速發展的人工智能而言,這一現象并不陌生。無論是視覺模型還是大語言模型,都表現出類似的數據擴展規律,而 Brain2Qwerty V2 也呈現出相似的發展趨勢。
這一發現也成為 Meta 后續開放 Brain2Qwerty 訓練代碼和數據集的重要原因。研究團隊希望通過開放研究資源,進一步擴大腦科學數據規模,為后續神經基礎模型的訓練提供支持。
除了解碼語言,Meta 還在研究語言是如何產生的
如果說 Brain2Qwerty V2 的第一項工作關注的是如何恢復語言,那么同期公布的另一項研究,則關注另一個更加基礎的問題——語言在大腦中是如何形成的。
長期以來,人類對于語言產生過程已經形成了較為成熟的認知模型,例如 Broca 區參與語言表達,Wernicke 區參與語言理解,不同腦區共同完成語言加工。然而,從一個抽象想法產生,到最終完成說話、打字等具體動作,中間經歷了怎樣的信息組織過程,仍然缺乏足夠直接的實驗觀測。
其中一個重要原因在于技術限制。
傳統神經影像設備雖然能夠記錄腦活動,但人在真正說話時,嘴唇、舌頭等運動會產生大量肌電干擾,影響神經信號質量。因此,大腦如何組織語言這一動態過程,一直較難進行連續觀測。
為了解決這一問題,Meta 研究團隊選擇將語言輸出方式改為鍵盤輸入。
受試者在輸入完整句子的過程中,研究人員利用腦磁圖連續記錄神經活動,并結合人工智能模型,對每秒約 1000 次采樣得到的大腦狀態進行分析,從而觀察語言生成過程中不同階段的神經表征變化。
分析結果顯示,大腦生成語言并不是一次完成的,而是沿著多個層級逐步展開。
最初形成的是整句話所表達的語義信息,即一句話希望傳遞的整體含義;隨后,大腦開始將語義組織成具體詞匯,再進一步分解為音節、字母等更細粒度的語言單元,最終轉化為手指在鍵盤上的具體按鍵動作。整個過程體現出一種由抽象到具體、由語言到運動的連續轉換過程。
這種層級式編碼,與當前自然語言處理模型中由高層語義逐步映射到底層輸出的計算過程存在一定相似性,也為利用人工智能研究神經計算機制提供了新的實驗框架。
動態神經編碼:大腦如何保持連續表達
除了揭示語言生成的層級結構,研究團隊還觀察到另一種值得關注的神經活動模式。
實驗結果顯示,大腦并不會等一個詞完全結束之后,再開始處理下一個詞。
相反,在連續表達過程中,不同詞匯對應的神經表征會同時存在,并按照不同時間尺度不斷更新。部分神經活動負責當前正在輸出的詞匯,而另一部分神經活動已經開始組織后續內容,使整個語言表達過程能夠保持連續流暢。研究團隊將這一機制稱為動態神經編碼(Dynamic Neural Coding)。
這種動態編碼方式,使大腦能夠在連續表達過程中,同時維持多個層級的信息,包括句子語義、詞匯順序以及具體運動控制,而不會因為逐詞處理而降低表達效率。
對于神經科學而言,這項研究提供了一種新的觀察語言生成過程的方法。相比過去依賴行為實驗推測語言加工過程,人工智能模型開始能夠直接參與腦信號分析,對不同時間尺度上的神經活動進行連續建模,為研究語言神經機制提供了新的技術工具。
https://www.nature.com/articles/s41593-026-02303-2
![]()
腦機接口社區是國內首家腦機接口(BCI)產業服務平臺、國內腦機接口新媒體開創者與引領者。主要為企業、科研團隊、投資機構和從業者提供以下服務:
宣傳報道:圖文、短視頻、直播形式報道企業動態、技術解讀、產品介紹等內容,提升曝光和行業影響力。
資源對接:根據需求匹配資本、供應鏈、臨床機構、渠道方等資源,完成真實對接,促進合作。
成果轉化:協助技術團隊尋找產業方、投資人及落地場景,推動技術到產品的轉化。
活動策劃執行:承接線上線下路演、沙龍、論壇等活動的策劃與執行。
其他定制需求:包括報告定制、市場調研、人才招聘支持等個性化服務。
合作洽談,請聯系微信:ZuoLeiLeiya
(備注:姓名-單位-合作)
投稿丨成為創作者,請聯系微信:RoseBCI
![]()
不錯過每一條腦機前沿進展
![]()
一鍵三連「分享」、「點贊」和「在看」
歡迎在評論區聊聊
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.