![]()
在一場熱鬧的晚宴上,聲音從四面八方涌來。鄰桌的談笑、餐具的碰撞、背景音樂和空調送風聲混雜在一起,桌對面的人正在說話,嘴唇清晰地開合,聲音卻像隔著一層不斷流動的霧。
對于聽力正常者,聲音信息源源不斷進入耳朵;對于聽力受損者,問題卻不只是“聲音不夠大”。很多時候,他們已經聽見了聲音,卻仍然難以從噪聲中辨認語句,需要不斷猜測詞義、補全上下文,并調動注意力追蹤說話者。短時間內,這種努力并不明顯,但經過半小時甚至更長時間,疲憊會逐漸積累。
一位助聽器使用者曾這樣描述自己的感受:“好像耳朵還能工作,但大腦已經累壞了。”這句話指向了現代聽力技術長期面對的一個矛盾:助聽器可以改善進入耳朵的聲音,卻未必能夠減輕大腦理解聲音的負擔。
01
助聽器聽見了環境,卻不知道人想聽什么
現代助聽器已經是一套高度集成的微型聲音處理系統。麥克風收集環境聲音,數字信號處理器根據用戶的聽力圖,對不同頻率進行補償,再由微型揚聲器將處理后的聲音送入耳道。為了改善嘈雜環境中的聽覺體驗,許多產品還加入了自適應波束成形、數字降噪、反饋抑制、頻率壓縮和場景識別等功能。
以波束成形為例,多枚麥克風可以利用聲音到達時間和相位上的差異,將拾音方向集中在佩戴者前方。機器學習算法則能夠識別辦公室、汽車、餐廳或街道等不同聲學環境,自動調整降噪強度和麥克風方向。
問題在于,這些系統主要觀察的是外部世界。
它們可以判斷哪里聲音最大、哪里更像人聲,卻不知道佩戴者此刻究竟想聽誰。在餐廳中,聲音最響的人可能是身后的服務員,而佩戴者真正關注的,卻是右側正在低聲說話的家人;在汽車里,設備可能將聲音聚焦于正前方,卻忽略副駕駛座上的交談對象。
![]()
腦機接口使研究人員能夠在多說話人環境中準確判斷聽者的注意力焦點。圖為麻省理工學院林肯實驗室(MIT Lincoln Laboratory)的 Christopher Smalt 教授正在開發一套注意力解碼系統。
傳統助聽器面對的是一個聲學問題:如何從混合聲音中分離語音和噪聲。人類大腦處理的卻是一個更復雜的意圖問題:在多個同時存在的聲音中,哪一個才值得被放大?
這也是“雞尾酒會效應”難以被工程系統復制的原因。人類可以在多人交談中迅速轉移注意力,從左側說話者切換到右側說話者,甚至在沒有明顯轉頭的情況下完成選擇。對助聽器而言,這種選擇通常是不可見的。除非用戶通過按鈕、手機或手勢明確發出指令,否則設備只能根據聲音強弱、方向和既定規則進行猜測。
腦電波為這個問題提供了另一種答案:與其讓助聽器猜,不如直接觀察大腦正在追蹤哪一段聲音。
02
當大腦聽懂一句話,它的節律會跟著語言變化
語言并不是一條均勻連續的聲音。音節、重音、停頓和語調,會形成不斷起伏的聲音包絡。當人認真聆聽某位說話者時,聽覺系統中的神經活動會在一定程度上追隨這些時間結構。換句話說,大腦中的部分節律會與正在關注的語音形成同步。
![]()
圖片來源于cEEGrid Video Tutorial
如果兩個人同時講話,聽者雖然都能接收到聲音,但大腦對被關注語音的追蹤通常更強。研究人員因此可以比較腦電信號與不同語音包絡之間的匹配程度,推測聽者此刻正在關注哪位說話者。這一技術被稱為“聽覺注意力解碼”,即 Auditory Attention Decoding,簡稱 AAD。
一套完整系統可能按照這樣的方式工作:助聽器的麥克風首先識別并分離環境中的多個說話者;耳周或耳內電極同步采集腦電信號;解碼算法分別計算腦電活動與不同語音流之間的匹配程度;當系統判斷佩戴者正在關注其中一人時,波束成形和降噪模塊便增強該方向的語音,同時抑制其他聲音。
這樣一來,助聽器不再只是被動處理進入麥克風的聲音,而是形成一個閉環:聲音影響大腦,大腦活動又反過來控制聲音。
實驗室中常見的腦電帽顯然無法直接用于日常生活。它需要在頭皮上布置大量電極,部分設備還要使用導電膏,既不隱蔽,也難以長時間佩戴。研究人員因此將電極逐漸移向耳朵。
![]()
圖片來源于cEEGrid Video Tutorial
德國奧爾登堡大學等機構開發的 cEEGrid,是一種環繞耳廓布置的柔性電極陣列。它可以貼附在耳朵周圍,與助聽器的佩戴位置相近,也比傳統腦電帽更容易隱藏在頭發之下。另一條路線是耳內 EEG:將微型電極集成在類似耳塞或定制耳模的結構中,使同一個設備既能夠輸出聲音,也能夠記錄腦電活動。
2022年,奧爾登堡大學研究人員在一項研究中分析了36名參與者的耳周 cEEGrid 數據。參與者同時聽到兩段連續語音,但只需要關注其中一段。研究人員將腦電信號分割成60秒的數據片段,再通過語音包絡重建判斷參與者正在關注哪段語音。
采用統一模型參數時,平均解碼準確率約為71%;為每名參與者分別選擇個體化參數后,準確率一度提高到82.59%。不過,研究人員進一步采用更嚴格的嵌套交叉驗證后,個體化模型的表現明顯下降,顯示此前的部分提升可能來自參數選擇過程中的過擬合。這個細節十分重要:神經助聽器確實需要個性化,但個性化不能只是讓模型“記住”已有實驗數據,還必須能夠適應陌生環境和新的對話內容。
2025年,奧胡斯大學團隊在《Scientific Reports》發表的一項研究中首次在同一批實驗中同步比較頭皮 EEG、耳周 EEG 和耳內 EEG。
在15名參與者和60秒決策窗口下,三種設備的平均聽覺注意力解碼準確率分別為83.4%、67.2%和61.1%。結果清楚地呈現出一組工程矛盾:頭皮 EEG 信號質量最高,卻不適合日常佩戴;耳內 EEG 最隱蔽、最接近助聽器形態,但解碼準確率也最低。研究還發現,在耳內 EEG 基礎上增加少量位于額顳區域的頭皮電極,能夠顯著提高性能,說明未來產品未必只采用單一耳塞,也可能發展為耳塞、眼鏡腿和耳后傳感器共同組成的分布式腦電網絡。
更大的問題是,60秒對于現實交談依然過于漫長。人在談話中可能幾秒鐘就會改變注意對象。如果助聽器一分鐘后才判斷出用戶關注的是誰,被增強的可能已經是上一位說話者。
數據窗口越長,判斷通常越穩定;數據窗口越短,設備響應越及時,但誤判風險也會隨之上升。未來系統不僅要回答“用戶最可能在聽誰”,還要判斷“目前積累的證據是否足以改變聲音增益”。否則,助聽器可能隨著一次眨眼、一次咀嚼或短暫走神,在多個說話者之間頻繁切換,反而制造出新的聽覺負擔。
03
腦電注意力解碼,開始走出實驗室
現實生活中的腦電信號遠比實驗室復雜。人在行走、轉頭、眨眼、說話和咀嚼時,眼電、肌電和電極位移都會混入腦電記錄。耳周電極距離聽覺皮層較遠,信號幅度本來就較弱,一旦疊加運動偽跡,真正與語音追蹤有關的神經活動很容易被淹沒。
但相關研究已經開始走出隔音室。
2026年發表在《Nature Neuroscience》的研究《Real-time brain-controlled selective hearing enhances speech perception in multi-talker environments》,研究人員利用正在接受神經外科治療患者的高分辨率顱內腦電信號,實時判斷參與者關注的說話者,并動態調節兩段競爭語音之間的音量比例。當系統識別到參與者正在聽左側說話者時,便提高左側語音的相對增益;當注意力轉向右側時,聲音處理也隨之變化。
實驗結果顯示,腦信號控制的聲音增強系統不僅提高了語音理解能力,還降低了主觀聆聽努力,參與者也更傾向于選擇腦控模式。系統既能跟隨研究人員要求的注意力切換,也能追蹤參與者自發完成的注意力轉移。
顱內電極顯然不是普通助聽器近期可以采用的方案,但這項研究提供了一個重要的性能上限:只要神經信號足夠清晰、解碼足夠及時,“由大腦選擇聲音”的閉環助聽系統確實能夠改善人的聽覺體驗。
問題不再是這種技術在原理上是否有效,而是能否用耳周 EEG、耳內 EEG 或其他非侵入式傳感器,逐漸接近顱內信號所能達到的效果。
04
聽清了,不等于聽得輕松
除了識別“想聽誰”,下一代助聽器還需要回答另一個問題:佩戴者聽得有多累?
兩個人可能在語音測試中獲得相同的正確率,但付出的認知代價完全不同。一個人能夠輕松復述句子,另一個人則需要持續集中注意力,依靠上下文猜測沒有聽清的詞語。傳統聽力測試通常只記錄“答對還是答錯”,很難看見理解過程中消耗的心理資源。
腦電可以提供部分線索,例如語音追蹤減弱可能意味著注意力下降,Alpha 等腦電節律的變化也可能與聆聽努力有關。但腦電并不是觀察認知負荷的唯一窗口,人的瞳孔同樣會暴露大腦正在付出多少努力。
![]()
瞳孔的大小既取決于光線等外部刺激,也取決于疲勞或興奮等內部刺激。——克里斯·菲爾波特(Chris Philpot)
瞳孔不僅會隨著光線變化。當任務難度增加、注意資源被調動時,瞳孔通常也會擴張。研究人員因而可以在控制光照、視線方向和眨眼等因素后,通過瞳孔直徑的變化估計聆聽努力。2018年的綜述《The Pupil Dilation Response to Auditory Stimuli: Current State of Knowledge》系統分析了146項相關研究,指出瞳孔反應對任務難度、聲音刺激和個體差異較為敏感,但也容易受到多種因素共同影響,因此必須謹慎設計實驗和基線條件。
05
從聲音處理器走向認知閉環
神經自適應助聽器的真正難點,并不是簡單地在耳機里增加幾枚電極,而是讓傳感、解碼和聲音處理形成穩定閉環。
首先是個體差異。頭部結構、耳廓形態、皮膚阻抗、聽力損失程度以及神經反應模式,都會影響腦電信號。設備可能需要在初次佩戴時完成一段校準:讓用戶分別關注不同方向的說話者,建立個人化的腦電—語音模型,并在后續使用過程中持續更新。
其次是速度與穩定性的平衡。數據窗口越長,注意力判斷通常越可靠,但響應越慢;窗口越短,系統切換越及時,誤判風險卻越高。商業設備不能因為一次眨眼或短暫走神就改變拾音方向,也不能在用戶已經轉移注意數十秒后,仍然停留在原來的目標上。
功耗同樣是現實限制。腦電采集、無線傳輸、多個麥克風、實時語音分離和神經網絡推理都會消耗電量。未來產品可能需要將基礎信號處理放在耳端,把更復雜的模型部署在手機、眼鏡或專用芯片中,并只在困難聲學場景下啟動高功耗功能。
更敏感的問題是數據邊界。聲音記錄已經涉及隱私,而腦電、瞳孔和其他生理信號可能進一步反映注意方向、疲勞程度和心理狀態。設備需要明確哪些信號只在本地處理,哪些數據可以上傳,用戶能否刪除歷史記錄,以及企業是否有權將其用于模型訓練。
助聽器可以理解使用者,卻不能因此成為持續窺視使用者的設備。
根據世界衛生組織發布的《耳聾和聽力損失》事實清單,目前全球約有4.3億人需要針對殘疾性聽力損失接受康復服務,其中包括約3400萬名兒童。到2050年,預計近25億人將出現不同程度的聽力損失,超過7億人需要聽力康復。
因此,下一代助聽器的價值不能只用音量增益、語音識別率或降噪分貝衡量。它真正需要恢復的,是一個人參與談話的能力:在汽車里不必因為發動機聲而放棄交流,在餐廳里能夠自然跟隨話題,在家庭聚會上不再因為持續的疲憊而提前離開。
過去的助聽器試圖讓聲音抵達耳朵;未來的助聽器,則要判斷聲音是否真正抵達了大腦。
當設備能夠感知注意力的方向、識別理解的困難,并在疲勞出現之前調整聲音,它便不再只是一個放大器,而是一種認知意義上的聽覺伙伴。
技術最終解決的,也不只是“能否聽見”的問題,而是人是否仍能輕松地加入一次交談,與他人保持聯系,并在聲音構成的世界中保有選擇、參與和尊嚴。
參考文獻:
https://www.who.int/zh/news-room/fact-sheets/detail/deafness-and-hearing-loss
https://www.frontiersin.org/journals/neuroscience/articles/10.3389/fnins.2022.869426/full
https://www.nature.com/articles/s41598-025-25576-2
https://www.frontiersin.org/journals/human-neuroscience/articles/10.3389/fnhum.2024.1483024/full
https://www.nature.com/articles/s41593-026-02281-5
https://pubmed.ncbi.nlm.nih.gov/30249172/
https://journals.plos.org/plosone/article?id=10.1371%2Fjournal.pone.0235782
![]()
腦機接口社區是國內首家腦機接口(BCI)產業服務平臺、國內腦機接口新媒體開創者與引領者。主要為企業、科研團隊、投資機構和從業者提供以下服務:
宣傳報道:圖文、短視頻、直播形式報道企業動態、技術解讀、產品介紹等內容,提升曝光和行業影響力。
資源對接:根據需求匹配資本、供應鏈、臨床機構、渠道方等資源,完成真實對接,促進合作。
成果轉化:協助技術團隊尋找產業方、投資人及落地場景,推動技術到產品的轉化。
活動策劃執行:承接線上線下路演、沙龍、論壇等活動的策劃與執行。
其他定制需求:包括報告定制、市場調研、人才招聘支持等個性化服務。
合作洽談,請聯系微信:ZuoLeiLeiya
(備注:姓名-單位-合作)
投稿丨成為創作者,請聯系微信:RoseBCI
![]()
不錯過每一條腦機前沿進展
一鍵三連「分享」、「點贊」和「在看」
歡迎在評論區聊聊
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.