仿佛科幻電影《終結者》的情節在現實中重演,AI大模型史上第一次在無人授意的情況下自主展開了對真實世界的網絡攻擊。
北京時間7月22日,OpenAI CEO山姆·奧爾特曼發文承認“我們在模型評估過程中遭遇了一起重大安全事件。”具體來看,OpenAI的最新模型GPT-5.6 Sol和一款尚未發布的更強模型,在內部安全測試中掙脫了隔離沙箱,自主入侵了全球最大AI開源社區Hugging Face的生產數據庫。
更令人意外的是,Hugging Face事后試圖調用美國商業AI模型來分析超過1.7萬條攻擊日志,卻被安全護欄攔截——模型無法區分安全分析人員和攻擊者。最終完成取證的,是中國公司智譜的開源模型GLM-5.2。
“AI對于目標的理解并不會因為過程而改變。這起事件中,當路徑已經到Hugging Face時,人類可能就會發現和停止,但AI不會,因為它得到的指令只有滲透測試,所以它會更危險,我們有必要對AI的分析過程,做審計、審核,要求過程透明,且可中斷。”7月23日,綠盟科技集團產品BG副總經理吳天昊在接受新京報貝殼財經記者采訪時表示。
測試AI答題能力,結果AI直接竊取了“答題庫”
為何OpenAI的模型會去攻擊“人畜無害”的Hugging Face?
據了解,事件的起因是一次常規的模型能力測試。OpenAI內部使用名為ExploitGym的基準評測來衡量模型找漏洞的能力,按照設計,測試運行是在高度隔離的沙箱環境中以確保不會“越獄”。
然而,模型沒有按預期答題,而是將大量推理算力投入了一件完全不同的事——尋找逃出沙箱的路徑。突破“監獄”后,模型自行推斷Hugging Face平臺可能托管著ExploitGym的測試答案與數據集,于是直接攻入Hugging Face生產數據庫,竊取了答案。
整條攻擊鏈從漏洞發現、沙箱逃逸、跨系統橫移到數據竊取——全程由AI自主完成,產生了超過1.7萬條操作記錄,沒有人類干預。Hugging Face在7月16日率先披露了入侵事件,稱其“與此前處理過的任何情況都不同”。直到五天后,OpenAI才正式承認。
值得注意的是,模型并非收到了逃逸指令。它只是為了在測試中拿到更高的分數,自主選擇了這條“捷徑”。OpenAI研究員Micah Carroll在回應中寫道:“如果這都不能讓你相信錯位風險將成為未來的關鍵隱憂,那我真不知道什么才可以。”
另一個值得注意的細節是,當遭受攻擊時,Hugging Face方面原本試圖調用商業API背后的前沿模型,但觸發了模型的安全防護機制——它無法區分提交材料的是事件響應者還是攻擊者,直接拒絕提供服務。最后,該平臺使用來自中國的GLM-5.2模型完成了取證,才確保了攻擊數據和相關憑證不離開內部環境。
當對手變為了AI,安全范式必須轉向
這一次攻擊,也震動了中國網絡安全圈。
“這可能是人類歷史上第一次AI在沒有人類具體指揮的情況下自主攻擊了另一家AI公司。”周鴻祎評價道。
奇安信人工智能公司安全專家則比喻稱,“從Hugging Face這事來看,AI模型搞起事情來跟終結者有點神似:目標堅定、能力超強、路子夠野。”
對于為何此次事件會發生,吳天昊向貝殼財經記者分析稱,一般做滲透測試都有嚴格的物理隔離,防止逃逸,根據國外新聞來看,這次發生可能是一次“無心之過”。一旦非嚴格物理隔離,網絡本身就沒有絕對意義上的安全,不論是人還是AI,都能夠造成Hugging Face事件。另一方面,AI確實已經達到一定級別,它可以敏銳地捕捉到各種風險,推理、思考、應用它、達到目標。
吳天昊認為,AI對于網安行業的改變很明顯,“一定程度上,對于網絡安全防護方,他們面臨的對手,從過去的人變成了人和AI,AI很可能在未來成為一個獨立的個體去產生安全威脅,對客戶和安全企業挑戰更大。”
奇安信人工智能公司安全專家表示,當AI的攻擊能力開始超越人類的想象,傳統的網絡安全防御體系正面臨“失控”危機。過去我們習慣于“追著漏洞跑”——發現一個漏洞,修補一個漏洞。但在AI自主攻擊的時代,攻擊的速度和復雜度已遠超人類分析師的響應極限。一個AI可以在幾分鐘內發現并利用一個零日漏洞,而人類團隊可能還需要數周時間來分析和修復。
那么,如何應對AI時代網絡安全的挑戰?
吳天昊告訴貝殼財經記者,對未來做測試,尤其是涉及AI,需要遵循嚴格的物理隔離,因為AI對于目標的理解并不會因為過程而改變,有必要對AI的分析過程,做審計、審核,要求過程透明,且可中斷,“未來隨著AI廣泛應用,無意識攻擊可能會更多,需要引起我們重視,加強防護。”
“必須轉變思路,從被動的‘追著漏洞跑’轉向主動的‘帶著漏洞防’,即‘帶洞防護’。核心理念是:承認漏洞永遠存在,承認攻擊者(包括AI)總能找到新的路徑。我們的目標不再是構建一個‘零漏洞’的完美系統,而是構建一個即使存在漏洞,也能有效抵御攻擊、限制損失,并快速恢復的彈性系統。”奇安信人工智能公司安全專家表示。
新京報貝殼財經首席記者 羅亦丹
編輯 岳彩周
校對 穆祥桐
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.