2026世界人工智能大會暨人工智能全球治理高級別會議(WAIC 2026)上,人工智能安全治理成為備受關注的議題之一。隨著大模型加速邁向智能體時代,AI正在從“回答問題”走向“自主執行任務”,如何在能力持續提升的同時確保安全可控,成為產業界、學術界共同關注的重要議題。
為什么智能體安全成為今年AI治理的重要議題?一個關鍵變化是,過去人工智能安全更多關注模型“輸出什么”,而進入智能體時代,關注點正在轉向AI“會做什么”。安全問題已不再只是防止模型生成錯誤答案,而是要確保整個系統的決策和行動處于可控范圍。
在7月19日的WAIC 2026前沿AI與智能體安全論壇上,圖靈獎得主約書亞·本吉奧表示,人工智能能力正沿著快速增長軌跡發展,當前能力提升越來越集中于推理、編程、科學研究以及自主行動等領域。與此同時,安全保護措施的提升速度仍可能趕不上能力增長。
“我們大多數人只想著監管AI本身,這只是其中一個維度。”浙江大學求是特聘教授杜躍進接受記者采訪時表示,智能體進入真實應用場景后,安全治理不能只關注模型本身,系統性監管不可或缺。杜躍進還表示,智能體安全正在進入“問題大爆炸”階段——過去,人們習慣尋找單一漏洞并修補,但智能體涉及模型、數據、工具、權限、業務流程等多個環節,任何一個環節出現問題,都可能引發連鎖影響。特別是在金融、電力、政務、科研等關鍵領域,不能簡單將“能用”理解為“安全可用”。
安遠AI創始人兼首席執行官謝旻希表示,當前全球AI治理需要構建從“看清風險”到“系統防范”再到“規則協同”的治理閉環。
面對新的風險形態,安全能力建設正在從理念走向具體工具和方法。此次論壇上,安遠AI聯合相關機構和企業發布多項研究成果。其中,前沿AI風險監測平臺2.0覆蓋網絡攻擊、生物、化學、有害操縱和失控五類風險,目前已監測16家公司的80多個模型;相關風險測評基準數據庫收錄200多項測評基準。會上還發布了《前沿AI風險與應急響應研究報告(征求意見稿)》,該報告聚焦前沿AI風險及其應急響應體系建設,重點關注全球前沿AI模型與系統可能引發風險后的應急響應機制和安全能力建設。業內專家認為,智能體安全不能再依靠一次性的上線前測試,而需要貫穿運行全過程。中國信息通信研究院人工智能研究所所長魏凱表示,評估既是技術演進的“指南針”,也是連接技術創新和產業應用的紐帶,并為安全治理提供依據。未來,身份識別、權限控制、行為審計、異常監測和實時響應等能力,將成為智能體落地的重要支撐。
在產業現場,安全問題也日益受到更多關注。在酒店、制造、交通等領域,智能體已經開始承擔真實任務。云跡科技主要面向酒店等服務場景提供機器人服務。不同于傳統軟件,機器人不僅要處理信息,還要在真實環境中行動,這也讓企業更早感受到智能體安全正在從保護數據,轉向保障AI決策可靠、行動可控。云跡科技首席發展官謝云鵬表示,隨著機器人服務智能體應用擴大,企業客戶關注點正在變化:過去更多關注數據是否泄露,如今開始關注“AI為什么作出這一決策”“出現異常后能否追溯”。這也反映出產業對于智能體安全的關注,正在從數據保護延伸到決策可信和過程可控。
人工智能競爭正進入新階段:模型能力定義了AI的“高度”,而安全可信能力則定義了AI的“廣度”。未來,安全能力或將成為人工智能走向規模化應用的關鍵支撐。(記者 關佳浩)
來源:經濟參考報
![]()
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.