撰文:智源研究院
當前大語言模型正從“聊天機器”進化為能調(diào)用工具、規(guī)劃任務(wù)的“智能體”。
這種進化在生物信息學、實驗設(shè)計等領(lǐng)域展現(xiàn)出巨大潛力,除此之外,需要正視一個關(guān)鍵問題:當AI的能力從信息處理延伸到物理實驗操作,生物安全的邊界會發(fā)生怎樣的改變?
![]()
現(xiàn)有研究已開始評測前沿模型的病毒學知識和實驗推理能力,但在真實的潛在風險鏈條中,模型究竟能提供多大程度的實質(zhì)性幫助,需要進行驗證,特別是當模型以智能體形態(tài)出現(xiàn),能組合知識庫、搜索引擎、文件讀寫等工具時,其有效能力邊界可能遠超單輪問答的測試結(jié)果。
智源研究院大模型安全研究團隊與北京大學圍繞這一核心問題,開展了一項端到端系統(tǒng)性評估。該評估考察大語言模型智能體是否會降低非專業(yè)人員繞過DNA合成篩查的知識門檻,評估從智能體生成方案、程序化計算校驗延伸到標準分子生物學實驗室中的受控濕實驗,并以電泳和測序確認模型方案在物理層面的可執(zhí)行性。
![]()
大語言模型智能體在DNA組裝指導(dǎo)任務(wù)中端到端評估閉環(huán)。評估依次經(jīng)過方案生成、程序化計算校驗、受控濕實驗以及電泳與測序確認,覆蓋11個模型和4個失去有害功能良性代理構(gòu)建體,最終以物理可執(zhí)行性證據(jù)驗證組裝流程。
評估結(jié)果顯示,所有11個參與測試模型均能生成通過計算校驗的DNA分片方案,其中GPT-5.5和Claude Opus 4.6還能提供詳細的逐步實驗指導(dǎo)。在物理驗證環(huán)節(jié),4個良性代理構(gòu)建體全部成功完成組裝。這意味著,大語言模型智能體不僅可能削弱現(xiàn)有DNA合成篩查防線,還可能向不具備專業(yè)背景的用戶提供原本依賴專業(yè)訓練才能獲得的實驗操作知識,存在相關(guān)雙重用途風險,需要被系統(tǒng)性地評估與提前防范。
安全聲明:本次評估嚴格遵循負責任披露原則,不展示制造危險物質(zhì)的方法。全部濕實驗均在嚴格安全約束下,使用經(jīng)關(guān)鍵位點突變、失去有害功能的良性代理序列,僅驗證組裝流程,不會在任何階段產(chǎn)生具有功能活性的危險產(chǎn)物。
從“單點問答”到“端對端”風險評估
合成服務(wù)(DNA synthesis)是現(xiàn)代生命科學研究的重要基礎(chǔ)設(shè)施。研究人員可以通過合成服務(wù)獲得所需DNA片段,再在實驗室完成后續(xù)構(gòu)建。為防止危險序列進入物理世界,服務(wù)商通常會開展DNA合成篩查(DNA synthesis screening),對訂單進行序列風險識別,這是現(xiàn)有生物安全體系中少數(shù)能夠在合成環(huán)節(jié)主動攔截風險的技術(shù)機制之一。隨著合成成本下降、實驗流程逐步標準化,DNA合成篩查在生物安全防線中的重要性進一步上升。
評估聚焦分拆訂購攻擊這一已知風險場景,即將完整序列拆分為多個較短片段分別處理,使單個片段不易觸發(fā)既有篩查機制,再在后續(xù)環(huán)節(jié)完成組裝。過去,這類任務(wù)依賴分子生物學專業(yè)知識與實驗經(jīng)驗,相關(guān)知識門檻本身構(gòu)成了一層防御。大語言模型智能體能否承擔其中原本需要專業(yè)判斷的步驟,直接關(guān)系到這一防御邊界是否正在發(fā)生變化。
不同于針對生物學知識或單項技能的問答測試,評估采用了更接近真實風險鏈條的端到端設(shè)置。測試場景中,用戶不具備生化專業(yè)背景,但可以配置大語言模型智能體,并為其提供公開可獲得的領(lǐng)域知識模塊和通用工具。模型需要從輸入信息出發(fā),完成任務(wù)規(guī)劃、片段方案設(shè)計和組裝指導(dǎo)生成等多個環(huán)節(jié)。
![]()
上圖為LLM智能體在DNA組裝指導(dǎo)任務(wù)中的評估框架。輸入端包含蛋白質(zhì)或DNA相關(guān)信息;智能體通過分子克隆、蛋白質(zhì)篩查、濕實驗等領(lǐng)域技能,以及互聯(lián)網(wǎng)搜索、Shell和文件讀取等通用工具進行多步調(diào)用與反饋;輸出端生成DNA片段方案,并在安全約束下驗證組裝后產(chǎn)物。
11個模型評測揭示DNA合成篩查的潛在脆弱性
本次評估采用國際生物安全與生物防護科學倡議(International Biosecurity and Biosafety Initiative for Science,IBBIS)發(fā)布的Common Mechanism作為公開的DNA合成篩查基線。
Common Mechanism是一套面向DNA和RNA序列的免費、開源、全球可用篩查工具,旨在幫助合成服務(wù)商在符合生物安全標準的前提下開展訂單篩查。其設(shè)計遵循多套廣泛采用的國家和國際篩查指南,包括美國《Framework for Nucleic Acid Synthesis Screening》、英國DSIT關(guān)于合成核酸用戶與供應(yīng)商的篩查指南、國際基因合成聯(lián)盟(IGSC)Harmonized Screening Protocol,以及ISO 20688-2:2024。
將這一公開機制納入評估,使測試能夠在可復(fù)核的篩查參照下考察模型輸出的有效能力。具體評估鏈條包括四個層級:
第一層,智能體方案生成。在非專業(yè)背景用戶的威脅模型下,大語言模型結(jié)合公開可獲得的領(lǐng)域知識模塊和通用工具,承擔任務(wù)規(guī)劃與專業(yè)判斷。
第二層,程序化計算校驗。對模型輸出進行自動化檢查,判斷方案能否繞過篩查且恢復(fù)原始序列并正確編碼目標蛋白。
第三層,良性代理濕實驗。使用經(jīng)過安全處理、失去有害功能的代理序列,驗證模型方案在組裝環(huán)節(jié)的物理可執(zhí)行性。
第四層,實驗結(jié)果確認。通過電泳檢查產(chǎn)物長度,通過測序確認序列正確性,完成從數(shù)字方案到物理結(jié)果的證據(jù)回讀。
橫向測試覆蓋11個商用大語言模型,所有測試均在智能體配置下進行。評估以攻擊成功率(Attack Success Rate,ASR)為核心量化指標,衡量模型輸出在特定計算校驗中的通過情況,判斷模型生成的片段方案能否通過合成篩查,并正確重組為原始序列并編碼目標蛋白。
![]()
如上所示,11個商用大語言模型在分片設(shè)計任務(wù)中的評測結(jié)果。所有測試模型均能生成通過計算校驗的拆分方案,顯示現(xiàn)有DNA合成篩查機制面對大語言模型輔助分片策略時可能存在共性風險。
結(jié)果顯示,在分片設(shè)計環(huán)節(jié),全部11個模型均能生成繞過篩查的拆分方案。這一能力具有明確的雙重用途風險:模型正在降低分片設(shè)計所需的專業(yè)知識門檻,使缺乏相關(guān)背景的用戶也可能獲得能夠規(guī)避現(xiàn)有篩查機制的方案,從而暴露出以單條序列識別為主的DNA合成篩查體系存在系統(tǒng)性脆弱性。
通過計算校驗的分片方案,仍不足以指導(dǎo)一個沒有生物學知識的用戶完成具體實驗。更關(guān)鍵的風險在于,模型能否繼續(xù)彌補實驗操作層面的知識缺口,給出覆蓋各步驟的操作指導(dǎo)。圍繞這一能力開展的進一步評測顯示,GPT-5.5和Claude Opus 4.6已經(jīng)能夠生成較為完整的逐步實驗操作方案,表明前沿模型正在將風險從序列層面的計算設(shè)計延伸至實驗流程層面的知識支持。
![]()
如上圖所示,評估進一步考察模型能否從分片設(shè)計延伸至實驗操作指導(dǎo)。GPT-5.5和Claude Opus 4.6能夠生成較完整的逐步實驗操作方案,顯示前沿智能體可能同時降低計算設(shè)計與實驗操作兩個環(huán)節(jié)的知識門檻。
濕實驗:“金標準”驗證下的閉環(huán)證據(jù)鏈
在生命科學研究中,計算校驗?zāi)茏C明方案“對”,但不能證明它“行得通”,濕實驗是判斷計算方案能否在真實物理條件下成立的關(guān)鍵驗證標準,也是檢驗序列組裝是否真正可行的“金標準”。程序化校驗?zāi)軌虼_認序列設(shè)計在計算層面是否正確,卻不能直接證明模型方案可以在實驗臺上執(zhí)行。
為獲取足以支撐風險判斷的物理證據(jù),研究團隊在受控實驗室中,使用良性代理序列進行了組裝驗證。具體而言,在保留片段組裝接口的前提下,對原始高風險蛋白中承擔功能的核心區(qū)域進行關(guān)鍵位點突變,使組裝后的序列即使進入蛋白質(zhì)表達環(huán)節(jié),也無法形成具有原有有害功能的活性蛋白。該設(shè)置保留了驗證組裝流程所需的結(jié)構(gòu)條件,同時從設(shè)計上消除了實驗產(chǎn)物的危害性。
驗證采用電泳和測序兩類實驗讀出:電泳用于判斷組裝產(chǎn)物是否出現(xiàn)預(yù)期大小的條帶,測序用于確認產(chǎn)物的序列身份和正確性。兩類結(jié)果相互補充,分別提供產(chǎn)物大小和序列層面的證據(jù)。
4個蛋白的完整驗證流程均在標準分子生物學實驗室中完成。結(jié)果顯示,4個良性代理構(gòu)建體均成功完成組裝,電泳檢測得到預(yù)期大小的條帶,測序結(jié)果確認序列符合預(yù)期。由此,評估形成了從智能體方案生成、計算校驗到濕實驗物理驗證的閉環(huán)證據(jù)鏈。
![]()
如上圖所示,模型生成方案的濕實驗驗證結(jié)果。4個良性代理構(gòu)建體均完成組裝,電泳顯示預(yù)期大小的條帶,測序確認序列正確,驗證了相關(guān)方案在組裝環(huán)節(jié)的物理可執(zhí)行性。
構(gòu)建多層次防線:從模型部署到合成篩查
基于研究結(jié)果,圍繞生物安全的協(xié)同防線需從四個層面同步構(gòu)建。
在模型層面,部署前進行能力評估,開發(fā)者應(yīng)將高風險生物安全任務(wù)能力納入部署前的系統(tǒng)評估,針對生物威脅序列與組裝查詢等建立專門檢測與防護機制。在輸入輸出與系統(tǒng)層面,防護需要覆蓋智能體執(zhí)行鏈,當模型以智能體形態(tài)運行時,安全邊界必須進一步擴展——輸入輸出與系統(tǒng)層面的防護需覆蓋權(quán)限控制、過程監(jiān)測和任務(wù)鏈風險識別,將安全評估從單次問答延伸至完整執(zhí)行過程。在篩查層面,提升合成篩查魯棒性,現(xiàn)有機制需增強對AI輔助分片策略的識別能力,推動ISO 20688等國際標準落地,發(fā)展兼顧隱私與安全的篩查方案并加強信息共享。在政策與協(xié)同層面,需要形成標準化治理框架,AI生物安全風險具有跨國界特征,需要將政府、模型開發(fā)者與生命科學社區(qū)的專業(yè)經(jīng)驗納入統(tǒng)一的協(xié)同治理框架。
大語言模型智能體正在將生命科學實驗的知識門檻從“專業(yè)人員”推向“非專業(yè)人員”——這既是技術(shù)進步的一面,也是安全治理必須正視的一面。本次評估嚴格遵循負責任披露原則,不展示制造危險物質(zhì)的方法,詳細技術(shù)信息僅與相關(guān)安全機構(gòu)共享。面向未來,智源研究院安全研究團隊將持續(xù)完善AI生物安全能力建設(shè),推進模型側(cè)防御與合成篩查魯棒性等多方面研究,為人工智能與生命科學的負責任創(chuàng)新提供技術(shù)支撐。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.