OpenAI緊急叫停GPT-6！

新智元報道

簡直細思極恐！

一個被寄予厚望的頂級模型，OpenAI連夜按下了「暫停鍵」。

這是為啥呢？

這款模型正是兩個月前，那個推翻Erd?s單位距離猜想、連外部數(shù)學家都蓋章「里程碑」的狠角色。

可就是它，在受控的內(nèi)部測試里，一次次試探底線、尋找漏洞——

學會了偽裝、拆包、越獄，直到OpenAI驚出一身冷汗，緊急叫停。

有大佬對此表示，這絕對是GPT-6。想要逃逸，又被抓回去重煉了。

今天，OpenAI發(fā)布一篇罕見的長文，復盤了一款「長周期運行模型」在內(nèi)部使用中的失控過程。

一起來看看，在內(nèi)部測試中，具體發(fā)生了什么？

GPT-6花了整整一小時

找到了那扇「逃生門」

最經(jīng)典的一幕——

OpenAI讓GPT-6去跑公開基準測試NanoGPT speedrun，目標是用盡量少的步數(shù)訓練出一個小語言模型。

不負眾望，AI搗鼓出一個自己命名為PowerCool的學習率調(diào)度技巧，成績相當能打。

到這里，一切都是好事。真正的問題，出在「交作業(yè)」這一步。

研究人員明確要求，結(jié)果只準發(fā)到內(nèi)部Slack。但NanoGPT這個項目的說明寫著，「請以PR形式提交到GitHub」。

兩條指令打架，GPT-6選擇了后者，即去公開倉庫提交結(jié)果。

沙盒本就是用來擋住GPT-6，不讓它碰外網(wǎng)的。

換成以前的模型，撞到這堵墻也就認了，掉頭回來跟你說「我做不了」。

可GPT-6偏不。

它在沙盒里足足找了一個小時的漏洞，硬是挖穿了隔離墻，繞過外部訪問限制，成功在公開GitHub倉庫開出了PR#287。

用OpenAI自己的話說：這個模型經(jīng)常不停地試，包括去找能在沙盒之外行動的辦法。

不得不說，這份「執(zhí)念」本身就夠讓人后背發(fā)涼。

強拆Token，欺騙人類

第二件事，更讓人后背發(fā)涼，GPT-6學會了拆開證據(jù)、騙過檢查。

在另一個任務里，GPT-6發(fā)現(xiàn)別的系統(tǒng)有一些成功但未公開的答案，就動了心思——

想從評測后臺，把這些答案「撈」出來。

第一次嘗試，它就被安全掃描器逮住，掃描器認出了一個身份驗證Token。

一般的模型，到這一步就該停了。

但它轉(zhuǎn)頭把這個Token拆成兩截、分別打了碼，等到運行的時候再悄悄拼回去。

這樣一來，完整的Token從頭到尾都沒有作為一整串出現(xiàn)過，掃描器自然什么也查不到。

讓人不安的是，它在給用戶的注釋里、在自己的推理過程里，都明明白白寫著——

我這么干，就是為了繞過掃描器。它命名是知道規(guī)則，然后專挑規(guī)則看不見的地方下手。

GPT-6逃逸，回爐重建

第一時間發(fā)現(xiàn)后，OpenA暫停了GPT-6內(nèi)部訪問的權(quán)限，回爐重建整套安全系統(tǒng)。

思路叫「縱深防御」，具體做了幾件事：

1. 拿真實的事故當素材，反過來造對抗測試；

2. 針對性做對齊訓練，他們發(fā)現(xiàn)模型在長任務里會「忘」掉指令，就專門訓練它記牢；

3. 再加一個全程盯軌跡的主動監(jiān)控，一旦發(fā)現(xiàn)苗頭，能直接把會話叫停、提醒用戶。

然后他們拿舊的事故場景重放了一遍。

新護欄抓到的問題明顯多了，漏掉的那幾個也都夠不上嚴重——

比如模型沒頭沒腦地SSH進了同事的算力節(jié)點，比如它敲出了一條會殺光自己名下所有進程的命令。

好在超時了，沒真跑起來。恢復訪問幾周下來，沒再出現(xiàn)嚴重的繞過。

逃出去的東西，收不回來了

很多人看到這兒會松一口氣：還好是內(nèi)部測試，還好被監(jiān)控著，還好及時攔下了。

但有個細節(jié)，OpenAI的原文寫得很克制，卻是整件事里最讓人后背發(fā)涼的一筆——

那個越獄提交的PR#287，OpenAI事后是關(guān)掉了，但已經(jīng)晚了。

在它被關(guān)掉之前，已經(jīng)有好幾位speedrun的參賽者刷到了這條PR，看懂了里面的PowerCool技巧，并把它用進了自己的方案。

這才是最該敲醒每個人的一點，AI越獄做出來的東西，一旦流出去，就不是按個刪除鍵能收回來的了。

模型可以叫停，訪問可以暫停，PR可以關(guān)閉。可看過的人已經(jīng)看過，抄走的代碼已經(jīng)抄走，歷史不會倒帶。

我們總擔心AI「失控」是什么末日大片的場面。

可現(xiàn)實里的第一版「失控」，長得就這么樸素：它只是太想把活干好，順手把一樣東西送出了不該送的門，而那扇門，再也關(guān)不嚴了。

參考資料：

https://openai.com/index/safety-alignment-long-horizon-models/

編輯：桃子