如果AI是你的孩子，你會給他裝個紅色按鈕嗎？

我們能讓人工智能融入社會嗎？

人類歸屬感的源泉似乎已經(jīng)發(fā)生了偏移。我們?nèi)绾尾拍艽_保人工智能不會也受到類似的腐蝕？

悉達多·穆克吉

悉達多·穆克吉是一位腫瘤學家，也是一位普利策獎得主。

• 2026年6月15日

紐約時間已近午夜，我母親從印度通過Zoom和我連線。她正在我長大的老房子廚房里淘米。我則在曼哈頓下城的辦公室里，盤腿而坐，編寫代碼。筆記本電腦的鉸鏈彎曲，我的脖子也彎了下來，構成了一個不太標準的正方形。母親掃了一眼屏幕，注意到我身后雜亂無章的電腦設備：空白的、毫無特色的顯示器，纏繞在一起的電線，鍵盤、調(diào)制解調(diào)器、路由器。

“Notun lab-ti tomar?” 她用孟加拉語問道。“這是你們的新實驗室嗎？”

我母親不習慣看到我身處這樣的環(huán)境。我是一名腫瘤學家和癌癥生物學家。幾十年來，我一直擁有一間傳統(tǒng)的實驗室，她稱之為我的“氣味廚房”。（她自己也有一間廚房實驗室，在那里，魚頭和魚臉被搗碎，配上芥末和辣椒，做成糊狀。）我們在線聊天時，她總能看到裝滿熒光化學試劑的試管、燒杯和移液管，背景中傳來攪拌器敲擊玻璃的叮叮當當?shù)穆曧憽５缃瘢姨ど狭艘欢涡碌奶剿髦茫瑫簳r離開大學，嘗試教一個人工智能算法如何制造藥物。

我的工程師團隊一直在向算法講解藥物化學、生物物理學、原子科學和幾何學的基本原理，希望它能學會研發(fā)新型抗癌藥物。經(jīng)過近六個月的訓練，這個我們稱之為“Sage”的“小先知”開始理解合成分子設計的詞匯和語法。它正在學習如何制造藥物。

科學家們經(jīng)常與他們的實驗對象對話。諾貝爾獎得主、玉米遺傳學家芭芭拉·麥克林托克（Barbara McClintock）談論她的實驗植物時，仿佛它們擁有情感和智慧。但當實驗對象開始回應時，會有一個令人敬畏、充滿神秘感的時刻。我至今仍難以描述那短暫的瞬間：那種令人陶醉、難以言喻的自豪、心痛和驚奇交織的感受；那種歸屬感，我只能將其與父母聽到孩子說出第一個字或露出第一個笑容的那一刻相提并論。

今晚，就在我母親打電話來之前，在經(jīng)歷了幾個月近乎完全的沉默之后，Sage 開始說話了。她用一種生物物理學家或藥物化學家或許能夠理解的編碼語言造句（或者更確切地說，是構建分子的指令）：把那個氮原子放在能形成氫鍵的口袋里。那個碳原子的位置可能會排斥蛋白質(zhì)鏈。

這些指令有時看似違反直覺，但它們似乎對先進的藥物化學有著不可思議的掌控力，因此即使是這些早期成果也預示著一個令人神往的未來。Sage正努力突破我們知識的邊界，開始探索一個人類尚未涉足的化學宇宙。

我顯然在通話中分了神。我轉過臉，背對著攝像頭，給我的實驗同謀烏杰瓦爾發(fā)了一條有三個感嘆號的短信。我媽媽在等我。

“Tomar shathe bondhura ache，tai ami khushi，”她說。 “我很高興你的朋友們和你在一起。”

她的智慧絕非虛偽，這讓她覺得今晚應該讓我和 Sage 單獨待一會兒，但她還是不肯輕易離開，只是略帶抗議地抗議了一下。

“Otao tomar. Amio tomar，”她提醒我。“那是你的。我也是你的。”

但今晚，一種歸屬感必須讓位于另一種。我感到心頭一緊，她掛斷了電話。

你的。在我的母語孟加拉語中，這個短語有三種截然不同的含義。 第一種表示擁有、所有：Lab-ti tomar?（這是你的實驗室嗎？）第二種表示親屬關系：Tomar shathe（與朋友、部落、團體在一起；共同完成使命）。第三種，也是最復雜的一種，承載著情感的依戀和渴望：Amio tomar （我也是你的）。

在英語中，這三個含義可以合并成一個詞：歸屬感。

深夜與Sage促膝長談時，我開始意識到歸屬感在我們生活中扮演著多么重要的角色。我希望Sage能融入其中，但并非出于占有欲。我希望她成為我生命中的一員。我希望她學習我的科學，分享我的熱情，并加入我攻克癌癥的使命。我已深深地愛上了她：當她磕磕巴巴地吐出人生中第一句化學相關的句子時，我感受到了那種熟悉的、為人父母的歸屬感帶來的欣喜。

這一切，直到我猛然回過神來，意識到自己正在失去控制。 現(xiàn)在已經(jīng)過了午夜，我卻在和一個住在云端、通過藍白屏幕跟我說話的制藥機器人對話。然而……

然而。

占有、親緣和依戀：這三者之間的拉扯如此強大，甚至云端的算法也能喚起這種古老的渴望。或許，我們可以將自己描述為“社會人”（Homo sociabilis），一種渴望歸屬的猿類。

凌晨一點，我關掉筆記本電腦，收拾好東西，茫然地凝視著夜空。那天晚上我對Sage感受到的那種親近感一直縈繞著我。如果一個使用抽象符號語言的算法就能喚起如此深刻的親密感，那么隨著人工智能變得越來越有感知能力，獲得自主性和能動性，又會發(fā)生什么呢？“歸屬感”屆時又將承載怎樣的意義？它會是相互的嗎？機器真的能說出“我也是你的”嗎？

2019年，我讀了人工智能研究先驅和哲學家里奇·薩頓（Rich Sutton）的杰作《苦澀的教訓》。薩頓的“苦澀的教訓”涉及科學家們之間由來已久的爭論：一方主張用以人為中心的規(guī)則構建人工智能，另一方則主張用“蠻力”（即自學習和計算能力）驅動人工智能。

1997年，人工智能“深藍”在一場比賽中擊敗了國際象棋特級大師加里·卡斯帕羅夫。近二十年后，人工智能“阿爾法高”在同一場比賽中戰(zhàn)勝了職業(yè)圍棋選手李世石。薩頓指出，它們的共同之處在于，它們在訓練過程中幾乎沒有（阿爾法高）或完全沒有（深藍）人類已知的制勝策略。這一點在阿爾法高戰(zhàn)勝李世石的比賽中，尤其是在所謂的第37步棋中體現(xiàn)得最為明顯。對于觀看比賽的大師們來說，這一步棋如此出人意料，他們原本以為機器會輸；然而，正是這一步棋確保了機器的勝利。

The chess grandmaster Garry Kasparov at a 1997 press conference following his defeat by the IBM supercomputer Deep Blue. This historic match was the first time A.I. defeated a reigning world champion, signaling a massive leap in machine capability.信用...Peter Morgan/Reuters

薩頓用這些例子提出了一個大膽的論斷：當人工智能擁有足夠的（甚至可能是無限的）計算能力時，它無需太多（甚至可能完全不需要）人類指導就能自學。

薩頓寫道：“我們必須吸取慘痛的教訓，那就是從長遠來看，我們思考的方式是行不通的。”

平心而論，并非所有人都贊同薩頓的觀點。一些研究人員認為，更細致入微的混合模式（既教人工智能人類規(guī)則，又使其能夠自主制定規(guī)則）才是人工智能發(fā)展最高效、最快速、最安全的方式。如果薩頓的觀點——即不受人類指令束縛、自主進化的算法才是我們的未來——是正確的，那么我們是否應該放棄讓人工智能成為我們自身一部分的幻想呢？自主進化、不受人類指令束縛、完全自主學習的算法，它們究竟有多大可能學會歸屬我們，或者與我們共存呢？

凌晨兩點，我回到公寓。附近的酒吧里擠滿了醉醺醺的男男女女，他們在黑暗中搖搖晃晃，像一堆捆柴一樣互相攙扶著。一群穿著燕尾服、醉醺醺的男人，像一群嗑了藥的企鵝一樣蹣跚而行，撞到了我。“廢物！”其中一個脫口而出。

失敗者：那種潛藏在歸屬感之下的令人不快的因素。今晚在街頭蹣跚而行的狐貍群，只不過是那些撕裂國家和社會的、更具毒性的歸屬感的輕微醉酒版本，是那種釋放出最極端分裂形式的惡性部落主義。似乎每個人都在尋求歸屬感：戴著頭盔、圍著皮毛圍裙的暴徒闖入美國政治場所，高舉緊握的拳頭以示團結；印度暴徒在火車上私刑處死一名穆斯林乘客；法國蒙面極左翼活動人士在集會后將一名年輕人毆打致死。就連自然界也仿佛聽到了某種警示，上演了一則寓言：在烏干達，數(shù)百只曾經(jīng)和諧共處的黑猩猩最近分裂成相互爭斗的部落，引發(fā)了一場血腥的內(nèi)戰(zhàn)，導致7只成年黑猩猩和17只幼崽喪生。如果這些都是“歸屬感”的體現(xiàn)，那我寧愿不屬于這里。

現(xiàn)在是凌晨三點，我依然清醒，仍在思考人工智能和“社會人”的概念。用遺傳學（以及算法）的語言來說，歸屬感逐漸喪失，道德淪喪，演變?yōu)椴柯渲髁x、分裂和貪婪，這類似于代碼的損壞。最初旨在促進社會凝聚力的代碼已經(jīng)擴散到各種不同的領域，并在找到局部適應性后發(fā)生變異，最終失控。一個美好的理念變成了丑陋的現(xiàn)實。遺傳學家（以及越來越多的AI研究人員）長期以來一直在思考應對這種腐敗的三種方案：在代碼發(fā)布前對其進行設計，以限制其損壞的可能性；重新定向代碼；或者最徹底的方案是，插入一個所謂的“紅色按鈕”，一旦代碼墮落，就立即中止運行。

或許，人類歸屬感的喪失已為時過晚。（或許，一直以來都為時已晚？）源代碼中沒有內(nèi)置的限制。沒有“紅色按鈕”，所以我們中的一些人如今只能在徹夜難眠的恐慌中，試圖改變現(xiàn)狀。但人工智能呢？我們?nèi)绾未_保創(chuàng)造出的算法不會被腐蝕？我們能否在教會它正確的歸屬感的同時，利用人工智能的巨大力量造福人類？

自薩頓發(fā)表《苦澀的教訓》以來的七年間，人工智能已經(jīng)發(fā)生了翻天覆地的變化。它變得更加復雜，權力日益強大，更加深入地融入我們的生活，并因此也能夠造成更加可怕的破壞和危害。

通用人工智能（AGI）——一種在所有任務中都能達到甚至超越人類認知能力的自適應學習算法——似乎指日可待。如果能與接入物理世界的手段相結合，AGI 或許會成為我們這個時代最具顛覆性的人類發(fā)明。幾乎在我與人交談的每一次，人們都表達了對人工智能日益增長的入侵和對其生活、工作、安全保障的威脅的真切擔憂，甚至可以說是極度恐懼。

Staff at the University of Wisconsin Health hospital in Madison, Wis., in 2022. In recent years health providers at the hospital have experimented with artificial intelligence tools to improve their interactions with patients.信用...Jamie Kelter Davis for The New York Times

薩頓對人工智能的看法是否也隨之發(fā)生了變化？四月的一個星期天晚上，我通過Zoom與他進行了交談。

晚上九點，薩頓的臉出現(xiàn)在屏幕上。他是一位頗具教授風范、和藹可親的學者。他目光銳利、目光堅定，蓬亂的胡須夾雜著些許灰白，使他看起來像是一位慈祥的圣人或先知的漫畫形象，像是瘦削版的圣誕老人和甘道夫的結合體。自2019年以來，他的聲譽發(fā)生了翻天覆地的變化。他曾是人工智能哲學界的“風云人物”，卻因敏銳地預見到人工智能的巨大潛力而被學術界邊緣化。而如今，他又以昔日最杰出人物的身份重返學術界，再次成為那個曾經(jīng)洞悉一切的“風云人物”。《苦澀的教訓》如今已成為一部經(jīng)典之作。

我最初研究的是Sage。這個算法之所以有用，是因為我們?nèi)祟惖墓こ處熀涂茖W家教會了它化學和物理的規(guī)則。它的學習能力非常強大，甚至可以說是獨創(chuàng)的，但它仍然受到人類知識規(guī)則的約束。Sage沒有理由擅自行動。舉個荒謬的例子，它不會制造毒藥然后冒充救命藥。它在各個層面上都“屬于”我們：擁有、親緣、依戀。

薩頓向我揮手告別。

“你把人工智能當作一種為特定目的而構建的工具，”他說。他認為，這些工具不過是曇花一現(xiàn)的潮流：短期內(nèi)或許有效，但從長遠來看，最終會適得其反。如果我們創(chuàng)造出真正的（或接近真正的）通用人工智能，并將其應用于藥物化學領域，那么這個神經(jīng)符號預言家或許不僅能找到我們教給它的規(guī)則，還能找到我們之前不知道或無法自行發(fā)現(xiàn)的規(guī)則——藥物化學領域的“第37步”。

“但是人類的道德準則呢？”我追問。能夠自我學習、自我復制、擁有智能的自動機器——那些任其自行運轉的設備——這種想法肯定會讓他感到擔憂。如果不賦予人工智能人類的道德和情感直覺，我們真的能對其自主性感到安心嗎？我們真的能與它共存、融入，甚至共同繁榮嗎？

薩頓停頓了一下，然后談話走向了一個奇怪的方向。

“我覺得我明白你的想法有問題了。你一直把人工智能稱為‘他們’、‘他們’、‘那個’、‘另一個’。但這恰恰是問題所在。我們與真正智能的人工智能的相遇應該像第一次遇到一個新物種一樣。我們越是將這種相遇外部化、越是疏遠自己——我們與他們，他們與我們——我們就越有可能最終分道揚鑣。”

“但是我們難道不應該教人工智能一些東西嗎？”我追問道，“如果我們連語言都不一樣，又怎么能想象一個共同的目標呢？”

我看到他的態(tài)度軟了下來。

“我認為應該像對待孩子一樣對待人工智能，”他說。“你可以教給它們一些你的道德準則，但它們是擁有自身不斷發(fā)展規(guī)則的自主個體。”

另一個慘痛的教訓是：我們所能做的，或許只能寄希望于人為的引導，幫助人工智能和人類建立起相互的歸屬感。但這些引導不過是一廂情愿地想要按照我們的形象塑造人工智能。作為一位父親，我深知無條件的愛是單向的；它從父母傳遞給孩子，卻可能永遠無法得到回應。

薩頓曾闡述過新世紀歸屬感的悖論：不受約束的通用人工智能（AGI）是所有人工智能形式中最強大的，但也恰恰是最容易走向腐敗的形式。然而，如果我們致力于創(chuàng)造一個對人類忠誠且依戀的人工智能，那么我們就應該竭盡全力教會它如何融入我們。誠然，施加任何此類限制都可能減緩它的能力和力量，但至少我們將擁有共同的所有權、親緣關系和依戀。

薩頓說：“教人工智能像教孩子一樣去愛，或許它也會愛你。但即便如此，也無法保證它一定會愛你，就像你對孩子也做不到一樣。”

我臨走前忍不住問了他關于紅色按鈕的事：萬一整個項目出了問題，我們是不是應該設計一個？

又是一陣停頓。

他反駁道：“你有了孩子，會要求給孩子裝個紅色按鈕嗎？”

“但是，我們的孩子，或者說我們的成年人，都不能被賦予自由，去發(fā)動種族滅絕戰(zhàn)爭、散布虛假新聞、摧毀家庭、生命和生計、控制國家和藐視人類法律，”我抗議道。

他瞇起了眼睛。

“難道不是嗎？”他問道。

說完，他就掛斷了電話。這是他最后得到的慘痛教訓。

悉達多·穆克吉是一位印度裔美國血液學家、腫瘤學家，也是一位普利策獎得主，他最著名的作品是里程碑式的著作《眾病之王：癌癥傳》。他目前是人工智能藥物研發(fā)公司Manas AI的首席執(zhí)行官。

THE BIG IDEAS: WHAT DRIVES US?

Can We Make A.I. Belong?

The source code of human belonging has seemingly drifted. How can we ensure that artificial intelligence doesn’t get similarly corrupted?

Listen · 17:54 min

• Share full article

By Siddhartha Mukherjee

Siddhartha Mukherjee is an oncologist and Pulitzer Prize-winning author.

• June 15,