錨點：別被騙了！大模型會一本正經(jīng)的胡說八道 | 袁嵐峰

袁鳴：我前一陣采訪一位著名的表演藝術(shù)家，我要跟她做一個對談。我去搜查資料、找資料，它就說她演過什么戲。結(jié)果在現(xiàn)場，我就特別誠懇地跟她說：“您演的這個戲怎么樣，那個戲怎么樣？”然后她說：“我沒演過這些戲。”當(dāng)場你知道嗎？那種窘迫，我就覺得特別不好意思。但是我是那么地信任它，我哪知道它還真的就騙我了。

陳小平：這其實說明一個問題，就是有了新的人工智能，傳統(tǒng)的技術(shù)未必就是完全過時。比如說我們?nèi)绻萌斯ぶ悄堋⒂么竽Ｐ妥隽艘恍z索，它有可能很快告訴你一個結(jié)果。我們驗證的時候，還是需要用傳統(tǒng)的搜索引擎去找原始資料，看能不能找著。找著了，你核對一下，核對正確就沒問題了；如果找不著，那可能就是出錯了。

袁鳴：為什么？這我就很好奇。

陳小平：比如說，你問它某一個人的代表作，我們想的是那個人，我先要把那個人定位了。但是它其實就認(rèn)的是那個人的名字，所以它可能和另外一個同名的人可以混淆。而且呢，它甚至說那個名字比較像的，它都有可能混淆。它有一個特殊的機制：它不是每次都回答它認(rèn)為最可靠的答案，不是的，它故意會以一定的概率選一些不太可靠的答案。

為什么這樣？如果每次都選最可靠的，它說話就很啰嗦。所以它就有這么一個機制，它有一個叫溫度的超參數(shù)。

袁鳴：溫度，就是我們知道的那個溫度？

陳小平：那個溫度參數(shù)值不同的時候，它的關(guān)聯(lián)范圍會放大，可靠性降低，但這樣說出話會很有意思。所以這種機制在聊天的時候就特別好。聊天，有時候聊到你沒想到的，甚至話題都跑了，但是你覺得很有意思。

袁鳴：有意思。您能不能夠給我們比較簡單地解釋一下，我們怎么才能用好它，別被它騙？

陳小平：大模型通過訓(xùn)練到底學(xué)會了什么？它學(xué)會的不是那些數(shù)學(xué)公式，它學(xué)會的是一些例子。這個例子是天量的，不是海量，比海量還要多。這些例子里有的是對的，有的是不對的。

袁鳴：它在學(xué)的時候，其實它也不知道這些例子對不對。

陳小平：它沒辦法知道。

袁鳴：它并沒有做這個判斷。

陳小平：現(xiàn)在人工智能是沒有辦法判斷，數(shù)據(jù)本身可能有錯。另外數(shù)據(jù)實際上是遠(yuǎn)遠(yuǎn)不夠的，所以需要靠算法賦值。算法賦值就有很多人為的因素，人覺得我這樣賦值是合理的，但是人的這種判斷如果沒有理論的支持，它不保證人的判斷永遠(yuǎn)是對的。這樣就傳遞給大模型了，就會有些錯誤的東西傳進(jìn)去了。

袁鳴：以訛傳訛了。

陳小平：所以我們平時常見的例子，它確實是對的。所以我們普通人會覺得：這么難的一個問題它都是對的，根據(jù)我們的習(xí)慣，那簡單的問題它都是對的。實際上不是，這個很難的問題它是對的，很簡單的問題它同時會錯。

袁鳴：為什么會這樣？

陳小平：它是這樣：越簡單的東西，數(shù)據(jù)里的干擾越多。所以難的問題干擾少，反而容易對。簡單的問題，各種不同的簡單的問題看上去都很像，但是答案是不同的。這個時候它處理的時候它就有干擾，它就沒辦法學(xué)到正確的例子。

袁鳴：最近我老看他們比賽，什么人工智能誰做奧數(shù)題做得最好，誰高考題每次高考做完誰的出分最高。

陳小平：對。

袁鳴：其實就說明了您這個。

陳小平：就是說明這個例子。像那些特別是很難的數(shù)學(xué)的題，和這些題目能夠發(fā)生統(tǒng)計干擾的例子是很少的。那些題目都很抽象，例子很少的，它只要訓(xùn)練到了，它就能。

袁鳴：就是刷題刷到了沒有，刷到夠了就可以。

余明鋒：而且刷到的題，做的答案都是對的。

袁鳴：這個很重要。

《錨點》新年特別策劃，在云巔之上展開一場科技與人文的跨界對話。當(dāng)人工智能賦能千行百業(yè)，我們聚焦智能的尺度，探討人工智能將如何深入影響我們每個人的生活。

《錨點》春節(jié)特別節(jié)目“思想光年”第一期，上海廣播電視臺主持人袁鳴與三位專家（中國科學(xué)技術(shù)大學(xué)機器人實驗室主任、中國人工智能學(xué)會人工智能倫理與治理工作委員會主任陳小平教授、上海工程技術(shù)大學(xué)校長、瑞典皇家工程科學(xué)院院士婁永琪教授、同濟大學(xué)哲學(xué)系余明鋒副教授）在上海之巔（上海中心大廈126層）座談，東方衛(wèi)視2026年2月25日播出。本片為精彩片段，25分鐘的全片可見于上海廣播電視臺“看看新聞”網(wǎng)站（https://www.kankanews.com/detail/PbwR0R7zgy4）、app以及視頻號。

■錨點節(jié)目在嗶哩嗶哩上線了！

2025年1月1日，我和上海廣播電視臺合作的科學(xué)家對話節(jié)目《錨點》在東方衛(wèi)視開播，每周三22:00播出。經(jīng)常有朋友問全片回放在哪里看，以前唯一可看的地方是上海廣播電視臺的“看看新聞”網(wǎng)站，在其中搜“錨點”就可以看到。從11月5日開始，錨點節(jié)目在嗶哩嗶哩上線了！歡迎大家關(guān)注新開的“東方衛(wèi)視錨點”賬號，歡迎大家在B站觀看錨點全片，在“東方衛(wèi)視錨點”賬號或者我的賬號“袁嵐峰”或者B站紀(jì)錄片頻道都可以看到。真科學(xué)，真對話，歡迎大家來到錨點！

■ 作者簡介

袁嵐峰

中國科學(xué)技術(shù)大學(xué)科技傳播系副主任

中國科學(xué)技術(shù)大學(xué)合肥微尺度物質(zhì)科學(xué)國家研究中心副研究員

科技與戰(zhàn)略風(fēng)云學(xué)會會長

風(fēng)云之聲

科學(xué) · 愛國· 價值