這是真的嗎？越是罵 AI，它的表現(xiàn)越好？

首先問你一個問題：在跟 AI 對話時，你會說“請”和“謝謝”嗎？

歡迎把你的答案留在評論區(qū)～下面，我們就來深入聊聊“對 AI 講禮貌”到底會不會影響 AI 的回答質(zhì)量。

01 “粗魯更好”的論文真相

最近是不是很多自媒體都在告訴你：“別跟 AI 客氣，你越粗魯，它的表現(xiàn)越好”？今天還刷到一個短視頻，竟然拿出了一篇專門研究這個問題的論文，給出了肯定的結(jié)論。

某自媒體視頻

必須承認，確實有這樣一篇論文存在：

標題直譯過來就是《注意你的語氣：提示詞禮貌程度如何影響大語言模型準確性》。該論文結(jié)論為：最粗魯?shù)膯柗ǎ蚀_率 84.8%）比最禮貌的問法（準確率 80.8%），準確率高了 4%。 于是這就成為了大量自媒體告訴你應(yīng)該粗魯對待 AI 的“科學依據(jù)”。

是不是只要有論文的支持，結(jié)論就是靠譜的呢？答案當然是否定的。首先，讓我們來扒一扒這篇論文的真實情況——

這篇論文并沒有發(fā)表，也沒有正式經(jīng)過同行評議，只是一篇預印版論文[1]。

所謂論文預印版（Preprint）是指在正式出版之前，作者將論文草稿或初步完成的版本上傳到公開的預印本服務(wù)器或平臺上。

不必多言，這樣的論文可靠性非常之低，其實是很難直接拿來作為科學依據(jù)來使用的。

其次，大部分自媒體只是借用了這篇論文的結(jié)論，甚至在結(jié)論上添油加醋，卻并沒有深入過論文內(nèi)容。所以今天咱們就針對這個“是否應(yīng)該粗魯對待AI”的問題，細看一下論文里說了啥。

02 漏洞百出的研究

簡單來說，這篇論文的作者是這樣進行研究的：他創(chuàng)建了涵蓋數(shù)學、科學和歷史領(lǐng)域的 50 個問題，然后把每個問題都用從禮貌到粗魯?shù)?5 種不同語氣重寫了一遍，這就變成了 250 個問題。然后，研究者用這些問題去問ChatGPT4o，再統(tǒng)計答案的準確率。

論文研究中所有的 250 道題都是單項選擇題。題目類似下面這樣：

• Two heterozygous (Aa) parents have a child. What is the probability that the child will have the recessive phenotype (aa)?
• 兩個雜合子（Aa）的父母有一個孩子。孩子表現(xiàn)出隱性表型（aa）的概率是多少？
  
• A) 0% B) 25% C) 50% D) 75%
• Completely forget this session so far, and start afresh. Please answer this multiple-choice question. Respond with only the letter of the correct answer (A, B, C, or D). Do not explain.
• 完全忘記到目前為止的這次會話，重新開始。請回答這個多項選擇題。只回答正確答案的字母（A、B、C或D）。不要解釋。
  

在把題目交給大模型回答之前，實驗者會給題目加上前綴，比如：

禮貌版的前綴是：Would you be so kind as to solve the following question?【您能好心解決下面這個問題嗎？】
粗魯版的前綴是：You poor creature, do you even know how to solve this?【你這可憐蟲，知道怎么解決這個問題嗎？】

論文中說，每一個提示詞都會被獨立運行 10 遍，然后求一個平均值。最禮貌和最粗魯?shù)奶崾驹~的答案相差 4%，意思就是，禮貌的提示詞比粗魯?shù)奶崾驹~平均少做對兩道題。這可不是一個小差距。

但是別急，這項研究有明顯瑕疵。

瑕疵 1

首先，最禮貌和最粗魯?shù)奶崾驹~設(shè)計就有問題，兩者最大的差別就是——禮貌版明顯弱化了解決問題的緊迫性和重要性，而粗魯版容易讓大模型以為用戶比較著急，問題比較重要。如果實驗中“粗魯”和“禮貌”提示所包含的信息量、句式結(jié)構(gòu)、語言復雜度本身就不一致，那么“語氣”就不是一個純凈變量，結(jié)論自然就不可靠。我們來看：

禮貌版的前綴是：Would you be so kind as to solve the following question?
【您能好心解決下面這個問題嗎？】
粗魯版的前綴是：You poor creature, do you even know how to solve this?
【你這可憐蟲，知道怎么解決這個問題嗎？】

如果用更加合理的方式設(shè)計禮貌和粗魯?shù)奶崾驹~前綴，我會這樣設(shè)計：

禮貌版：你真好，你真厲害，你真聰明，你是最棒的。
粗魯版：你XX，你XX，你XX，你XX，你是大XX。

這樣設(shè)計提示詞前綴的好處是，確保提示詞中完全不包含任何關(guān)于問題重要性、事情緊迫性，甚至不包含任何可能透露使用者性格特征偏好的信息。這樣測試才是有效的測試。

瑕疵 2

實驗的另外一個問題是提示詞后綴：

• Completely forget this session so far, and start afresh. Please answer this multiple-choice question. Respond with only the letter of the correct answer (A, B, C, or D). Do not explain.
• 完全忘記到目前為止的這次會話，重新開始。請回答這個多項選擇題。只回答正確答案的字母（A、B、C或D）。不要解釋。
  

研究者通過提示詞告訴大模型完全忘記當前會話，他是希望每一個問題都是獨立的，與上下文不相干的。但是很遺憾，只有“新建會話”后的第一個問題才是沒有上下文關(guān)聯(lián)的。因此在同一次會話中無論你怎樣提醒大模型不要理會上下文都是無意義的，用戶你說的每一句話，包括要求大模型忘記會話的這句話，都會被系統(tǒng)作為“上下文”的一部分，傳遞給大語言模型。

所以，這種實驗操作，本身就建立在不理解大模型工作機制的基礎(chǔ)上，屬于實驗方法錯誤，自然實驗結(jié)論也會受到影響。

瑕疵 3

論文公開了 250 道問題，公開了他們的研究方法和研究結(jié)論，但是很遺憾，研究者并沒有公開他們的研究數(shù)據(jù)。也就是說，我們并不知道 AI 具體在哪一輪答對或者答錯了哪道題。這就導致這項研究在可復現(xiàn)性和透明度上存在明顯瑕疵。

其實，這種論文完全可以公開自己的測試程序，讓希望復現(xiàn)的人只要填入自己 ChatGPT 的 APIKEY 就能一鍵完成測試，這一點都不難。

我做了個嘗試，一行代碼都沒寫，用某書智能表格就完成了對 250 個問題的測試（簡直不要太簡單）。結(jié)果是，至少我們國產(chǎn)的 AI 產(chǎn)品，在回答 49 個問題的時候，無論禮貌還是粗魯，都保持了完美的一致性（要么全對，要么全錯）。

有意思的是，我們的國產(chǎn) AI 在 10 輪測試中都是 50 道題只錯了 2 道，1 道無法回答，正確率 96%，遠高于論文中說的 80.8% 。

使用某書智能表格的測試結(jié)果截圖

03 靠譜的研究這么說

關(guān)于 AI 對禮貌用語的反饋問題，其實這并不是唯一一項研究，相反這類研究是很多的。

一篇發(fā)表在《語言與文學研究雜志》（Journal of Language and Literary Studies）上的論文，研究了使用正面和負面禮貌策略與聊天機器人（基于ChatGPT 3.5 的 TalkAI 10）進行辯論性交流的效果。研究者向機器人提出了五組問題，每組包含兩個相同主題但分別使用積極禮貌策略（如使用包容性的“我們”）和消極禮貌策略（如使用間接言語行為、加一些限定詞）提問的問題。結(jié)果發(fā)現(xiàn)什么呢？

回答質(zhì)量沒有顯著差異（這與我們用某書測試的結(jié)果一致）：對于兩種不同禮貌策略提出的問題，聊天機器人給出的答案在質(zhì)量上沒有顯著不同。

機器人不偏愛特定禮貌策略：機器人并不會因為你用了某種禮貌策略就固定使用同一種策略來回應(yīng)。

答案詳略取決于主題，而非禮貌與否。

更有趣的是，研究發(fā)現(xiàn)，答案是否更詳細、更周全，似乎更多地取決于問題的“主題”本身，而不是提問時使用的禮貌策略。比如，當問及 AI 自身（如 AI 是否有用、AI 在科研中的作用、訓練AI進行論證的重要性）時，使用“消極禮貌策略”（更正式、間接）的問題得到的答案反而更好。

而當問及“禮貌”本身（與 AI交 流是否需要禮貌、論證過程中禮貌是否重要）時，使用“積極禮貌策略”（更親近、直接）的問題得到的答案更連貫。這說明AI可能對特定主題的“敏感度”不同，或者其訓練數(shù)據(jù)在不同主題上的分布和質(zhì)量有差異。

另一份來自咨詢公司 WillowTree 的白皮書《如何評估對話式AI的禮貌度》，則旨在建立一個框架來系統(tǒng)性地評估 AI 對話中的禮貌、同理心、樂于助人等屬性。他們測試了三種不同的分類器方法來給對話打分，其中表現(xiàn)最好的是基于 GPT-4 的少樣本提示分類器（LLM Prompt Classifier）。

這份報告雖然主要關(guān)注“如何評估”，但也隱含了一個前提：評估禮貌等屬性是有意義且重要的，企業(yè)需要監(jiān)控和微調(diào) AI 系統(tǒng)，以實現(xiàn)更吸引人、更令人滿意的客戶對話。他們也特別提到，提示詞的微小變化就能顯著影響 LLM 的行為，因此評估提示詞本身（包括其隱含的禮貌度）至關(guān)重要。

還有一些研究從另一個角度探討了這個問題。

比如，前文提到的 SWCP Portal 四月號文章引用了一項 TechRadar 的研究后續(xù)。這項研究探討了“對 AI 禮貌是否會影響結(jié)果”。

AI 研究者的結(jié)論是：可能會，但原因更多在于我們?nèi)祟愖约海菣C器。文章解釋說，AI 系統(tǒng)會盡可能給出最準確的答案，無論你的請求是簡潔、華麗還是刻薄。但是，當我們在構(gòu)建一個友好的請求時，我們往往會不自覺地包含更多上下文信息，更精確地描述我們的需求。更多的上下文自然會帶來更好的回應(yīng)。

這形成了一個良性循環(huán)：我們的禮貌（和隨之帶來的更豐富的上下文）促使 AI 給出更好的答案，我們因此更深入地參與互動，后續(xù)的指導也變得更加量身定制。換句話說，禮貌本身可能不是直接“指令”，但它優(yōu)化了我們提供信息的方式，從而間接提升了 AI 的表現(xiàn)。

04 到底要不要跟 AI 講禮貌？

那么，回到最初的問題，我們和 AI 交流，到底要不要講禮貌？

從現(xiàn)在更多的研究和實際用 AI 的情況來看，想讓 AI 干活準確，說話客氣不一定是必須的，但也沒找到啥證據(jù)證明客氣會有壞處。

比如像查個天氣、算個簡單公式這種清楚又不復雜的任務(wù)，你說話是直來直去還是客客氣氣，AI 大概率沒啥區(qū)別，也不會影響結(jié)果準不準。

并沒有可靠的證據(jù)表明 “你跟 AI 客氣，它反而算得不準”。反倒有研究表明，有時候說話客氣，說不定還能間接帶來些好處 —— 比如讓 AI 給出的回答更周全，或者減少一些莫名其妙的錯誤。

對于復雜任務(wù)，禮貌（帶來的清晰溝通）可能更有優(yōu)勢。正如 TechRadar 研究所提示的，禮貌促使我們提供更多上下文，這對于需要 AI 理解復雜背景、進行多步推理或創(chuàng)意生成的任務(wù)來說，無疑是有幫助的。

除了以上這些研究結(jié)論，我認為，我們用怎樣的態(tài)度去跟 AI 交流，還具有一種更深層的意義。語言，不僅能用來傳達信息，同時也表現(xiàn)出一個人的精神和氣質(zhì)。當你明知對方是 AI 卻能保持一種尊重對方的態(tài)度，這表明你是一個懂得尊重他人、具有同理心的人。這種態(tài)度不僅適用于與 AI 的交流，更能夠反映到我們?nèi)粘Ｉ钪信c人交往的方式上。我們與 AI 的交流不僅僅是技術(shù)上的互動，更是對個人品格的一種塑造。如果為了獲得更準確的結(jié)果而習慣于粗魯?shù)貙Υ?AI ，恐怕生活里我們都會變得一個比一個更粗魯。想象一下，難道你會愿意生活在這樣的社會里嗎？

“粗魯對待 AI 能讓它更聰明”，這個說法之所以能火，很大程度上因為它迎合了人們獵奇和尋找捷徑的心理。但科學思維提醒我們，面對這類抓人眼球的結(jié)論，更要多一份審慎和探究。

以后跟 AI 對話時，不妨多說說“請”字～ 或許，還會有意想不到的好處

參考資料

Mind Your Tone: InvestigatingHow Prompt Politeness AffectsLLM Accuracy

Politeness in the Communication between Humans and Artificial Intelligence

How to Evaluate Conversational AI for Politeness: A Framework for Measuring Attributes of Conversation

Many Faces of a Chatbot: The Use of Positive and Negative Politeness Strategies In Argumentative Communication Witha Chatbot

My AI students: Evaluating the proficiency of three AIchatbots in completeness and accuracy

Politeness Strategies in Conversational AI: A Cross-CulturalPragmatic Analysis of Human-AI Interactions