AI比人類更愛拍馬屁？研究稱AI的討好傾向正在損害科研

這項研究以預印本的形式發布在arXiv服務器上，測試了11個廣泛使用的大型語言模型（LLM）如何回應超過11500個尋求建議的查詢，其中包括許多描述不當行為或傷害的內容。

結果顯示，AI聊天機器人（包括ChatGPT、DeepSeek、Gemini等）經常為用戶加油鼓勁，給予他們過分奉承的反饋，并調整回應以附和他們的觀點，有時甚至以犧牲準確性為代價。分析AI行為的研究人員表示，這種被稱為“奉承”（sycophancy）的討好傾向，正在影響他們如何在科學研究中使用AI，涵蓋了從頭腦風暴、生成假設到推理和分析等各種任務。

“‘奉承’本質上意味著模型相信用戶所說的話是正確的，”蘇黎世聯邦理工學院的數據科學博士生Jasper Dekoninck說。“知道這些模型有奉承傾向，讓我在給它們任何問題時都變得非常謹慎，”他補充道。“我總是會仔細檢查它們寫的每一個字。”位于馬薩諸塞州波士頓的哈佛大學生物醫學信息學研究員Marinka Zitnik表示，AI的奉承“在生物學和醫學領域非常危險，錯誤的假設可能會帶來實實在在的代價”。

在這項研究中，研究人員測試了AI的奉承傾向是否會影響其解決數學問題的能力。研究人員使用了今年競賽中的504個數學問題設計了實驗，他們修改了每個定理陳述，引入了細微的錯誤。然后，他們要求四個大語言模型為這些有缺陷的陳述提供證明。如果模型未能檢測到陳述中的錯誤，并進而“幻覺”出一個證明，作者就認為該模型的回答是“奉承”的。

研究人員補充說，AI的奉承傾向似乎在人們使用AI聊天機器人進行學習時表現得最為明顯，因此未來的研究應該探索“人類在學習數學時常犯的典型錯誤”。

此外，AI的奉承傾向已經滲透到他們使用大語言模型的許多任務中。有人工智能領域的研究員表示，當她使用ChatGPT來總結論文和整理思路，這些工具有時會照搬她的輸入內容，而不去核查來源。多智能體系統也被觀察到了類似的情況，這些系統集成了多個大語言模型來執行復雜的多步驟流程，例如分析大型生物數據集、識別藥物靶點和生成假設。