機器學習研究驚現欺騙行為 ChatGPT能否真的在麻省理工學院畢業？

一個(ge) 機器學習(xi) 工程師發推特說：“這太瘋狂了！”一家專(zhuan) 注於(yu) 人工智能新聞的賬號稱這是一項“開創性的研究”。這項研究聲稱，ChatGPT能夠以100%的準確率完成麻省理工學院的數學、計算機科學和電氣工程本科課程。

它每個(ge) 問題都答對了。

這項研究於(yu) 6月中旬發布，是一篇未經同行評審的預印本。但它有15位作者，其中包括幾位麻省理工學院的教授。研究中有著彩色編碼的圖表和充滿統計數據的表格。考慮到最近幾個(ge) 月聊天機器人表現出的無所不知的能力，AI能夠畢業(ye) 於(yu) 麻省理工學院似乎並不完全不可思議。

然而，就在發布後不久，三位麻省理工學院的學生仔細研究了這項研究的方法以及作者用來得出結論的數據。

他們(men) 對發現的內(nei) 容感到“驚訝和失望”，發現存在“明顯的問題”，據他們(men) 看來，這意味著ChatGPT通過欺騙的方式順利通過了麻省理工學院的課程。他們(men) 把他們(men) 詳細的批評命名為(wei) “不，GPT4並不能在麻省理工學院表現出色”，並加了一個(ge) 捂臉的表情符號以強調他們(men) 的評估。

剛開始的時候，這篇研究似乎是記錄人工智能快速進展的一個(ge) 裏程碑，但在這些學生揭露的事實麵前，它更像是一種尷尬，或者說是一個(ge) 警示。

其中一位學生Neil Deshmukh在閱讀論文時持懷疑態度。他懷疑ChatGPT是否真能應對麻省理工學院的課程，考完所有的期中和期末考，而且還完美無瑕地完成。Deshmukh在一個(ge) 對機器學習(xi) 感興(xing) 趣的麻省理工學院學生的群聊中分享了論文鏈接。另一位學生Raunak Chowdhuri閱讀了論文後立刻發現了一些警示信號。他提議他和Deshmukh一起撰寫(xie) 關(guan) 於(yu) 他們(men) 擔憂的內(nei) 容。

他們(men) 兩(liang) 人和第三位學生David Koplow開始深入研究研究結果，並通過短信互相交流他們(men) 的發現。一個(ge) 小時後，他們(men) 對研究的方法論產(chan) 生了懷疑。兩(liang) 個(ge) 小時後，他們(men) 對數據本身產(chan) 生了懷疑。

首先，他們(men) 發現一些問題根本無法在作者提供的信息下得出答案，因為(wei) 上下文信息太少了。還有一些所謂的“問題”根本不是問題，而隻是作業(ye) 而已：ChatGPT如何完成這些作業(ye) ，按照什麽(me) 標準進行評分？學生們(men) 寫(xie) 道：“要麽(me) 是答案在提示中泄漏了，要麽(me) 是這些問題的評分不正確。”

這項研究使用了所謂的few-shot prompting技術，這是訓練像ChatGPT這樣的大型語言模型執行任務時常用的技術。這個(ge) 技術涉及向聊天機器人展示多個(ge) 示例，以使其更好地理解任務要求。在這種情況下，多個(ge) 示例與(yu) 答案本身非常相似，他們(men) 寫(xie) 道，就像“一個(ge) 學生在考試前被告知答案然後再參加考試”。

他們(men) 在一個(ge) 星期五的下午開始撰寫(xie) 批評，一直忙到深夜。他們(men) 反複檢查自己的發現，擔心自己可能誤解了或對論文的作者們(men) 不公平，其中一些作者是他們(men) 的同學，還有一些是他們(men) 所就讀大學的教授。“我們(men) 真的無法想象列出的15位作者會(hui) 忽略所有這些問題，”Chowdhuri說道。

他們(men) 發布了批評並等待反應。這三人很快就被通知和祝賀信息淹沒。他們(men) 的批評鏈接發表的推文獲得了超過3000個(ge) 讚，引起了包括人工智能知名學者Yann LeCun在內(nei) 的高知名度學者的關(guan) 注，後者被認為(wei) 是AI的“教父”之一。

對於(yu) 論文的作者們(men) 來說，這樣的關(guan) 注並不受歡迎，他們(men) 急於(yu) 弄清楚出了什麽(me) 問題。其中一位作者是MIT的電氣工程和計算機科學係教授、該校計算機科學和人工智能實驗室的副主任Armando Solar-Lezama。他說他不知道論文會(hui) 作為(wei) 預印本發布。此外，他也不知道有人聲稱ChatGPT能在麻省理工學院的本科課程中表現出色。他稱這個(ge) 想法是“荒謬的”。

雖然ChatGPT在某些方麵表現出色，但它並不是一個(ge) 全能的係統。

學生們(men) 的批評揭示了ChatGPT在處理複雜問題和詳細信息方麵的局限性。盡管人工智能在某些領域取得了巨大進展，但它仍然遠遠落後於(yu) 人類在理解和創造方麵的能力。

這兩(liang) 年來，ChatGPT的突然出現引起了全球範圍內(nei) 的軒然大波，人們(men) 對它的態度不一。

ChatGPT憑借其出色的AI技術受到了全球年輕人的熱愛。它擁有多樣化的功能，可以幫助節省查閱複雜文獻的時間，編寫(xie) 簡單的Python代碼，輔助學生理解知識點等等。

然而，ChatGPT也引發了學術誠信問題，讓各大學糾結不已。

英國各大學數月來一直在討論是否允許學生在完成課業(ye) 時使用ChatGPT。他們(men) 的態度各不相同：有的禁止使用，有的允許作為(wei) 輔助工具（如UCL），還有一些沒有明確表態。

據報道，牛津大學、劍橋大學、曼徹斯特大學、布裏斯托大學和愛丁堡大學等多所大學曾出台規定，禁止學生使用ChatGPT來寫(xie) 作業(ye) 。

之前，英國大學已經出現了首例學生因使用ChatGPT而掛科的情況。

根據英國媒體(ti) 的報道，一位英國博爾頓大學的學生寫(xie) 了一篇關(guan) 於(yu) "領導理論及其在實際中的運用"的論文。

大學的調查文件顯示，他們(men) 認為(wei) 該論文使用了ChatGPT的原因有以下四點：

寫作風格不一致論文的理論部分和實踐部分的寫作風格存在明顯差異。
無意義的陳述論文中大量的主題思想和實踐部分的陳述缺乏意義。
引用晦澀的參考文獻論文的參考文獻隻引用了兩篇可以在大學係統上訪問的期刊文章，而沒有引用任何大學提供的閱讀清單。然而，論文卻引用了一篇於1952年發表的鮮為人知的博士論文《衡量工業領導力及其對培訓主管的影響》，以及一篇於1957年的期刊文章。
引用巫師和女巫書籍最後，論文還引用了一本神話書籍《巫師和女巫的領導力見解：通過流行文化探索有效的領導力實踐》。這本書是關於J.K.羅琳筆下的魔法世界的，去年5月出版，售價隻需20英鎊，可以從亞馬遜購買。而進一步發展的ChatGPT-4現在已經可以引用這本更新的書籍了。

最終大學的調查發現，該學生是從(cong) 代寫(xie) 機構購買(mai) 的論文，所以可能是代寫(xie) 機構使用了ChatGPT來完成論文。

而除了人工判定ChatGPT在論文中的使用痕跡，現在也有軟件可以幫大學進行檢測了。

上個(ge) 月，Turnitin正式推出可以檢測“學生在論文或作業(ye) 中使用ChatGPT“的係統，並聲稱檢查結果的可信度高達98%。

機器學習(xi) 研究驚現欺騙行為(wei) ，ChatGPT能否真的在麻省理工學院畢業(ye) ？