沒有公告，OpenAI 悄然關閉了 AI 文本檢測工具，頁面直接 404 了。
<img src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/MjM2OTc1OTkw?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="820" height="480" original-src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/MjM2OTc1OTkw"/>
官方對此沒有公開回應，幾天後才有人找到一則簡短説明，藏在半年前工具發佈的博客頁面中。
<blockquote>
……AI 檢測器由於準確率較低而不再可用……我們正在研究更有效的文本檢測技術，並承諾開發音頻和視覺檢測技術。
</blockquote>
<img src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/MTc0OTY0MzkwOA==?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1078" height="704" original-src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/MTc0OTY0MzkwOA=="/>
對於 CloseAIOpenAI 不發公告就殺死一個產品這種行為，很多網友是不滿意的。
<img src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/LTE2MTgxMDA5MA==?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="914" height="252" original-src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/LTE2MTgxMDA5MA=="/>
但是對關閉 AI 檢測器本身倒是有不少人表示贊同，特別是學生羣體。
太多老師相信這玩意有效，大量冤枉學生用 AI 作弊，已經變成了一場獵巫運動。
<img src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/MTM4NDM2NjEyMA==?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1004" height="234" original-src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/MTM4NDM2NjEyMA=="/>
<h2>準確率和瞎猜差不多</h2>
這個官方檢測工具，準確率究竟有多低呢？
OpenAI 自己給出的數據，只能正確識別26%的 AI 生成文本，同時冤枉9%的人類編寫文本。
<img src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/LTQwNDc2OTcz?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="304" original-src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/LTQwNDc2OTcz"/>
1 月份剛發佈時就被網友總結為 “和瞎猜差不多”。
另外有人做過實驗發現，市面上各種檢測工具會把聖經、美國憲法等歷史文本都被判定可能為 AI 編寫，總不能寫下這些內容的歷史人物都是時間穿越者吧？
但還是有很多老師試圖用各種檢測方法來檢查學生作業。
最著名的一次，得克薩斯農工大學一位教授差點判定半個班的學生延畢。
<img src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/LTExNzk1OTc1OA==?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="197" original-src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/LTExNzk1OTc1OA=="/>
目前最新的趨勢是，教師要求學生用在線文檔寫作業並檢查編輯記錄，但聰明的學生也能找到規避辦法。
<img src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/NzYwMTI3MzIy?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1000" height="774" original-src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/NzYwMTI3MzIy"/>
最終對於教育領域，有人提出可能大作業/課程論文將成為歷史，閉卷考試或口語考試將成為主流。
<img src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/LTMxNTQ2NzYx?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="687" original-src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/LTMxNTQ2NzYx"/>
<h2>目前的檢測方法都能規避</h2>
網友指出，OpenAI 同時開發生成和檢測工具本身就是矛盾的。
如果一邊做的好就意味着另一邊沒做好，同時還有可能存在利益衝突。
<img src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/OTEzOTIwNzA5?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="156" original-src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/OTEzOTIwNzA5"/>
但是第三方開發的檢測方法，可靠性也不高。
最早被稱為 “ChatGPT 剋星” 的是普林斯頓本科生 Edward Tian 開發的GPTZero，用複雜性和長短句的變化來衡量文章是否由 AI 生成。
當時 GPTZero 計劃專為教育工作者打造，老師可以把全班學生的作業丟進去檢測。
但到了 7 月份，作者承認已放棄了檢測學生作弊這個方向，計劃下個版本的 GPTZero 將不再檢測文本是否由 AI 生成，而是突出最像人寫的部分。
<img src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/MzY3MjQ0NjAx?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="808" original-src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/MzY3MjQ0NjAx"/>
另外一個很受關注的檢測方法，是馬里蘭大學開發的水印法，要求大模型在生成文本的時候就藏下記號，並用統計方法識別。
<img src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/MTMxNDE1OTUxNw==?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="966" height="298" original-src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/MTMxNDE1OTUxNw=="/>
但是規避的辦法也很簡單，比如有人開發了簡單的同義詞替換工具，就能破壞統計特徵。
<img src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/MTA5Njk3NDkzMA==?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="998" height="958" original-src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/MTA5Njk3NDkzMA=="/>
甚至有人開始懷疑，人們到底是為了什麼非要區分這個。
就像數字到底是人計算的還是計算機完成的，早就沒人在意了。
演講者的稿是自己寫的還是秘書寫的，不是也沒人在意嗎。
<img src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/LTEwNDkzNjc2Mzk=?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="387" original-src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/LTEwNDkzNjc2Mzk="/>
<h2>人類行為學研究，正在用 AI 充當被試</h2>
無法區分 AI 和人類的內容，似乎也不全是壞事。
已經有心理實驗用 AI 代替人類被試加速研究了。
Cell 子刊上一篇文章指出，在精心設計的實驗場景中，ChatGPT 的反應與大約 95% 的人類參與者的反應呈相關性。
並且機器被試不會疲倦，使科學家能以前所未有的速度收集數據並測試有關人類行為的理論。
<img src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/MTkxMDAzNDYwNg==?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="328" original-src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/MTkxMDAzNDYwNg=="/>
而在最近一篇 Science 主刊的觀點文章上，滑鐵盧大學心理學教授 Igor Grossman 認為：
“人工智能可以改變社會科學研究的遊戲規則，謹慎的偏見管理和數據保真度是關鍵。”
<img src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/LTEyNTQxMDYxOTc=?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="607" original-src="https://imageproxy.pbkrs.com/https://bang.xuangubao.cn/LTEyNTQxMDYxOTc="/>
本文來源：量子位，原文標題：《ChatGPT 下架官方檢測工具，承認 AI 文字無法鑑別》<div>風險提示及免責條款</div>
 <div>
 市場有風險，投資需謹慎。本文不構成個人投資建議，也未考慮到個別用户特殊的投資目標、財務狀況或需要。用户應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資，責任自負。
 </div>

OpenAI

官方檢測工具準確率和瞎猜差不多，只能正確識別 26% 的 AI 生成文本，同時冤枉 9% 的人類編寫文本。