OpenAI 反作弊项目内部争论两年,水印检测工具因透明度和用户留存问题未发布

   日期:2024-08-06     来源:网络整理    作者:二手钢材网    浏览:227    评论:0    
核心提示:OpenAI开发了一种检测某人何时使用ChatGPT撰写论文的工具,不过由于在透明度承诺和留住用户之间摇摆不定,OpenAI尚未发布该工具。Murati)都参与了反作弊工具的讨论。OpenAI的员工已经讨论过直接向教育工作者或外部公司提供检测器,帮助学校识别人工智能撰写的论文和抄袭作品。

员工们担心,水印可以通过简单的技术去除,例如将文本翻译成另一种语言再翻译回来,或者在文本中添加表情符号,然后手动将其删除。决定谁可以使用水印检测器是另一个挑战。

OpenAI开发反作弊工具,用AI写论文可被检测__OpenAI开发反作弊工具,用AI写论文可被检测

开发反作弊工具,以便能够检测到用人工智能撰写的论文。

目前已经开发出一种用于检测某人何时使用论文的工具,但由于其在透明度承诺和留住用户之间摇摆不定,因此尚未发布。

据《华尔街日报》8月4日报道,该反作弊项目在内部讨论了大约两年,准备发布大约用了一年时间。首席执行官萨姆·奥特曼和首席技术官米拉·穆拉蒂都参与了反作弊工具的讨论。知情人士称,奥特曼鼓励该项目,但并未推动其发布。

该公司内部在透明度承诺和留住用户之间左右为难,其对用户进行的一项调查发现,近三分之一的用户会因为反作弊技术而关闭服务。这些受访者表示,如果该公司使用反作弊技术而竞争对手没有,他们会减少使用。

发言人表示,公司担心该工具可能会对非英语母语人士等群体产生不成比例的影响。“我们正在开发的文本水印方法在技术上很有前景,但在调查替代方案时,我们正在权衡重大风险。”支持发布该工具的员工在内部表示,与该技术的潜在好处相比,这些争论显得微不足道。

这款反作弊工具可以预测句子中接下来会出现哪个 token,并会稍微改变 token 的选择方式。这些改变会留下水印。这些水印对人眼来说并不明显,但可以被公司的检测技术发现。根据内部文件,当创建足够多的新文本时,水印的有效性为 99.9%。今年早些时候进行的一项测试发现,水印技术不会影响公司的业绩。

但一位知情员工表示,员工们担心水印可以通过简单的技术去除,例如将文本翻译成另一种语言然后再转换回来,或者让人们将表情符号添加到文本中然后手动将其删除。

在公司内部,大家普遍认为,决定谁可以使用该检测工具将是另一个挑战。如果太少人可以使用,该工具将毫无用处。如果太多人可以使用,水印技术可能会被破译。公司员工已经讨论过直接向教育工作者或外部公司提供该检测工具,以帮助学校识别人工智能撰写的论文和抄袭作品。

关于该水印工具的讨论早在 2022 年 11 月推出之前就开始了。2023 年 1 月,一种旨在检测 AI 模型编写的文本的算法被发布。但当时的成功率只有 26%,七个月后被取消。据《华尔街日报》报道,实际上,外部公司和研究人员也在开发其他工具来检测 AI 创建的文本,一些教师已经使用了这些工具,但有时它们无法检测到先进的大型模型编写的文本,有时还会产生误报。

 
打赏
 
更多>同类资讯

0相关评论
推荐热播视讯

推荐视频

    Copyright © 2017-2020  二手钢材网  版权所有  
    Powered By DESTOON 皖ICP备20008326号-2