鞭牛士报道,8月3日消息,据外电报道,在OpenAI推出SearchGPT大约一周后,一些顶级新闻出版商明确表示,他们不想与的新搜索引擎有任何关系。
《纽约时报》和至少 13 家其他新闻网站已屏蔽 OAI-SearchBot。这是一个网络爬虫,用于索引信息,以便 OpenAI 可以检索并向 SearchGPT 用户显示相关结果。
Originality.ai跟踪了这些内容,发现排名前 1,000 位的网站出版商中有 14 家已经屏蔽了 OAI-SearchBot。名单上的其他出版物包括《连线》、《纽约客》、《Vogue》、《名利场》和《GQ》。
Originality.ai 首席执行官乔恩·吉勒姆 (Jon Gillham) 表示,这有点令人费解。
「我不确定为什么出版商会屏蔽它。」他告诉《商业内幕》。「这是出版商想要和需要的流量。」
OpenAI 上周发布 SearchGPT 时强调,OAI-SearchBot 不会爬取网络来收集数据来训练其GPT-5等 AI 模型。它建议网站所有者允许新机器人确保您的网站出现在搜索结果中。
如果无法爬取每个网站的权限,OpenAI 的 SearchGPT 服务就有可能不如谷歌的搜索引擎完善。BI 询问 Gillham 是否有任何大型新闻出版商屏蔽了谷歌的搜索机器人,他说他不知道有哪个新闻出版商这么做了。
缺乏信任或对搜索流量存疑

OpenAI 还有另一个网络爬虫,名为 GPTbot,它可以收集在线数据用于 AI 模型训练。数百个网站已经屏蔽了它。这更有意义:你想要来自搜索引擎的流量,但你不想放弃你的内容来训练可能与你竞争的 AI 模型。
然而,OpenAI 多年来一直在未经许可的情况下收集在线数据。当 OpenAI 表示其新搜索机器人不会秘密窃取他们的内容作为 AI 训练数据时,出版商可能只是不信任它?
「我认为是这样。」吉勒姆说。
另一种理论是:如今的搜索结果并不总是会将用户引导到那些努力创建原创内容的网站。新人工智能搜索引擎的目标之一是通过向用户展示摘要来留住用户。如果出版商不再看到来自搜索引擎的大量流量,为什么还要允许他们的网络爬虫呢?


