OpenAI发布会最后一天未现重磅消息,核心研究人员Alec Radford宣布离职

   日期:2024-12-20     来源:网络整理    作者:二手钢材网    浏览:174    评论:0    
核心提示:天发布会还剩最后一天,期待中的「重磅」迟迟没来,反而失去了一位核心研究人员。即将离职,离职后进行独立研究。开创性工作,它们推动了预训练时代以及所有进步的到来。的主要作者,而且很可能引领了公司所有重要的研究方向。的预训练数据和架构研究工作

人事变动仍在继续。

今天,外媒The报道称,资深人物Alec即将离开公司,离开公司后将进行独立研究。

_OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发_OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发

据知情人士透露,他表示计划与其他人工智能开发商合作。

OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发__OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发

研究总监 Mark Chen 在一份声明中表示:“我们对 Alec 及其贡献深表敬意和感谢,并期待在他探索独立研究的过程中继续与他合作开展项目。”

_OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发_OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发

也许你从未听说过这个人,但他参与的研究却是重量级的。 2016年加入后,他带来了一系列革命性的突破,比如大家熟知的第一代GPT,还主导了GPT-2的研发等等。

在日前举行的2024大会上,前首席科学家Ilya在演讲中特别提到了Alec、Dario等人参与的GPT-2和GPT-3的开创性工作,推动了预训练时代和一切进步到达。

OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发__OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发

有人猜测,他的辞职预示着GPT-4.5的到来。因为在高级语音模式发布的第二天,首席技术官米拉就正式宣布辞职。以此推算,作为 GPT 系列的主要参与者,GPT-4.5 很有可能明天发布(毕竟是连续 12 天发布的最后一天)。

对此,有人表示赞同:“也许他想在离开之前完成手头的项目,这也不是完全不可能。”

在此评论下,有人回复道:“虽然他做了广泛的研究,但他没有参与任何发布(没有走到前台,总是在幕后),不像其他离开的人。如果他必须等待某事,那么在 GPT-5 发布之后离开会比较合适,但说实话,他的离开可能会在一定程度上有利于开源研究,因为离开后他会被允许再次发布,但我不知道。对他们来说,未来看起来很黯淡。”

OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发__OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发

OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发_OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发_

其他人则表示,人们低估了 Alec 对整个人工智能研究的影响。他不仅是 GPT 和 Dall-E 的主要作者,而且可能领导了公司所有的重要研究方向。他甚至说,他的影响力不亚于伊利亚。这对于夫妻俩来说是一个巨大的损失,但网友也希望Alec能够做一些公开的研究,发表一些东西,让全世界都能受益。

OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发_OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发_

此前,英属哥伦比亚大学教授 Jeff Clune 发起了关于 X 的讨论,“谁是世界上最重要但最被低估的 AI 科学家?在我看来,只有一个明确的正确答案。大多数重大发展背后都有一个人谁很少被提及或庆祝。”

Jeff Clune毫不犹豫地推荐了Alec,“显然是最有影响力但最不为人所知的人。他推动了许多惊人的发展,他应该作为现代生成人工智能之父载入史册。也是一个非常好的人。”不追求荣誉的人是他很少受到关注的部分原因。我们更有理由谈论他对人工智能的巨大影响!”

OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发_OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发_

_OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发_OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发

OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发__OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发

“他的研究绝对是领先的,他的贡献绝对惊人,他至少改变了这个领域3次!我们欠他很多。”

OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发__OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发

参与了GPT系列车型的整个开发

Alec 是 GPT-1 的第一作者,也是 GPT-2 的联合作者。 GPT-1的引用次数已达到11947次,GPT-2的引用次数为14828次。

2018年,GPT-1开启了预训练大型模型的时代,提出了“半监督”(后来俗称自监督)方法,先在无标签数据上训练预训练模型,然后再训练在少量标记数据上训练判别性微调模型。

2019年,GPT-2在GPT-1的基础上发布,使用无监督预训练模型执行监督任务。与原始模型相比,进行了许多改进。 GPT-2 拥有 15 亿个参数,可以执行多样化的任务,并且开始学习在没有明确监督的情况下执行数量惊人的任务。在GPT-2阶段,去掉了GPT-1阶段的有监督微调(fine-),成为无监督模型。

_OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发_OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发

GPT-1论文:

OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发__OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发

GPT-2论文:

OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发_OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发_

不仅如此,Alec还参与了GPT-3论文的撰写以及GPT-4的预训练数据和架构的研究

2020年,GPT-3阶段,参数数量相比GPT-2增加了两个数量级以上,达到1750亿个参数。它在许多 NLP 数据集上(包括翻译、问答和完形填空)都有很强的性能。任务),以及一些需要动态推理或领域适应的任务(例如破译单词、在句子中使用新单词或执行算术)。

2023年,GPT-4开始迈向多模态模型,成为AI新的里程碑,可以解决更复杂的问题、编写更大的代码、从图片生成文本。 GPT-4不仅答题准确率大幅提升,还具备更高水平的图像识别能力,并且可以生成歌词和创意文本,实现风格变化。

OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发__OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发

GPT-3论文:

OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发__OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发

GPT-4技术报告:

OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发_OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发_

据显示,Alec的论文总被引用次数超过19万次,其中7篇被引用次数超过1万次,可见其参与工作的含金量和影响力。

OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发__OpenAI元老级研究员Alec Radford离职,主导了GPT-1、GPT-2的研发

 
打赏
 
更多>同类资讯

0相关评论
推荐热播视讯

推荐视频

    Copyright © 2017-2020  二手钢材网  版权所有  
    Powered By DESTOON 皖ICP备20008326号-2