经过6000+网友的匿名投票,他不仅数学成绩追平了学霸O1,还在其他五个项目上获得了第一名。

新模型被称为(Exp 1114)。结果一公布,连CEO皮查伊都亲自赶到站台。

Arena官方也第一时间公布了这个好消息,并向谷歌表示祝贺:
祝贺您达到这一非凡的里程碑!

这太尴尬了!承诺的谷歌是否遇到了瓶颈?没想到他的反手竟然是王炸。
恐怕,或许,只有立即推出满血版O1才能与他一战吧?

目前,新模型可以在 AI上体验,官方计划未来提供API。

网友们也纷纷猜测这是否就是传说中的2——
获得7项第一,数学与O1不相上下

一夜之间,竞技场Imsys排名再次刷新:
从整体榜单来看,谷歌新模型(Exp 1114)的得分提升了40+,挤掉了此前一直霸占榜单的模型(包括o1-、GPT-4o)。

而如果正面1v1遭遇敌人,New Look似乎有一半甚至更多的获胜概率。
整体胜率热图显示,(Exp 1114)对4o的胜率是50%,对o1的胜率是56%,对-3.5的胜率是62%。

同时,(Exp 1114)个人项目也非常出色,一举夺得6个第一名,包括:
复杂提示(硬):模型处理复杂或困难提示的能力;
数学;
创意写作;
指令遵从性:评估模型遵循给定指令的能力;
长查询处理(Query):衡量模型处理较长查询的能力;
Multi-Turn:模型在多轮对话中保持上下文连贯性的能力;


最大的亮点是(Exp 1114)在数学能力上与o1模型不相上下。
要知道,按照官方的说法,o1无需特殊训练就可以直接获得数学奥林匹克金牌,甚至可以在博士级科学问答环节超越人类专家。

但遗憾的是,对于编写代码这一重要功能(Exp 1114),虽然相比 之前的版本有所改进,但依然没能进入前三。 (o1-mini/仍然领先)

另外,在风格的掌控下,-Exp-1114也无缘前三,甚至还不如自家的-1.5-pro。 (排在o1、4o-之后)
解释一下,风格控制(Style)是今年江湖推出的新功能,旨在确保分数反映模型真正解决问题的能力,而不是使用漂亮的格式并增加答案的长度。

然而,也有意想不到的惊喜。这次-Exp-1114在视觉能力上获得了第一名,超越了GPT-4o。

总体来说,大家对谷歌这次的反超感到非常意外。




目前,-Exp-1114可以在 AI上体验,官方计划未来提供API。


这不,不少网友已经开始测试了,但似乎争议颇多——
网友们反应不一
首先总结一下,通过网友测试,目前已知有关Exp-1114的信息如下:
有 32k 上下文窗口
模型答案知识的截止日期是2023年4月,但答案结果会有所不同。
添加了思维链
其中32k上下文被大家诟病。有人直言,与200万上下文窗口的1.5相比,这里不升反降!


或许是感受到了大家的不满, AI 负责人赶紧出面平息事情:快更新了!快点更新吧!

安抚了大家的情绪后,大家终于说出了自己的看法。
通过其中一个家伙的观察,-Exp-1114这次也使用了思维链,在回答的时候能够像人类一样一步步思考。

而且,他数学真的很好?
-Exp-1114 正确回答了 2024 年美国数学奥林匹克预选赛 II 的第 1-8 题。

即使在相对薄弱的编码领域,也有人第一次尝试就成功了。

然而,翻盘总是不可避免的。
有人在基准测试中问了一道物理题,结果是Exp-1114虽然有思维链的加持,但依然回答错误。

即使是比较数字和计算草莓中“r”的陈词滥调仍然失败了。

更搞笑的是,有人问-Exp-1114“你叫什么名字?”
结果得到了答复(doge)。

事实上,大家一直在猜测Exp-1114是否会是计划更新的传奇2。


但根据实测,相当一部分网友站出来表示否认。
毕竟看起来连老版本1.5 Pro存在的问题都解决不了。

甚至有人声称,这是谷歌推迟发布更大模型(即2)的策略,先做一个残差版本供大家玩,这样他们就不会急于更新。

结合CEO皮柴放烟雾弹的做法,似乎有些道理(doge)!


