过去,大家都认为编程门槛很高,但在AGI时代,它正在成为人人触手可及的技术。越来越多的AI编程工具让不会编码的普通人也能轻松创建应用程序。
如何摆脱基于移动互联网时代的想象,在大模型时代拓展新的可能性?未来,是不是每个人都可以成为AI程序员,打造属于自己的“个性化应用”?
对于这些问题,创始人苏文在极客园创新大会上给出了自己的答案。
苏文认为,在AGI的赋能下,AGI代码可以将应用带入更加“个性化”的阶段,让每个用户实现自己的小众但精准的需求,小团队也可以降低成本并快速迭代。 。这就是苏文眼中编程的终极场景。
据苏文介绍:
互联网时代创建的应用和平台并不生产任何内容,而只是完成内容的聚合和分发。
大模型时代,大模型只有一个核心功能:帮助大家在底层生成内容。
大模型时代才刚刚开始。每个从业者还在探索大模型的链条会是什么样子,但这个链条可能不再像上一个时代。
AI编程将重塑软件开发行业,软件开发可以同时做到“好、快、便宜”。
大模型时代,没有超级应用,只有超级智能。

以下为极客公园创始人苏文在极客公园创新大会现场演讲实录,经极客公园整理。

苏文在极客公园创新大会上发表演讲|图片来源:极客公园
01 从 到
随着2024年的临近,大规模模型赛道引发了诸多讨论,AI编程是不可避免的话题之一。
大家都会说程序员被大模型深刻改造了。全球有70至8000万程序员,约占世界人口的1%。如此强大的软件代码修改技术,怎么能让另外99%的人使用呢?
我们可以举个例子。今天中午,极客公园的彭先生突然表示,这次活动办得非常好。除了在线购票、在线收费之外,我们还可以在线直播吗?会议团队的朋友们崩溃了。哪里可以找到直播管理平台,哪里可以找到SaaS?如果你决定自己的需求,你可以自己开发,这至少需要几周或几个月的时间。
为了让大家更容易的了解产品,我们向大家展示这个平台。

演示界面|来源:

该产品完全针对不会编程的人。
还有很重要的一点是,相比于现在得到的同类产品主要集中在前端,它可以把后端和数据库一体化的交付给大家,可以交付一个完整的软件项目。
做这件事的缘起,与我上次的创业有关。我上次创业是做软件的,最大的痛点之一就是效率。我们经常提出一个需求,要求程序员工作几周甚至几个月。我们看到了很多好的技术栈,比如字节、阿里巴巴。好,但是我们程序员用不到,而且程序员很贵。
因此,如何快速、优质、廉价地做出软件是每个行业都面临的问题,而且不是一个维度能够解决的。然而,大模型来了,做得又好、又快、又便宜是可能的。

当然,在实现过程中,目前主要有两类解决方案:一类是顾名思义,帮助程序员进行辅助驾驶。另外就是我们想做这样一个产品。
,目前主要关注的是IDE中围绕程序员工作场景的代码补全。中国没有IDE,甚至全球最重要的IDE市场80%、90%都掌握在微软手中。作为一家初创公司,很难在生态系统中竞争。我们只能避免这种巨大的生态竞争。我们在 Web 上提供端到端的 IDE 免费产品。我们的用户将完全不同。我们有可能把用户群从1%扩大到10%、20%。
目前,对于我们使用的模型和产品,主模型可以使用最好的基础模型。无论是海外还是国内,大家都在使用这个级别的基础车型。为了把代码链优化得足够好,核心技术都卡在模型里,所以自研的模型不会封装,也不会用Llama来做。我们将有自己的模型架构来解决这个问题。
另外非常重要的一点是,传统软件架构与生成式软件架构不同。两大支柱是算法和软件架构层面的创新。这是我们的两个主要任务。


右侧是模型的工作。核心解决方案是解决两点:大和准,大的是“大上下文”,而不是后半段4K窗口的串联。除此之外,还有新的网络结构带来的好处,还有一个就是软件结构的创新。
已经流行两年多了。事实上,从今天的节点来看,我们非常希望大模型能够解决很多问题。
今天能解决的问题主要是写和画两个场景。很多理科生的问题,比如数学、编程等,都没有得到很好的解决。我们还遇到了很多其他问题,比如培训成本、资金、模式等。自身的泛化能力、训练效率等。
目前网络结构正在向前迭代。去年上半年提出的MOE架构也在改造整个大模型。 MOE之后,还有MMOE等很多技术迭代。
我们是第一个使用PLE架构的。核心是我们可以让专家或者大型模型在网络结构层以更加结构化的方式深度学习高质量的人类样本。至于样本不足的问题,其实不会出现,因为我们有很多高质量的样本,比如论文、代码,没有学透。
为了让整个模型能够支持完整的代码生成,模型底层必须配备强大的算法,所以我们做了自己的优化,包括不同算力平台的集成以及集成算力的加速。平台。我们看到所有的技术难点都已经解决了。
我们自己的模型结果不会与中国任何软柿子相比较。我们仍然会使用参数数量最多的世界顶级团队的最新版本。我们的泛化指标与主流模型基本相同。冲洗水位。
我们还将在未来三个季度为有能力使用该模型的团队发布 13B 和 33B。

这句话就是我们公司的愿景。我只是主要解释了前半句话,Auto-is AGI。我们看似解决的是代码编程的问题,但核心问题是:我们能否代替程序员,端到端地编写代码。
02 自动加速“个性化”

这个问题是AGI模型本身决定的。我们发现,无论是解决上下文还是网络结构、底层优化器、算力加速等,都是AGI目前最大的痛点。这两个问题几乎是等价的。 AGI 和 Auto——基本上同时到来。
底层逻辑有两个:第一,代码本身是一种高质量的语言,这对于模型训练非常重要。另外,我们感觉AGI本身已经从两年前的一项新技术的出现走向了公众的视野。我们对它有很多憧憬,但是它还不成熟,无法解决很多行业问题,所以很多行业专家或者用户会批评说这个工具不成熟,解决不了问题。
但对于编码赛道来说,更高兴的是,我们95%的算法工程师都是程序员,所以我们可以快速闭环,知道自己做得好不好。
第二点是,这样的Auto-准备好之后,端到端的问题如何解决,要解决哪些需求点?
用户体验的核心:第一点是准确性。如何才能在底层产品链中做到准确满足我们的所有需求?今天我们使用许多 Agent 产品。第一个生成的版本非常好,但是细微的需求无法实现。
第二点是灵活性。在生成应用程序的过程中,最重要的是实现各种个性化需求。例如,一个搜索框是否能够实现足够灵活,能够与所有功能进行逻辑连接。
第三点是完整性,这是软件工程的工作,需要解决项目的安全和部署问题。这些任务完成后,解决方案将成为基础设施,程序员的所有工作都可以通过推理计算能力的成本来解决。我们想要做的App(个性化应用)就可以实现了。
当你看到这个场景时,你可能会说:“我们手机上都装了通用的应用程序,我要App做什么?”很多人也问我:“你想要ToB还是ToC?”

其实,当新的生产力工具出现时,这些问题就不重要了。这里有两个有趣的例子:

上周我去云南一个城市参加了一个会议。会议组织者带我们去了一个风景区。很多人排队买票,但附近有几台自动售票机。当我走近时,它们都亮了。系统安装好后,如果经理能提出票务系统的需求,就不需要再找本地程序员了。在那里部署一套票务管理软件,就能轻松解决买票排队的问题。
另一个例子,我正在和一个朋友讨论播客。我们收听许多播客并依赖像 这样的播客客户端。在美国,很多主播都会有视频播客频道。在中国,视频播客很少被使用。这位朋友说我们不想露脸。如果一个卡通人物出现在镜头上并做视频播客,主播就会很自然。舒服多了。
所以你会发现我们的场景中有很多个性化应用的需求。即使是基于通用平台,也可以在上面添加很多个性化的功能。这在编程的终极场景中是可以实现的。
当我们在小红书、知乎或百度上搜索一个软件来解决我们的一些问题时,我们本质上是在寻求它。如果这样的需求可以通过自动生成的代码和应用程序来实现,那么用户就不需要去寻找各种应用程序,也不需要找到应用程序后就约束自己的需求。两种体验完全不同。
03 大模型的核心功能到底是什么?
关于代码生成以及我们公司要做的事情,介绍到这里就结束了。接下来我要说三件事:
1.大家一直在追求AGI或者解决AGI问题,这是非常碎片化的。比如很多大佬会说整个大模型还处于起步阶段,但是从2024年初到现在,大家都说这是Agent元年,但是一个处于起步阶段的工具怎么能解决这么多问题呢?问题?
我们经常听说法律已经结束,但我们却乐此不疲地囤积卡。 H100、B200、一万张、十万张、几十万张卡。现在各大厂商甚至开始建造核电站,包括伊莱最近提到的。 ,预训练期结束。事实上,这里面并没有什么有用的信息。主要目的是学习样本,但是仍然有很多高质量的样本需要结构化并输入到整个网络结构中。
所以有什么资源,大家就走哪条路。对于我们这样的公司来说,我们更多地看到网络结构层带来非常大的红利。从它的出现到之前的几十年,大家对通用人工智能的追求都无法回避网络结构的环节。这一层获得了更多的好处,也有更多的问题需要解决。



