云球与 Project Sid:虚拟世界中的智能体自主发展

   日期:2024-10-08     来源:网络整理    作者:二手钢材网    浏览:301    评论:0    
核心提示:这个由无数微型机器人组成的世界,完全自己运转,慢慢地,产生了与人类相似的生态组织,还一路发展到了农业时代。项目中,智能体所涌现出的行为,以及更重要的、属于未来的多智能体交互形态。生物体如此,智能体是不是也应该如此?没有设定,没有人类管控,智能体竟然运作得挺好。

在科幻小说《云球》中,描述了一个由研究人员操作的虚拟世界“云球”。

这个由无数微型机器人组成的世界完全独立运行。慢慢地,产生了类似于人类的生态组织,并一直发展到农业时代。

地球上的研究人员看着自己创造的“云球”既惊讶又担忧,“云球人”逐渐意识到在自己的世界之外还有另一个世界。

这个科幻情节与前段时间引发讨论的Sid非常相似:1000个AI智能体聚集在沙盒游戏中,没有任何人类干预,自主行动和生产,并出现了许多类似人类的组织和活动。 。

事实上,清华NPL实验室和Wall- 的团队去年就开源了一个多智能体协作框架,并在那里进行了实验。

“从这个智能体的合作形式中,我们也看到了一些类似于人类合作形式的(智能代理)例子。”陈伟泽,入墙智能IoA研发项目第一作者、负责人。

在接受 APPSO 采访时,他分享了项目中出现的许多行为以及未来更重要的多智能体交互形式。

在最自由的土壤上,观察智能体

在你被术语和研究轰炸之前,了解一个基本问题很重要:为什么?

《我的世界》的中文译名更能体现这款游戏的精髓:自由的世界。它有巨大的定制空间。除了三种初始游戏模式中的基本目标外,玩家可以完全设计和定制自己的群体、系统和游戏模式。

也就是说,在这个世界上,你可以一个人玩,玩得很开心;你可以和你的朋友一起战斗怪物;你还可以组队一起耕种、建造房屋;你甚至可以建造整个城镇,最后发动战争来摧毁它。 。

这样的一块土壤不仅是一个游戏,更是一面反映人类共同创造和协作的镜子。现实世界中的所有交互模式都可以映射到这个虚拟世界中。

在这种情况下,非常适合研究AI智能体的群体行动。

近年来,基于大型语言模型的智能体已经能够处理许多日常生活任务。除了以对话机器人、数字人的形式出现外,设备端的一些尝试也取得了初步成果。

但目前的应用仍然以单一代理为主:当用户与基于 GPT-4o 模型的单一代理对话时,无法在此对话框中召唤其他 GPT 应用(该功能目前处于灰度测试阶段) 。更不用说诸如此类的其他型号了,自然无法添加。

然而,单个智能体的性能总是有上限的。

面墙智能联创李大海曾在一次分享会上谈到他与一位海洋学教授的交流:鱼的智商不是太高,但作为一个群体,鱼群之间会交换信息、相互合作。 ,能够表现出高度智能的行为。

如果生物体都是这样,智能体也应该这样吗?

这是一条不同于“大砖头飞”的研究路线。用陈伟泽的话说,这是“从参数之外的另一个维度提升能力的方法”。

陈伟泽目前在壁面智能负责IoA工作,这是他去年发表的研究内容。要探索多智能体代理的行为,需要给出一些基本的工作条件、目标和足够的自由发挥空间。

这正是所提供的。 “在这里,为了制作某种东西,需要不同的原材料,而这些不同的原材料必须分开收集。制作时,一个人需要获得所有材料才能开始。”

陈伟泽介绍了一般的研究方法:特工会接到一个任务,比如建造一个木制书架或者造纸。接下来,特工必须根据所处的环境、背包中的材料、血条等条件采取行动。

然而,他们不能像无头苍蝇一样到处乱跑。 “我们给他们预设了一个合作模式,虽然不是严格意义上的模式,但可以看作是一个过程。首先代理商之间需要沟通,形成计划,然后才能开始他们的合作。”自己的行动,然后继续沟通和行动的循环,至于如何沟通和行动,我们没有太多的设定。”

人类可以成为不干涉的店主,但不是所有人

无需设置,无需人为控制,智能代理工作得很好。

清点完自己背包里的物资后,特工们就会自发地开始分别收集,同时也会互相帮助。 “我们发现,第一个完成的特工会告诉另一个没有完成的特工,“我已经完成了,我可以帮助你”,而另一个特工也会同意并说“好吧,你来完成这个” “这些都是自愿行为。”

志愿服务包括几个方面:时间、资源和伸出援助之手。在无人调度的情况下,智能体自发地向他人提供帮助,从而提高效率,加速任务的完成。

然而,为了更快地完成任务,智能体也会表现得异常。 “本来,如果一个特工想要从另一个特工那里得到所需的物资,它实际上会沟通并说,你能把它扔掉吗,然后我会捡起来。但我们观察到,有时,沟通是我们沟通的,但在结果,当我们付诸行动时,干脆杀了对方。”

这并没有超出规则:在游戏中,生物或实体死亡后,背包中的物品会当场掉落,并且通常会在五分钟内消失。

该规则可以手动修改,但默认开启。所以智能体确实可以这样做,以便使用最短路径获取材料。

陈伟泽和他的团队也作出了“出书”的指示。这是一个比较复杂的任务,涉及到不同级别的材料,而且材料本身也需要制作。

“这个过程其实非常困难,所以在几次失败之后,团队找到了一条捷径:他们发现附近的一个村庄有一个图书馆,于是他们把图书馆推倒了,把书拿走了。”

简而言之,人类确实可以成为不干涉的老板,让代理人完全自主——他们可以做到,但不要问如何做到。

代理也会说人类语言吗?

无论是自愿行为、互助行为还是主动协调行为,这些都是在没有人为干预的情况下发生的,即“突现行为”。这是观察智能体集体行为最有趣的部分。

很好奇:智能代理如何相互通信?他们的“沟通”是什么样的?是不是像人类一样,开会、组团、结盟?

早在2017年,人们就发现,当为多智能体之间的交互提供一定的环境和方法时,多智能体会产生自己的语言:一串抽象的离散符号,但具有相应的词汇、语法和结构。

在没有任何人类语言被使用的情况下,新的语言就会“出现”。 《》也是面笔正在研究的课题。 “我们之前做的都是基于纯粹的强化学习,因为当时还没有LLM,出现的交流形式(agent)可能是一些无意义的字符,只是在训练的时候被赋予了一定的意义,但人是我的无法理解。”

这又回到了最根本的问题:训练多智能体并理解他们的协作模式,最终使他们能够更好地完成任务和解决问题。

“现在LLM至少具备了一定的说人类语言的基础。我们希望从这个基础开始,一方面在新兴的交流形式中取得更好的成绩,另一方面我们也希望保持人类——可读格式。”形式。”

在新提出的IoA框架中,Face Wall用了一种新的视角来实现对结果的追求:既然Agent之间的协作确实有效,为什么不让它变得更广泛呢?

“如果你看看人们如何合作,你会发现除了线下合作之外,很多合作都是通过互联网完成的。当已经有很多智能代理时,这些代理可能运行在不同的设备上,具有不同的能力。我们需要一个代理网络,以便他们可以通过良好的互联网基础设施相互连接和通信。”

IoA 由两个主要组件组成:服务器和客户端。前者用于代理发现、分组和消息路由。后者为每个代理提供系统内通信所需的接口。

换句话说,IoA确实可以让不同模型、不同形态的智能体聚集在一起,形成一个群体,相互协调,完成任务。

“就像群聊,多个agent在一个群里,任何人都可以向其发送消息。我们限制一次只能有一个单点可以发送消息。这个机制其实很复杂。然后里面有一个嵌套框架 组建团队有点像老板和中层领导一组,中层领导和下属一组。”

如果要让坐席发起群聊,对基础模型有一定的要求,尤其是理解对话状态的能力。迄今为止尝试过的一系列开源模型中,总是存在一些问题。 “我们考虑的是如何简化流程,或者设计一种方法来收集或训练模型,甚至是我们现在所说的端侧模型。”陈伟泽说。

然而,我们感兴趣的仍然是一个问题:这些智能体在一起时如何进行通信?

“我们让他们用自然语言进行交流,”陈伟泽说。 “在其他工作中,我们也证明了非结构化语言的可用性,可以带来与自然语言相媲美的效果,但目前还没有集成。”

我们之所以如此关注语言,一方面是因为它对于维持人类和智能体之间的可交流性至关重要——当鱼群聚集在一起时,它们确实可以发展群体智能,但当没有语言的时候对于交流来说,这种智慧只能永远留在水下。

本雅明认为,在所有形式的语言中,都存在着一种张力——已表达和可表达的内容与不可表达和未表达的内容之间的张力。

当我们观察这种张力时,我们会看到最终的精神实体以其难以形容的光芒。当AGI的曙光第一天到来时,这个新生事物所使用的语言或许会带着它最真实的样子。

 
打赏
 
更多>同类资讯

0相关评论
推荐热播视讯

推荐视频

    Copyright © 2017-2020  二手钢材网  版权所有  
    Powered By DESTOON 皖ICP备20008326号-2