猎户星空发布开源混合架构MoE大模型及AI数据服务产品

   日期:2024-11-29     来源:网络整理    作者:二手钢材网    浏览:264    评论:0    
核心提示:这家以硬件制造为主的一个领先的科技企业也敏感地注意到了AI正在成为一个主流趋势,并尝试通过进行硬件与软件的结合,让更多的企业把大模型应用到生产业务之中。“即使大模型技术发展了,也需要软件与硬件结合,才能真正落地,产生价值。

在谈到推出教育模型和数据闭环服务时,猎豹移动董事长兼首席执行官、猎户星空董事长傅盛表示,决定产业链大模型基础能力的核心是标签数据。当前业界关注的焦点是如何利用发现的高质量数据并与应用程序高度集成。

傅盛认为,当今行业最好的突破点是应用对高质量数据和AI Agent框架的需求。即使今天的模式不再先进,但仍然足够先进,能够解决相当一部分问题,是革命经验的需求。 。

业界期待人工智能应用的爆发。谷歌、阿里巴巴、华为等大公司都专注于利用MoE来提高大型模型的性能和实用性。与此同时,国内一些企业正在尝试通过软件和硬件相结合的方式寻找更多的解决方案。更多着陆可能性。

用好大模型并不容易

2024年,全球教育部大型车型数量将爆发。目前基于其的MoE已经成为大模型领域的主流架构。优点是神经网络可以分割成多个专家子网络。面对输入,你可以指定某个“专家”来回答,也可以请多个“专家”来回答。专家答题,甚至全体参与答题,根据权重综合给出最终结果。

数据搭建大模型应用基石,厂商试水软硬件新融合_数据搭建大模型应用基石,厂商试水软硬件新融合_

开发者可以在巨型模型上不断增加参数数量,并进行横向扩展。由于 MoE 可以选择仅启用某些专家子模型,因此可以在保持性能的同时降低推理成本。

相比算法和算力,在大模型业务闭环中,猎户星认为,数据已经成为最直接影响大模型在垂直行业落地的关键。这也是猎户星现在推出数据宝产品的原因。猎户星首席科学家韩坤表示,大型模型与实际应用还有很大差距。这个差距不是数据本身,而是围绕数据的一系列服务,包括数据标注、提示词编写、提示词优化、模型评估等。在推出一个大模型后,厂商仍然需要教客户如何使用模型很好。

此次推出的AI数据宝AirDS提供的大模型数据服务涵盖数据采集、清洗、标注、提示词工程和评估。在实际应用中,AirDS已服务中国海外品牌多个领域,包括移动通信终端、互联网娱乐、新能源汽车等。

_数据搭建大模型应用基石,厂商试水软硬件新融合_数据搭建大模型应用基石,厂商试水软硬件新融合

数据搭建大模型应用基石,厂商试水软硬件新融合__数据搭建大模型应用基石,厂商试水软硬件新融合

智创宇安全中心总经理颜晓玲告诉记者,基于目前的市场情况,客户对数据清洗和标注的需求大幅增加,甚至可以说成倍增长。从行业发展趋势来看,数字化转型全面加速,各行业深度依赖数据驱动发展。无论是新兴的电商直播精准推荐,还是传统医疗行业辅助诊疗的病历数据分析,都离不开高质量的数据,而数据清洗和标注是保证数据质量不可或缺的一环。

在着陆场景中,机器人也是猎户座星空模型选型的重要场景之一。傅盛强调,大模型是基于语言学习来理解世界的模块,有自己的逻辑和推理能力。以前的机器人基本上没有大脑,更多的是自动化机器。

加入大型模型后,傅盛表示,机器人自主决策的能力可以得到提高,比如解释交互和任务处理。从长远来看,如果机器人真正参与一些劳动,比如给机器人加一个机械臂,让它帮你端一杯水,这些很快就能商业化。

因此,总体而言,在探索AI应用场景的过程中,韩坤表示,一方面,客户对大模型的需求是既要有效,又要快速;另一方面,客户对大模型的需求是既要有效又要快速;另一方面,与密集模型的“多面手”相比,一群“专家”MoE可以更高效、更专业地完成复杂的企业任务,并在不显着增加计算成本的情况下显着提高模型容量。

数据搭建大模型应用基石,厂商试水软硬件新融合_数据搭建大模型应用基石,厂商试水软硬件新融合_

开箱即用,说服客户付款

猎豹移动高级副总裁孙明艳认为,要提供良好的数据服务,企业需要有足够的应用实践,为客户的任务提供正确的数据集。这就是大型模型厂家的优势。

需要什么样的应用程序才能说服客户付款?

打包发布大模型、数据包的目的是为了打通猎户星业务逻辑的业务闭环。也是今年大模型行业从训练端转向推理端的一大体现。随着大机型应用的兴起,猎豹移动副总裁童宁告诉记者,公司几乎所有的企业客户都在All in AI。但不同的是,以前是连接到客户的技术部门,现在更多的是连接到业务部门。

_数据搭建大模型应用基石,厂商试水软硬件新融合_数据搭建大模型应用基石,厂商试水软硬件新融合

在童宁看来,这是一个很大的改变。过去,Orion Star提供的业务服务主要面向基础设施层和IT部门。现在,人工智能或大模型需要解决的问题存在于客户公司的核心业务中,包括供应链。童宁认为,解决客户的核心痛点是大型模型厂商会投入的一个方向,但切入点有所不同。目前,该行业正在蓬勃发展。但如何用好大模型是业界普遍关心的问题。 Orion做的就是处理大量的非结构化数据,这也是大型模型厂商所擅长的。

因此,需要将大型模型转变为“开箱即用”的应用程序。

“当人工智能受到如此广泛的关注时,我们一直在思考如何让客户使用人工智能并从中获得价值。”个人信息产品部高级计算及解决方案产品部总经理徐明说道。这家专注于硬件制造的领先科技公司也敏感于人工智能正在成为主流趋势,并试图通过软硬件结合的方式让更多企业将大型模型应用到生产运营中。

近日,惠普、星环科技与某央企签署战略合作协议,正式成为其IT合作伙伴。央企计划建立专属知识库,通过深度学习技术对其数据进行分析,更有效解读历史经营数据。惠普与星链科技共同讨论制定了方案,为他们提供合适的模型架构、选择合适的硬件配置、确定部署位置、预估项目实施进度。前端部署完成后,惠普和星环科技也将继续维护中后端的模型,并针对实际使用过程中可能出现的培训需求,以及内部人员的培训继续合作。雇员。

_数据搭建大模型应用基石,厂商试水软硬件新融合_数据搭建大模型应用基石,厂商试水软硬件新融合

通过一台一体机,依托惠普提供的具有算力支持的工作站,以及星链提供的Hub,通过惠普的硬件设施,结合星链科技的产品技术,可以将数据转化为企业内部的知识。

星环科技联合创始人、副总裁朱俊辰认为,大模型的应用意味着从之前的数据基础设施(Data Infra)向人工智能基础设施(AI Infra)的转变。企业可以更好地表征这些信息,并更好地利用这些数据的价值。对于大多数企业来说,他们期望购买的大模型不仅仅是一个空洞的框架,而是一个全面的解决方案。

“即使大模型技术发展起来,仍然需要软件和硬件的结合才能真正实现并产生价值。”朱俊辰说道。

 
打赏
 
更多>同类资讯

0相关评论
推荐热播视讯

推荐视频

    Copyright © 2017-2020  二手钢材网  版权所有  
    Powered By DESTOON 皖ICP备20008326号-2