聪明的东西
作者徐宇
编辑莫莹
AI手机、AI电脑、AI眼镜等智能设备正逐渐成为AI代理人。不过，这些小型终端要使用大模型能力，还需要一个关键关键，那就是一套端边云联动的解决方案。
智东西1月6日报道，当前，大模型行业呈现端边云协同新趋势，加速端智能场景落地。
过去一年，智能门锁、AI监控机、AI眼镜、无人机等多种形态的端侧AI产品涌入市场，主打轻量化部署。他们的内置人工智能模型通常很小且易于使用。然而，端侧设备的功耗和计算能力仍然非常有限，涉及复杂计算的推理任务正在向边缘和云端转移。
换句话说，大模型的算力优势与小模型的低成本部署之间还缺少一座桥梁。字节跳动旗下云服务平台火山引擎给出了他们最新的解决方案。
在2024冬季火山引擎FORCE原动力大会上，火山引擎边缘云正式宣布其智能边缘全面升级，优化物联网平台、智能平台、边缘大模型网关服务，推出边缘原生智能。这可以算是一套完整的基础设施。该系统可用于连接端侧小模型应用和边云大模型能力。
火山引擎边缘智能技术负责人谢浩解释，端侧主要提供一站式解决方案，让端侧的嵌入式设备也能使用大模型；边缘侧推出了大模型网关，提高大模型调用过程的效率和稳定性；中心侧会编排一些Agent，降低大型模型应用的部署难度；而边缘原生代理可以针对不同行业定制个性化代理。
谢浩还就边缘智能的最新技术优势、边缘智能新的应用场景以及边缘智能下一步的发展重点分享了他的看法。
他认为，边缘AI的发展目前可以分为两个方面：基础设施和应用场景。前者主要负责解决连接和计算问题，提供大模型调度和计算推理能力。边缘AI应用场景的发展仍受到碎片化、难以扩展的限制。谢浩表示，支持端边云联动的智能边缘架构在大多数情况下都可以复用，这在一定程度上可以拓宽边缘AI的部署范围。范围。
为什么要加强AI Agent与大模型的联系？如何安全地实现计算任务的端边云协同处理？ AI Agent时代边缘智能解决方案能解决哪些问题？经过与火山引擎边缘智能技术负责人谢浩的深入交流，我们详细剖析了一站式边缘智能解决方案的两大技术优势。
1、大中小工厂使用，AI Agent有了调动大模型的新方法
从大体量模型技术到大体量模型应用，AI Agent生态系统将在2024年达到高潮。根据.fun最新数据，截至2025年1月4日，AI Agent整体市值已达173.6亿美元，近7天增长近50%。
除了资本市场的热捧，AI Agent自身能力也得到快速发展。 《福布斯》2024年12月底援引业内人士的话称，预计2025年将出现能够根据简短提示词执行复杂任务的AI智能体。
在一份关于2024年AI Agent现状的调查报告中，1300多名受访者中有一半以上已经在生产过程中使用Agent。其中，拥有100至2000名员工的中型企业占63%，最常采用代理商来提高生产过程的效率。
如果调查进一步扩大筛选范围，将计划应用AI Agent或正在开发AI Agent的企业纳入其中，那么AI Agent的潜在用户与实际用户的比例将高达78.1%。
这也意味着大多数企业在过去的一年里一直愿意引入AI Agent，但在实际部署过程中可能遇到了各种绊脚石，从而滞后于相关计划。可能有一些公司较早积累了AI模型资源，因此基于更通用的边缘AI基础设施将AI模型能力按需迁移到端侧设备可能是一个新的出路。
公开资料显示，润鑫科技、地瓜机器人、上海某大学等国内不同领域的企业和单位已经开始加速实施大模型，以刺激业务增长。这背后是火山引擎的边缘智能基础设施。
为了更好地适应AI Agent时代，这套边缘智能基础设施在四大方面进行了优化，包括简化终端智能接入流程，提升边缘云推理请求的加速性能、推理能力和安全性，增强边缘云推理能力。大模型文件分布和智能。车身配置等功能，并新增多项行业智能车身。
在接受智东西采访时，谢浩提到了这个解决方案涉及到的AI模型。云服务主要使用大型豆袋模型，而解析提示词等步骤会使用一些具有行业属性的传统简历并自行微调。模型，或小型开源模型。
2. 智能决策者，节省算力，隐私和安全为重中之重。
通常情况下，AI Agent需要依赖云服务器为其提供大量算力和算法支持，但也面临着算力资源竞争和部署成本高昂的问题。与云服务相比，端智能在本地设备等端侧处理计算任务，可以有效降低时延和计算成本。
终端智能在实施过程中可能会遇到以下四个挑战，包括多平台集成、多SDK适配、多设备身份管理和多模型协作。针对上述多点联动问题，火山引擎边缘智能推出了合端智能一站式服务解决方案。
1.一站式智能软件开发解决方案
客户端将集成软件开发工具包（SDK）。基于该SDK，可以解决在线升级（OTA）、日志记录、远程登录、设备管理等一站式设备运维需求，以及设备密钥、设备证书等设备安全问题。要求，以及多模型和多代理调用的设备智能要求。
同时，终端侧还提供硬件抽象层（HAL）接口，用于在实时操作系统（RTOS）、其他嵌入式操作系统以及无操作系统的设备上迁移SDK。
2、一站式跨云服务权限智能解决方案
该方案支持云上多个平台之间的相互身份识别和权限穿透，让设备共享一组密钥和证书，从而可以访问边缘大模型网关、物联网平台等多种服务。
此举将有效减少设备侧的资源占用和重复创建多个证书的成本，同时也避免了重复身份认证带来的额外服务调用。同时，这种方式在保证安全性的同时，也提升了设备的整体性能。
此外，在终端智能解决方案中，每个设备都可以在粒度上按需拥有代币配额，为终端侧提供更具成本效益的计量计费策略。
3.一站式企业部署智能解决方案
通过终端与云技术的深度融合，主要降低企业终端侧智能化的开发和接入门槛。
然而，上述端侧智能解决方案虽然为端侧设备接入AI Agent提供了更多的技术支撑，但并不能完全突破端侧AI算力的上限。由于计算能力和内存的限制，端侧AI大多采用小型模型，这也使其难以兼顾一些复杂的计算任务或更多样化的应用场景。
如果AI Agent消耗算力，它还可以“吃什么就吃什么”，自动匹配每个计算任务是调用端侧的小模型还是边缘或云端的大模型，从而能够处理以更具成本效益的方式处理更复杂的任务。人机交互场景。火山引擎边缘云于2024年底推出的智能决策者，作为这一分配过程的主控室。
据公开资料显示，智能决策者可以根据提示词等信息，按需将任务分配到本地、边缘或云端处理。 AI Agent推理请求的难点主要在于其对提示词的理解。因此，智能决策器前端设置了提示词解析流程，利用大型局部边缘模型对提示词进行解析，然后通过中央智能路由对提示词进行分析。结果被传送给智能决策者。
那么当接收到一个计算任务时，智能决策者如何判断是否需要使用本地、边缘或云端的AI模型来处理呢？
其对计算任务复杂度的表征主要考虑两大方面。一方面是基于规则的静态决策，会综合考虑功耗、机型、温度等因素；另一方面，它是基于模型的动态决策，会考虑小模型、隐私判断、任务判断等维度考虑适用的情况。
但当决策结果相互矛盾时，数据安全和隐私就会成为首要考虑因素。决策顺序大致分为以下几个步骤：当计算任务的安全性和隐私级别较高时，要求智能决策者的推理过程只调用局部模型；当计算任务的安全性和隐私级别适中时，智能决策者则根据计算任务的复杂程度结合分流，优先考虑涉及隐私的本地处理，而更复杂的则倾向于调度到边缘或云推理。
以智能座舱为例，车内的摄像头可能会记录一些涉及隐私的对话和行为。谢浩表示，在这种情况下，聪明的决策者会倾向于本地化处理，但如果需要联网、影像插件等，那就会比较困难。复杂的操作通常由云上的大型模型来处理。
当智能决策者决定将推理请求转发出本地设备时，具备标准接口、就近接入、推理加速、高鲁棒性四大核心能力的火山引擎边缘大模型网关将为提升推理能力提供进一步支持。边缘和云“大脑”的访问效率。
具体来说，在标准接口方面，边缘大机型网关适配了约20家主流大机型厂商和多家代理提供商，实现一致的标准接口，从而简化了开发流程。
在就近接入方面，边缘大模型网关利用全局边缘节点和智能流量调度策略，实现端侧设备就近快速接入，降低时延。
在推理加速方面，边缘大模型网关采用多种缓存技术和边缘推理方法，有效提升查询速度，增强整体性能。
高鲁棒性方面，边缘大模型网关建立了跨模型厂商的故障迁移机制，并应用错误重试策略，增强请求处理的鲁棒性，使计算任务处理更加连续可靠。强大的。
3.能够全方位链接边缘原生Agent，支持AI Agent就近迁移至云端
边缘原生代理是人工智能模型端侧实现的重要形式。
火山引擎为边缘原生代理提出了四种基本功能，包括理解设备功能、连接到物理世界、单代理协作和多代理协作。这也对应了人机交互场景中动态捕获和理解信息、自主感知或操作设备、单个智能体完成特定任务以及多智能体协作完成复杂任务的需求。
其中，为了提高边缘原生智能自主感知和操作设备的效果，火山引擎选择链接自家的低代码平台“”，实现边缘智能与家居设备、工业设备等物理设备的连接。通过定制插件和工作流程的车载设备。世界实体的连接。据火山引擎介绍，边缘原生智能已应用于相关智能数字工厂和智慧园区，涉及工业质检、园区安防等领域。
现阶段火山引擎边缘云的分布式云网络基础设施已在国内外拥有超过2500个边缘节点。其网络时延控制在1～40毫秒的低范围内，支持端边互联、边边互联、边云。互联场景，让智能应用就近上云。
同时，在智能应用从设备侧迁移到边缘或云端的过程中，无论是单个Agent内部设备、边缘、云之间的相互传输，还是多个Agent之间的协同连接，依赖安全的传输网络。对此，火山引擎边缘云在DDoS防护、边缘WAF、频率控制等传统安全防护措施的基础上，增加了针对AI Agent的边缘安全防护功能，包括提示词检测、系统提示词防御、结果检查等。 ， ETC。 。
结论：从各司其职到取长补短，端、边、云协同形成人工智能应用的大势所趋。
目前，虽然大模型的类型、性能和开发者相对多元化，支持AI Agent部署的选择也较多，但与大模型相关的芯片、算力、能源等资源仍处于一个阶段哪里资源紧缺。因此，中小型企业还处于AI阶段，在Agent部署方面，往往很难领先于大企业。但如果仅采用成本较低的端侧AI，并不足以覆盖公司所有的生产效率提升需求和场景。
端、边、云协同处理AI任务，将有效降低AI应用部署成本，节省算力和功耗，进一步降低中小型企业引入AI代理的门槛。
同时，支持端边云协同的边缘智能基础设施可以帮助不同行业快速学习和定制可行的AI模型实现样本。从火山引擎边缘云目前公开的成果来看，在实体智能、终端智能芯片、智能玩具、创新教育等行业都有实际案例。
