要扛起构建本土AI底层生态的大旗，国内厂商需要在端侧AI领域齐心协力、共同发力。
作为产业链最上游芯片IP领域的核心玩家，ARM科技刚刚在上海举办了终端侧AI生态研讨会，聚集了行业从芯片、大模型到终端的方方面面，从硬件、软件、算法到生态。行业领先企业分享最新行业趋势，输出前沿观点。
Arm科技销售与业务执行副总裁徐亚涛提到，AI未来的发展一定是多元化的。每一种产品都面临着人工智能的挑战，整个行业正在被人工智能重塑。人工智能无法单独解决，跨行业的深度合作将成为必然。
▲安谋科技销售与业务执行副总裁徐亚涛
1、端侧AI落地，模型与算力“双向冲刺”，本土AI新势力崭露头角
就在昨天凌晨，Sora视频大模型正式发布。 AI大模型的迭代更进了一步。从文字到图像，从多模态到视频，大模型的发展快得让你不敢眨眼。如果你不小心，你可能会落后。
随着超大规模基础语言模型不再继续激增，大型模型向边缘、终端下沉的趋势越来越明显。 AI OS、AI Agent等概念逐渐成为行业共识，行业关注点转向真正为行业赋能并实现落地。
大家不再单纯看TOPS（算力），而是更关注FPS（帧性能）和（字生成速度），即更关注应用场景中的实际表现。
致远人工智能研究院副院长兼总工程师林永华提到，现在大模型的技术发展更加注重模态的多样性、模型结构算法的多样性以及生产部署的优化。大型模型的发展呈现出“两极分化”的局面：更强、更大、更小、更精。
据统计，百亿以上的强大密集模型，或者10B以下的小模型更受欢迎。越来越多的小模型被发布和下载。端侧AI的发展显然更注重“更小、更强大的模型”。精制”。
同时，一个突出特点是，国内AI企业在AI大模型浪潮中已经走在了全球AI产业的前列。在热门的大型车型中，本土企业研发的车型占比较高。
尤其是结合国内人工智能市场的潜在规模，本土人工智能企业的发展潜力更大。
Arm技术营销与生态副总裁梁全也谈到了类似的观点。在设备端AI领域，模型和算力正在“双向运行”。小参数、多模态模型能力快速提升，旗舰机算力快速提升。功率也达到了50-。
▲安谋科技营销与生态副总裁梁泉
端侧AI元年，虽然没有人能准确说出端侧AI的杀手级应用会是什么，但本土AI新势力的发展。端侧AI真正从技术军备竞赛转向场景化应用。
2、本土企业在设备端AI落地落地处于领先地位，技术创新加速，生态统一势在必行。
设备端AI的发展无疑正在迎来新的“黄金时期”。从芯片、框架、大模型到终端，全产业链各个环节深度参与，快速适应，不断迭代产品和技术。与此同时，统一生态系统的重要性日益凸显。端侧人工智能的高效落地，必然需要弥合碎片化的生态系统，需要产业链各方的共同努力。
1、从手机、PC到汽车，芯片创新为端侧AI的落地提供了底层基础。
在实现设备端AI的过程中，AI手机无疑走在了最前列。苹果和安卓两大生态系统正在相互竞争。在生态系统上，联发科、展锐等手机芯片巨头的AI手机芯片均基于Arm架构。
紫光展锐执行副总裁兼市场部总监黄宇宁表示，现在设备端AI正在兴起并取得更多成果，包括硬件、软件、设备端大模型、设备端等领域很多新技术的成熟。 -云协作和安全技术。加快AI手机发展。
▲紫光展锐执行副总裁兼市场部部长黄宇宁
从手机AI到真正的AI手机、能够自动执行复杂任务、真正理解我们的智能设备，AI手机的发展正在进入AI OS和AI代理时代。在AI应用到手机的过程中，不少厂商明确提出了“端云协同”的混合AI模式。
总之，混合AI将云端强大的计算能力与设备的个性化、低延迟、高数据安全性相结合，真正实现卓越的设备端AI体验。
黄宇宁介绍，紫光展锐的芯片已应用于三种典型的AI场景：全场景通用AI算力（设备端AI代理）、多媒体专用AI算力、低功耗轻量级AI算力。
基于Arm架构和生态系统，紫光展锐可以提供CPU、GPU、NPU和集成SoC等底层计算平台，整个生态系统的建设需要行业合作伙伴的共同努力。
黄宇宁特别提到，在实现端侧AI的过程中，统一的生态系统非常重要。最直接的受益者是开发者，开发者可以利用统一的生态系统，在芯片上快速实现最新的算法和模型。 ，让用户最终能享受到良好的服务。
除了AI手机之外，端侧AI落地的另一个重要领域是AI PC。
西芯科技生态战略总经理周杰提到，生成式AI正在推动PC行业的第三次革命。 AI为PC行业注入了新的活力，包括异构AI算力、内存、SLM（小模型）、智能化方面，国内厂商都在积极拥抱端侧AI。
▲西芯科技生态战略总经理周杰
已经发布的“This Core P1”芯片是一款高能效异构处理器，集成了ARM科技自主研发的Arm架构CPU、GPU和“周易”NPU。该核心技术利用异构算力赋能，可以实现多场景的端侧AI，针对不同的应用负载应用不同的计算模块。
现场，周杰还展示了他们的全新AI PC开发套件Radxa Orion 06。该开发套件搭载了“本核P1”高能效Armv9处理器，可支持主流端侧生成式AI大模型并基于异构计算能力。传统的CNN模型。
显然，AI PC的发展将有助于Arm架构在PC市场的崛起。 Arm架构在AI PC生态中具有先发优势，是手机生态的自然延伸。
爱芯远智还打造基于Arm架构的AI处理器。爱信远智联合创始人、副总裁刘建伟表示，人工智能是稳定可靠的智能输出基础设施，是成本驱动的生产力革命。
▲爱信源智联合创始人、副总裁刘建伟
AI的发展带来了新的编程范式，因此需要真正按照原生AI处理思路设计的AI处理器。为此，爱芯远智通过将算子指令集与数据流DSA微架构相结合，开发了相关的AI处理。控制器，可兼顾灵活性和低能耗。
他特别提到，AI处理器的设计需要软硬件联合设计，使得软件编程的负担越来越轻。
2、从云到端，模式“更小更强”，统一生态加速技术创新涌现
在大模型研究方面，致远人工智能研究院、面墙智能、vivo均是各自领域的领先者。端侧AI的落地，离不开大模型侧的技术突破和优化迭代。
致远人工智能研究院副院长兼总工程师林永华表示，未来10年，大模型必然引领AI走向美丽的星辰大海。在此过程中，多异构的AI算力软硬件生态系统面临着巨大的技术挑战。
▲致远人工智能研究院副院长兼总工程师林永华
芯片级软件生态碎片化、迁移成本高，而各种异构算力、多区域算力的融合则面临异构算力软件不同、软硬件稳定性差等问题。各厂商专有且碎片化的软件生态系统成为用户尝试其他AI硬件的最大障碍。
为多种异构AI芯片打造统一、开放、协作的软件生态系统显得尤为重要。这也是致远人工智能研究院打造基于开源语言的统一软件层，打造国产AI芯片软硬件生态圈的目标。目的。
该编译器可支持Arm生态芯片，基于算子库和编译器，您可以获得开发效率和性能效率的双重优势。
林永华特别强调了统一生态的重要性。当上层有统一的生态时，就会出现更多软件技术的突破，这对于整个行业具有重要的积极意义。
面墙智能联合创始人兼CTO曾国阳重点分享了面墙小钢炮系列大型模型的最新进展。其“小而全、高效率、低成本”的特点，恰恰印证了林永华对大型车型趋势的判断。
▲面墙智能联合创始人兼CTO曾国阳
3.0是4B大模型，可以达到世界一流的基础性能，量化后仅占用2GB内存。最新的端侧多模态大模型-V 2.6 8B模型在单图、多图、实时视频各个维度都可以超越GPT-4V。
未来，大型模型的知识密度将随着时间呈指数级增长，当前端侧算力总量巨大，需要激活。现有手机终端算力总规模超过。端侧AI市场潜力巨大。 “把大模型放到‘更贴近用户’，是面墙智能未来要做的核心。
vivo还做大机型“小而美”。
作为手机终端巨头，vivo在自研大机型上始终走在行业前列。今年，其自主研发的蓝心端侧大模型——3B，在性能、功耗等方面都超越了原来的7B大模型，甚至可以达到云中70B大模型的80%以上的效果。
▲vivo AI规划高级总监孟翔宇
系统级总结概括、全局书写工具、多模态理解、vivo手机智能（自主拆解需求、主动路径规划、实时环境识别、动态反馈决策）等设备端AI能力全部实现vivo的旗舰手机。
目前，移动端大模型开发面临的主要挑战是内存、性能、功耗和模型效果之间的平衡。在vivo看来，3B大机型是终端机型的黄金尺寸。未来，如何更高效地充分利用芯片算力，在小参数模型上实现更好的端侧AI体验，是手机厂商努力的方向。
3、MNN提高大模型部署效率，各大ODM厂商重点部署软件打“连接”
在芯片和大模型之间，推理框架层面的技术迭代也非常关键，可以说对大模型在终端侧的落地起到了“催化剂”的作用。
阿里巴巴端侧AI技术专家邢世文重点分享了他对MNN开源框架端侧大模型部署的探索。
▲阿里巴巴客户端AI技术专家 邢世文
简单来说，MNN是一个轻量级的深度学习推理引擎，涵盖了AI模型图的优化、转换、高效运行。其核心是解决模型在各种设备尤其是移动设备上高效部署和运行的问题。
在“连接”方面同样具有独特价值的六联智能，是一家主要的ODM厂商。产品中心副总经理、产品总监张晓军提到，六联智能的目标是提供端侧AI全场景硬件解决方案。他们最近成立了专门的软件团队，连接处理器厂商和算法厂商，实现更好的融合，打通“最后一公里”。
▲六联智能产品中心副总经理兼产品总监张晓军
目前，从个人10B，到家庭/小型企业10-100B，再到大中型企业100B+，六联智能拥有包括AI PC、AI工作站、服务器在内的全场景端侧AI解决方案。
4、基于自研NPU，异构计算+混合AI成为业界最佳解决方案
可见，端侧AI已经成为整个AI产业的重点领域。 Arm科技在高举大旗推动AI生态建设的同时，也基于自身本土创新能力推出了“周易”自主研发的NPU。并且从异构计算的角度，进一步加速了端侧AI的落地，为行业提供了新的解决方案。
ARM科技NPU产品总监鲍敏奇在会上提到，国际各大手机、平板、PC厂商都发布了各类应用，但目前实际的AI模型使用体验仍然不理想，国内的AI算法模型应用生态还没有形成规模。业务实施。
▲安谋科技NPU产品总监鲍敏奇
端侧AI的迭代非常快，从高频算法更新、计算模式优化、容量需求增加到算力需求。随着大模型的多模态应用，算力要求不断提高，而大模型需要NPU IP。硬件也提出了新的要求。
针对这些需求和挑战，Arm科技新一代“周易”NPU进行了专门优化。涵盖软硬件解决方案以及深入的系统考虑，形成功耗、面积、性能方面的优势。可以说是基于软件和硬件的。协同应对未来的应用场景。
前面提到，在设备端AI的发展过程中，算力和模型呈现出双向发展的趋势，而在这个过程中，也存在着很多挑战。异构计算和混合AI方法可以充分利用设备端的计算能力，成为业界公认的最佳解决方案。
3.既懂技术又懂市场。本土AI生态的“领先”并非一日之功。
可以看到，从手机、PC、汽车到整个物联网AIoT，包括智能家居、无人机、智能工厂、机器人、智能监控、智能零售、智能穿戴，几乎每个行业都可以得到AI赋能。
芯片企业、大型模型企业、终端巨头以及产业链上下游各方也都在积极行动，探索合作方式，共建设备端AI生态圈。在这个确定的方向上，ARM技术的产业价值不言而喻。
ARM科技一方面在NPU、软件、异构计算平台等方面进行了解决方案级的技术布局，另一方面也成为与国内客户合作共建设备端AI的核心推动者。生态系统。
今天的研讨会上，“AIPC暨联合实验室”正式揭牌。这是Arm科技发起、产业各方共同打造的AI平台。核心是打造本地AI生态、社区发展和技术运营，进而为端侧AI的落地落地加油。
实验室将聚焦PC和Edge领域，探索AI生态系统和应用场景，与产业链合作伙伴共同构建本土技术生态系统。当然，这也是国内厂商对接Arm全球生态的关键平台。
事实上，根据现场参会人员的发言，在笔者看来，ARM科技牵头组织本次端侧AI交流分享局的立足点可以用以下几个关键词来概括：
一是“连接”。一方面，有完整的自研业务产品和本地市场服务能力，另一方面，Arm成熟的技术标准和生态系统，从Arm的通用IP到自研产品，使其能够通过Arm连接和赋能各行业产品组合和形式更加灵活。 。
二是“上游”。作为本土AI产业链的上游，其独特的视角是区别于其他设备端AI玩家的又一核心标签。它可以站得更高、看得更远，对技术趋势的判断也更加前瞻性和准确。
三是“本土”。作为本土企业，它对本土人工智能市场的实际需求和关键痛点有更准确的把握，本土技术创新也更有针对性。
这些都是Arm技术在当今国内AI行业无可替代的特点。
正如Arm科技营销与生态副总裁梁全表示，在实现端侧AI的过程中，很多问题往往需要既懂模型又懂底层软硬件的人来解决，这是一个巨大的挑战。制造商面临的挑战。
但同时，这些问题也有共性。建立统一的软件生态系统具有重要意义。 ARM科技的一系列行动正是为了帮助企业解决这些挑战。
据了解，目前有致远人工智能研究院、紫光展锐、爱信远智、六联智能、西维软件、西新科技、易道数码、汇西智能、面墙智能、零一万事达等十几家企业，中科嘉禾、瑞萨电脑等企业已正式加入AIPC及联合实验室，上海漕河泾开发区为实验室提供了相关产业支持。
Arm科技无疑在推动设备端AI生态建设方面又迈出了关键一步。
结语：瞄准未来万亿市场，本土AI产业有望继续领跑
自2018年成立以来，从承接Arm技术、生态赋能产业到多条自研产品线不断迭代。一方面连接Arm生态，另一方面培育国内市场的独特地位，ARM科技持续致力于软硬生态协同，为本土人工智能发展提供更有针对性的综合解决方案。
随着Arm计算平台在AI时代的稳步发展，Arm架构成为未来AI计算的基础已成为必然趋势。我们也期待看到，在本土端侧人工智能产业链上下游企业的全力协作下，本土人工智能产业将在产品研发、技术创新、市场培育等方面进行多元化发力，不断向前迈进。以更快的速度向万亿美元规模迈进。前进。
