它既拥有业界知名的通用大模型生成与理解能力，也有可以应用于金融、医疗等诸多领域的行业大模型，还有可以直接部署在PC、服务器等边缘设备且效果惊艳的端侧大模型。
可以看出，从去年到现在，大模型行业的发展重心正从技术突破延伸到实际应用，一方面通用大模型性能惊艳，另一方面更加贴近用户、性能足够强的大型端模型已展现出规模化应用的潜力。
其中，随着技术的成熟和应用场景的扩大，边缘侧大模型市场成为AI领域的重要增长点，而边缘侧大模型部署背后的一个关键角色就是底层芯片玩家。
在WAIC上，我们在一家清华旗下GPGPU创业公司的展位上看到，其AI加速卡K340l已经可以支持在AI PC等设备上运行的大型模型，并已适配Llama 3-8B、、统一千文等开源模型。
这家初创公司的技术实力不容小觑，本月初，芯电科技团队联合帝国理工学院、剑桥大学、清华大学、中山大学等顶尖高校的计算机架构团队，合作发表了题为《for Edge》（RPP芯片架构）的论文，并成功入选第51届国际计算机架构研讨会（ISCA 2024）Track。
据了解，该Track的录取率仅为15.3%，同时芯能科技还受邀在ISCA 2024大会上发表演讲，与Intel、AMD等国际知名企业同台竞技。
在WAIC上我们可以看到，以芯能科技为代表的国内AI芯片玩家亮相了不少技术成果和案例展示，为大模型在边缘的部署搭载加速引擎。
1.“六边形战士”RPP架构，突破边缘大模型
利用大模型加速落地已经成为共识，但一般的大模型很难理解企业真正的痛点，让企业真正利用大模型降本增效才是当务之急。
但相较于消费级AI工具，企业对于大模型的能力要求更高，除了大模型本身的性能需要足够优秀之外，更重要的一点，比如数据的安全性、快速的响应速度，也是云端运行的大模型所欠缺的。
因此边缘大模型脱颖而出，因为边缘设备更贴近企业业务或者用户本身，可以支持本地私有部署，保证用户数据的安全。同时底层AI芯片是AI落地边缘的必要条件。
这也导致大模型在边缘的部署对AI加速卡的特性提出了更高的要求。因为边缘往往只有一个独立的设备，所以芯片需要体积小、性能高、功耗低。目前开源的Llama系列、统一千文等模型在较小的参数规模下已经取得了不错的性能，能够实现很好的文本转文本、文本转图片的效果。这也为端侧大模型的实现提供了契机。
更重要的是，大模型的技术突破还在不断创新，为了在资源有限的设备上部署大模型，大模型量化部署的精度正在从8位支持到4位，大模型的快速演进对芯片研发的长周期、大投入提出了不小的挑战。
这些问题不仅对芯片的性能和灵活性提出了极大的挑战，也是实现大模型的必要条件。对于很多专用芯片来说，这意味着需要进行一次全新的芯片设计工作，但对于芯能科技的可重构并行处理器架构（RPP）来说，只需要进行一次软件开发。在面对实现大边缘模型所面临的困难时，芯能科技的RPP架构就显示出了其与生俱来的天然优势。
在生成式AI不断变化的应用场景中，唯一不变的就是变化本身。芯能构建的通用生态决定了，未来若出现除之外的新算法基带，RPP架构将能够在不改变硬件架构的情况下，快速完成算法的兼容与优化。这使得RPP架构拥有更持久的生命力和更广阔的市场前景。
RPP架构是芯动力专为并行计算而设计的芯片架构，芯动力称之为“六角战士”。该架构兼具NPU的高效率和GPU的高通用性，同时具备DSP的低延迟，可满足高效并行计算和AI计算应用的需求，如图像计算、视觉计算、信号处理计算等，大大提高系统的实时性和响应速度。
芯能科技首款基于可重构架构的GPGPU芯片RPP-R8，每颗芯片内含1024个计算核心，相较传统GPU架构，在相同计算能力下占用更小的芯片面积，实现低功耗与高能效的有效平衡。除了专用芯片所不具备的通用可编程性，RPP-R8的面积效率比是同类产品的7至10倍，能效比更是同类产品的3倍以上。
除了芯片本身，芯能科技还将为企业提供相应的软件，帮助企业部署和集成。
2、文本和图像生成+安全、工业和医疗，让AI在边缘蓬勃发展
相比云端大模型，端侧大模型能够根据用户行为、偏好提供更加个性化的服务，大幅提升用户体验。一方面端侧大模型的性能水平正在追赶云端模型，另一方面参数规模较小的端侧大模型的部署成本也在不断降低。
因此，本次WAIC展区中，很少有厂商单纯展示一般大模型的性能，更多的是丰富的行业应用、创新的工具等，这也使得大模型的应用场景以及其所展现的惊艳效果成为了WAIC关注的焦点。
仅在芯动力科技的展区内，就可以看到众多如文字、图片、泛安防、机器视觉、医学影像等边缘大模型的演示案例。
针对边缘大模型快速增长的市场潜力，芯能科技构建了丰富的产品体系，其中，在RPP架构的加持下，芯能科技K340l集成的芯片在约半张名片大小的面积上实现了的算力和60GB/s的内存带宽。
▲芯动力科技K340l
同时该款加速卡采用全可编程设计，兼容CUDA+ONNX，可广泛应用于AI PC、机器视觉、泛安防、医学影像等多个领域。
芯能科技现场演示的AI PC基于K340l，适配同易倩文7B机型，在文胜文的演示中，文本对话生成速度非常快，可以满足基本的办公和生活需求。
在文胜图的演示中，模型是基于加速卡进行适配的，因此仅支持英文输入。据现场工作人员介绍，文胜图的平均生成速度约为12秒。当给出输入“生成一张帅哥海报”时，模型仅用了10秒左右的时间就消化了提示词中的元素。
除了这些大规模的边缘模型部署，芯能科技在泛安防领域也实现了姿态检测。据工作人员介绍，芯能科技的芯片可以应用在养老院场景，预防老人跌倒，基于摄像头的姿态识别能力，可以快速检测老人是否跌倒，并采取协同措施。
在机器视觉、信号处理、医学成像领域，芯能科技的芯片可用于缺陷判断、医学图像增强等。
此前，工业场景中工业设备的缺陷检测往往依赖大量的人工视觉识别，不仅效率低下，还耗费了大量的人力和物力。基于AI的机器视觉不仅可以加速这一进程，还可以让识别结果更加精准。
在医学影像领域，机器视觉可以增强患者的成像效果，帮助医生快速做出判断。
针对大型边缘模型部署以及边缘设备的智能化升级，芯能科技形成了包括芯片、AI加速卡、边缘服务器等完整的产品体系，为边缘市场的爆发提供强劲动力。
3、边缘大机型争夺战如火如荼，芯电科技瞄准下一个增长点
即便目前端到端的大模型表现已经展现出在实际应用中的能力，但芯动力技术需要做的事情还有很多。
从某种程度上来说，参数规模越大，大模型的效果就越好，因此未来部署在边缘设备上的大模型的参数规模很有可能会持续增长。
另一方面，如今图像、音频、视频、3D等多模态大模型层出不穷，而这些能力对于用户来说也至关重要，因此大边缘模型的部署不会满足于简单的文本转文本、文本转文本。
更多创新算法的出现，将对芯片本身的灵活性和适应性提出更高的要求。
因此，一直坚持与边缘设备公司协同突破的芯能科技率先看到了这些挑战，并以RPP架构这个“六边形战士”为核心，不断突破技术瓶颈。
大模型和创新算法层出不穷，RPP架构的普适性优势让芯能科技能够更快速地支持新算法。大模型要在边缘实现，高性价比、低功耗、成本可控、高灵活性都是必不可少的，而RPP架构恰好满足了这所有的要求。
同时，芯能科技的另一大差异化优势是能不断与边缘设备厂商协同，优化芯片和软件，以跟上大模型行业的迭代速度。
这也将推动用户进一步看到大模型的实际价值，随着设备上边缘大模型数量的增加和实际落地步伐的加快，用户的付费意愿提升，进一步创造商业化、规模化应用的潜力。
对于芯动力科技来说，他们看到了企业加速在边缘大模型上推进产品的决心，边缘企业对大模型的看法已经发生转变，从让大模型跑起来，到如何真正实现商业化演进。
因此，芯能科技一方面着眼于边缘大模型的实际应用，另一方面也关注边缘设备的智能化升级与演进，即既看到潜力巨大的市场，也看到需求旺盛但仍处于产业发展早期的玩家。
拥有更长远视野和目标的芯能科技在大模型行业突飞猛进的发展时刻，找到了正确的定位，以更低成本的方式释放了边缘大模型的价值，同时也看到了边缘设备市场的下一个爆发点。
结语：边缘大机型崛起，芯电科技已抢先一步
虽然我国人工智能大模型发展起步较晚，前沿技术与国外还有一定差距，但国内在应用方面的发展已风起云涌，物流、金融、医疗等行业均开始探索大模型的深度应用。
更加靠近数据源头、能够实现更快响应、更低延迟的边缘大模型技术演进和创新突破越来越多，其面临的功耗、成本等诸多挑战正在被以芯能科技为代表的玩家逐一攻克。
目前，边缘模型规模化落地的潜力已显现，芯能科技的产品布局也初见成效。随着该领域的技术进步和行业需求的增长，率先布局的芯能科技可以抢占先机，在大模型向行业渗透的过程中找到更大价值。
