边缘侧小模型崛起:边缘硬件是否已准备好迎接生成式AI模型?

   日期:2024-12-25     来源:网络整理    作者:二手钢材网    浏览:171    评论:0    
核心提示:Super的发布,为中国企业在边缘AI领域的发展提供了难得的机遇。如果中国企业能够抓住这一机遇,积极布局边缘AI硬件领域,不断强化技术研发和产品创新能力,就有望在全球边缘AI市场中占据一席之地,并带动服务业的转型升级。

AI模型就像软件一样,需要硬件作为载体才能发挥作用。

面对边缘AI的快速发展,我们不禁要问:边缘硬件准备好了吗?

生成式人工智能模型的实现离不开边缘硬件的支持。对于开发人员和最终用户而言,边缘硬件是利用人工智能的强大工具。

一件优秀的五金“工具”就像一件能磨铁如泥的法宝。如果遇到善用它的高手,它就会所向无敌,威力强大。

如今,边缘设备的计算能力日益增强,从过去的几个TOPS@INT8(每秒可以执行数万亿次八位整数运算)跃升至数十TOPS。这意味着边缘硬件即使在网络断开的情况下也可以独立完成SLM推理任务,大大拓宽了应用场景。

随着SLM的发展,很多公司都推出了针对SLM优化的边缘智能开发板。尤其值得注意的是,上周英伟达发布了令人瞩目的新品,将边缘硬件的性能和性价比推向了新的高度。

12月17日,在英伟达CEO黄仁勋发布的视频中,他从烤箱中拿出了最新“烹饪”的新边缘开发套件Orin Nano Super。

这款“边缘AI大脑”不仅性能更加强大,而且价格也降了一半,仅售249美元(不到2000元人民币)。这无疑将掀起边缘AI的一场革命。

该产品的问世不仅将掀起全球边缘AI开发板大战,也为中国企业在边缘AI领域的发展提供了难得的机遇。

本文将从新产品的特点、边缘AI开发板的竞争格局以及中国企业面临的机遇和挑战等角度,深入探讨这场边缘AI革命的意义和影响。

让我们做好准备,迎接即将到来的端侧AI和边缘AI硬件的“寒武纪”物种爆发阶段。

_中国广告市场万亿规模_企业弯道超车

重新定义边缘人工智能的可能性

中国广告市场万亿规模__企业弯道超车

在介绍的新产品之前,有必要了解一下,端侧AI和边缘侧AI硬件覆盖面很广,解决方案从几十美元到数百万美元不等。可以说是应有尽有。

广义上讲,任何能够在不连接互联网的情况下完成AI推理任务的硬件都应该属于边缘AI的范畴。与端侧相比,边缘侧对算力和功耗的要求更高。业界普遍认为,AI工业计算机、嵌入式设备、电池供电的可穿戴设备、服务机器人等都是边缘侧AI的典型应用。

当然,这些边缘AI设备的解决方案也有多种形式,包括微处理器(MPU/SoC)开发板、类 Pi开发板、TPU加速棒等,当然还有“美味”:Orin Nano Super开发套件。

这款新发布的产品是Nano系列的升级版,堪称该系列中的“性价比之王”。性能大幅提升的同时,价格却下降了一半,仅249美元(不到2000元人民币)。

与上一代产品相比,Nano Super的AI推理性能提升了1.7倍,整体性能飙升70%,达到惊人的67 TOPS@INT8。此外,Nano Super的内存带宽提升至102GB/s,比上一代提升50%:CPU频率也从1.5GHz提升至1.7GHz:而整体尺寸只有一个大小手掌上,功耗仅为25瓦。

企业弯道超车_中国广告市场万亿规模_

Orin Nano Super 同时支持多达四个摄像头,并提供比其前身更高的分辨率和帧速率。性能的全面升级将为主流生成式AI模型以及基于其的计算机视觉算法带来显着收益。

这款革命性的AI开发套件将允许机器人和工业自动化领域的开发人员以及各行各业的硬件工程师在不连接云平台的情况下在边缘实现高效的AI计算,从而显着降低成本和延迟。

在谈论新产品的同时,我们还需要关注美国芯片限制令对中国可能产生的影响。

企业弯道超车_中国广告市场万亿规模_

12月19日,也就是新产品发布的第二天,美国商务部要求英伟达调查过去一年该公司产品流入中国大陆的情况。

然而,审查发布的附加出口管制法规后可以发现,ECCN 3A090下的相关注释明确表明,TPP不超过4800的非数据中心芯片不属于该管制范围。这意味着笔记本电脑、智能手机和游戏机等消费电子产品中使用的绝大多数芯片不受影响。

因此,系列产品可以通过正常渠道在中国销售。这一新品的推出,必将点燃更多创新开发者和应用企业的热情。

高性价比边缘AI时代即将到来

_中国广告市场万亿规模_企业弯道超车

新产品的问世,势必引发AI开发板的激烈竞争。

市面上类似Orin Nano的产品有很多,每一款都号称拥有高算力、强性能。一些国外开发者曾经对当时最流行的三款AI开发板进行了横向比较,分别是 Pi + Intel神经网络计算棒、 Orin Nano和Coral。

企业弯道超车_中国广告市场万亿规模_

结果发现,没有开发板能够达到官方声称的最高效率。

测试结束后,开发者可爱地透露:这篇文章是由 Coral 发的。看得出来,谷歌也相当“心大”,认可这个客观中立的测试结果,至少没有被打脸。

无论哪种产品更好,对于开发者来说,高性价比、功能强大的AI开发板时代已经到来。从此不再有“算力贵,难出好结果”的借口。

企业弯道超车_中国广告市场万亿规模_

由此,围绕边缘AI的最新“安迪-比尔定律”争论也开始了。这条定律曾经为IT行业创造了一个完美的模式:安迪给予什么,比尔就拿走什么。如今,这一定律正在边缘AI领域重演。

除了这款新产品外,英伟达还计划在 2025 年推出 Thor,以争夺更大的 AI 硬件市场份额:并计划在 2025 年 1 月发布可以独立执行任务的 AI 代理。

这对“准安迪-比尔”组合的不断迭代不仅推动了AI技术的进一步成熟,也将重塑未来智能设备的功能和应用场景。

在之前的文章《2025年智能代理战争来临,2026年智能代理+Web3触发万物经济》中,我介绍的AI代理不仅在技术上具有自主性,而且在功能设计上充分考虑了多样性,可以控制计算机和独立执行任务。对此,致力于通过硬件平台赋能智能机器人,两者已形成互补趋势。

在这场边缘AI开发板争夺战中,中国企业有望占据一席之地。

这一预测不仅基于中国在芯片制造领域的快速进步,也基于中国企业积极参与当前“安迪-比尔定律”的重构。

中国海关总署12月10日发布的最新数据显示,2024年前11个月,我国集成电路出口突破万亿元大关,同比增长20.3%。这一里程碑式的成就,标志着我国芯片研发、生产制造能力跃上新台阶。

经过六年的贸易战考验,中国在2023年成为全球最大的芯片生产国,为中国企业参与边缘AI硬件竞争奠定了坚实的基础。

在新一轮“安迪-比尔定律”演变中,中国企业正在积极布局。一方面,中国企业可以充分利用芯片制造优势,为边缘AI开发板提供高性价比的核心零部件;另一方面,中国企业也在加大研发投入,致力于打造高性能、功能丰富的边缘AI开发板产品。

边缘AI是中国“硬件+服务”融合的关键

除了参与边缘AI开发板之战之外,新一代边缘AI开发套件Orin Nano Super的发布,为中国企业在边缘AI领域发展提供了难得的机遇。

中国广告市场万亿规模__企业弯道超车

这款高性价比产品不仅让更多开发者有机会接触和应用AI技术,也为中国企业在硬件制造与AI服务融合方面开辟了新的可能。

回顾过去几十年的国际分工,中国在硬件制造领域积累了显着的比较优势。但这种“硬件强、软件弱”的不平衡发展模式,导致内需不足、服务业滞后等问题日益突出。边缘AI硬件的兴起为打破这一困境提供了机会。

边缘AI硬件的特点是将强大的AI计算能力与物理设备紧密结合,让智能服务能够在本地实时交付。

这意味着中国企业可以充分发挥在硬件设计和制造方面的优势,同时通过边缘人工智能实现服务能力的跨越式提升,最终实现制造业和服务业的均衡发展。

以服务机器人为例。它们集成了先进的人工智能算法和传感器技术,可以根据用户需求和环境条件提供个性化、智能化的交互服务。毛茸茸的AI机器人宠物、贴心的家庭陪伴机器人、懂人心的智能眼镜等都是边缘AI服务设备的典型应用场景。这些创新产品的问世将极大丰富人们的生活体验。

中国拥有完整的电子制造供应链和庞大的消费市场,为边缘AI硬件的大规模生产和应用提供了得天独厚的条件。

中国企业若能抓住这一机遇,积极布局边缘AI硬件领域,不断加强技术研发和产品创新能力,有望在全球边缘AI市场占据一席之地,带动服务业转型升级行业。

但要真正实现“硬件+服务”协同发展,中国企业仍需在以下方面进行深入探索和实践:

1、加大研发投入。边缘AI的竞争归根结底是技术的竞争。中国企业必须在算法模型、芯片设计、传感器集成等方面加大研发力度,突破关键核心技术,提高产品的智能化水平和性能。

2.深化产业链协作。边缘AI硬件的研发和生产涉及芯片、算法、传感器、结构件等多个环节,需要产业链上下游企业密切协作。我国企业应充分发挥产业集群优势,建立健全协调机制,提高供应链效率和灵活性。

3、创新商业模式。单纯的硬件销售很难获得巨额利润,中国企业需要探索“硬件+服务”的创新商业模式。可以考虑通过硬件产品获取用户和数据,然后通过软件服务实现商业变现:或者针对特定行业提供端到端的整体解决方案,充分挖掘客户需求。

4.培育开发者生态。边缘AI的应用开发离不开开发者的积极参与。中国企业应积极培育开发者生态,激发开发者创造力,通过开放平台、开发工具、社区活动等共同丰富边缘人工智能应用场景。

_中国广告市场万亿规模_企业弯道超车

5、注重隐私保护。边缘AI的普及应用将产生大量的用户数据,这对数据安全和隐私保护提出了更高的要求。中国企业必须严格遵守相关法律法规,加强数据全生命周期管理,增强用户信任。

6.积极参与标准制定。边缘AI仍处于起步阶段,相关标准规范亟待建立。中国企业要积极参与国际标准化组织工作,争取在关键技术领域获得更多话语权,为边缘人工智能产业健康发展做出贡献。

中国企业只有在技术、产品、服务、生态、安全等多个维度形成差异化优势,才能在激烈的边缘人工智能竞争中抢占先机。

写在最后

最新的边缘AI开发套件Orin Nano Super以其强大的性能和超高的性价比重新定义了边缘AI的可能性。

该产品的问世不仅掀起了全球边缘AI开发板大战,也为中国企业在边缘AI领域提供了发展机遇。中国企业可以充分利用自身在硬件制造领域的优势,同时通过边缘人工智能实现服务能力的跨越式提升,最终实现制造业和服务业的均衡发展。

参考:

1. 开发者如何选择Edge AI开发解决方案,作者:Jack,来源:onix ()

2. 在这里: 的 -Sized 设置为 AI,来源:Edge East

3. Edge - 、英特尔和 ,作者:Allan,来源:

本文来自微信公众号,作者:赵鹏,36氪经授权发布。

 
打赏
 
更多>同类资讯

0相关评论
推荐热播视讯

推荐视频

    Copyright © 2017-2020  二手钢材网  版权所有  
    Powered By DESTOON 皖ICP备20008326号-2