MemoryS 2025 存储峰会完美闭幕

2025年3月12日 深圳宝安前海·JW万豪酒店

Armv9 边缘 AI 平台突破内存瓶颈,助力 AI 全面下沉物联网应用

峰会新闻 2025-03-05 10:15 Arm

在人工智能 (AI) 技术快速发展的当下,AI 工作负载正从数据中心转向边缘设备进行处理。随着世界的互联和智能化水平的日益提升,从智慧城市到工业自动化,在边缘侧处理 AI 工作负载不仅能带来显著的优势,其必要性更是不可或缺。

为加速推动边缘 AI 发展,Arm 于近期发布全球首个 Armv9 边缘人工智能 (AI) 计算平台,该平台以全新的 Arm Cortex-A320 CPU 和领先的边缘 AI 加速器 Arm Ethos-U85 NPU 为核心,可支持运行超 10 亿参数的端侧 AI 模型。

Armv9 边缘 AI 计算平台——在边缘集成效率、安全和智能 

OEM 厂商正面临着前所未有的压力,迫切需要快速推出解决方案,以应对物联网应用不断攀升的计算需求,这些需求包括自动驾驶车辆在工厂环境中的精准导航、智能摄像头通过软件升级灵活调整功能,以及构建能够提供更自然 AI 交互体验的人机界面。

为了快速创新和扩展,OEM 厂商需要在合适的位置灵活执行 AI 工作负载,以实现更强大的安全性和更高的软件灵活性,Armv9 技术正是能在大规模应用中满足这些需求的理想之选。Arm 此次发布的计算平台集成了全新的超高能效 Armv9 CPU——Cortex-A320 和支持 Transformer 算子网络的 Ethos-U85 NPU,打造出全球首个专为物联网优化的 Armv9 边缘 AI 计算平台。相较于去年推出的基于 Cortex-M85 的平台,新的边缘 AI 计算平台的机器学习 (ML) 性能提高了八倍。

在内存方面,Cortex-A320 取得了显著进步。随着大语言模型 (LLM) 的执行逐渐转向边缘 AI 设备,拥有更大和更灵活的内存系统可以简化较大参数规模(例如大于 10 亿参数的 LLM)的执行。与 Cortex-M 系列相比,Cortex-A320 支持更大的可寻址内存空间,同时能够更灵活地管理多层级内存访问延迟。它为 Ethos-U85 NPU 提供了更高的内存容量和带宽,从而极大地提升了大模型在 Ethos-U85 上的运行效率。借助 Cortex-A320 在内存方面的改进,新的 Armv9 边缘 AI 计算平台能够支持更复杂的计算任务,提升系统响应效率,进而更好地满足复杂且需要快速响应的边缘 AI 应用场景的需求。

全新 Cortex-A320 为下一代智能物联网设备奠定安全基础

新型边缘 AI 计算平台的推出标志着边缘计算发展的重要里程碑。Cortex-A320 为物联网带来了先进的 AI 功能和开发者优势,将 Armv9 架构的功能扩展到高能效设备,并提供全面的软件支持。Cortex-A320 充分发挥了 Armv9 架构的优势,如针对 ML 性能的 SVE2。相较于前代产品 Cortex-A35,Cortex-A320 的 ML 性能提升了十倍,标量性能提升了 30%。

该平台所采用的 Armv9.2 架构还为最小的 Cortex-A 设备带来了高级的安全功能,例如指针验证 (PAC),增强了 TrustZone 内部的隔离性,支持更安全地运行软件容器;分支目标识别 (BTI),可有效缓解跳转和返回编程中的指针安全隐患;及内存标记扩展 (MTE),由于大部分软件漏洞仍与内存安全问题相关,MTE 通过内存标记机制,使黑客更难利用这些漏洞进行攻击,提高整体系统安全性。这些功能至关重要,因为边缘设备通常在暴露的环境中运行并处理敏感数据。 

展望未来,显然 AI 的未来趋势将转向边缘,而全新 Arm 边缘 AI 计算平台将成为新一轮物联网创新的催化剂。Armv9 架构的特性、先进的 AI 功能和全面软件支持的结合,为 OEM 厂商和开发者创造了新的可能性。该平台能够支持基于智能体的 AI 应用上运行经过调优的大语言模型 (LLM) 和小语言模型 (SLM),从而开辟全新类别的边缘应用场景。在未来的场景中,智能决策将更接近数据采集源头,这不仅能显著减少延迟,还能有效提升隐私保护水平。

值得一提的是,这是行业首次迎来专为物联网应用优化的 Armv9 CPU,将超高能效与先进 AI 能力结合,实现了前所未有的突破。

了解 Arm 边缘 AI 计算平台如何释放 AI 潜能 

2025 年 3 月 12 日,Arm 物联网事业部业务拓展副总裁马健女士将亲临 CFMS | MemoryS 2025 峰会现场发表主题演讲。她将深入剖析 AI 计算负载从云端向边缘端迁移的最新趋势,全面探讨 AI 基础设施、终端硬件及半导体芯片的核心需求。这些需求涵盖计算、存储、内存及互连架构等多个关键领域,旨在实现 AI 性能与能效的极致优化。此外,马健女士还将重点介绍 Arm 如何凭借创新计算和存储解决方案(包括最新的 Cortex-A320 与 Ethos-U85 结合的边缘 AI 计算平台)应对这些挑战,并与生态系统合作伙伴紧密合作,共同构建从云端到边缘的安全、高效、可扩展的 AI 计算平台。敬请期待!