边缘计算加速神经网络加速器兴起 Imagination推新一代Series4 系列

2020-11-16 16:51:26

在5G商用大潮的推动下,边缘计算(edge computing)开始受到重视,人工智能在端侧的应用也逐渐展开。近日,Imagination公司在时隔两年之后,推出新一代神经网络加速器(NNA)产品IMG Series4系列。该产品系列在前代Series2NX、Series3NX的基础上进行了架构创新,可实现500 TOPS(每秒万亿次操作)甚至更高的算力。在发布会上,Imagination Technologies视觉和人工智能部门高级总监Andrew Grant表示,Series4 NNA将主要面向先进驾驶辅助系统(ADAS)和自动驾驶应用,可为大型神经网络工作负载提供低带宽和极低的延迟。

160551708083275066.jpg

500TOPS,Series4实现高性能、低功耗

人工智能芯片首先在云端服务器市场得到应用,目前在5G商用大潮的推动下,边缘计算开始受到重视。5G网络定义三大应用场景:eMBB(增强型移动宽带)、mMTC(海量机器类通信)、uRLLC(超可靠、低时延通信)。强调高带宽、低延时和海量设备连接是5G时代信息通信的主要特征。特别是今年7月R16版本宣布冻结,面向车联网应用,支持了V2V(车与车)和V2I(车与路边单元)直连通信,为ADAS以及自动驾驶打开了上升通道。神经网络也开始用于自动驾驶汽车系统当中,如帮助避免碰撞事故的发生等。当然神经网络越大,需要的计算量就越大,这就需要更高水平的性能支持。

Andrew Grant指出,随着5G时代的到来,边缘计算逐渐将智能化处理从云端转向边缘。汽车的智能化趋势越来越明显,数字驾舱、人机界面、先进驾驶辅助系统被越来越多地应用于汽车当中,传感器也与多入多出(MIMO)等通信方式相融合,增加了复杂性。这些都要求汽车拥有更强的处理能力和控制能力。

根据Imagination的估算,如果执行ADAS的车道偏离检测需要10 GFLOPS的算力,那么执行行人预测可能需要500GFLOPS的算力。在自动驾驶方面,如果处于Levels2+级别的驾驶员监测、语音/手势控制需要10 TOPS算力,那么Level5的功能势必需要500TOPS以上的算力才能支持。更高的性能、更低的延时和更好的安全性是未来汽车发展的主要趋势。

160551710728014529.jpg

针对人工智能在汽车领域的应用发展,Imagination公司时隔两年之后,于近日推出其新一代神经网络加速器产品IMG Series4系列。根据Andrew Grant的介绍,Series4 NNA在前代产品的基础上进行了架构创新,实现了高度灵活的多核化扩展,可支持2核,4核,6核,或者8核的多核集群方案。每个单核可以独立处理各自的任务;或者所有单核一起并行处理同一个任务;或者这些单核以指定方式分组,每组并行处理一个任务。

在低功耗的情况下实现高性能是当前边缘AI的需求。Andrew Grant认为,在这一点上Imagination公司具有先天的优势。Series4的每个单核能够以不到一瓦的功耗提供12.5 TOPS的性能。这样,在一个8核集群上就可以提供超过100TOPS的算力。那么,如果配有5个8核集群的解决方案就可以提供500 TOPS的算力。

低延迟、高可靠是自动驾驶技术实现的基本条件之一。为了构建更加安全的交通环境,自动驾驶必须进入“毫秒必争”的时代,这对数据处理能力也提出更高的要求。Series4依托多核的可扩展能力,将多个单核组成2核、4核、6核或8核的多核集群,所有单核可以相互协作,并行处理一个任务,降低处理延迟,缩短响应时间。对于一个8核集群,理想情况下任务并行执行的延迟会减少为单核独立执行时的1/8。

应用范围可扩展,从汽车电子到数据中心

处理神经网络工作负载的一个共同挑战是大量的DDR访问,这就意味着更高的带宽消耗、更多的功耗。对于边缘处理器来说并不适合。为了解决这个问题,Imagination公司利用了其在移动领域的丰富经验,在Series4中采用了Tensor Tiling技术,大大降低对带宽的要求。

Imagination Technologies产品管理部门总监Gilberto Rodriguez介绍,Tensor Tiling技术(Imagination’s Tensor Tiling,ITT)是一项正在申请专利的技术,也是Series4中新增的功能。它可以通过对计算任务进行tiling,充分利用片上存储,提升数据处理效率,并节省访问外部存储的带宽。ITT通过任务分割,减少每个子任务中间数据的尺寸,从而能够将中间数据保存在片上存储器中,这样可以最大限度地减少将数据传输至外部存储器,从而将带宽降低多达90%。ITT是一种可扩展的算法,在拥有大量输入数据的网络上具有显著优势。

160551713435651024.jpg

Series4还包含IP级别的安全功能(functional safety)设计,且设计流程符合ISO 26262标准,可以帮助客户获得ISO 26262认证。ISO 26262是旨在解决汽车电子产品风险的行业安全标准。Series4可以在不影响性能的情况下,安全地进行神经网络推理。硬件安全机制可以保护编译后的网络、网络的执行和数据处理管道。

边缘计算的重要性在5G时代将不断凸显出来。Gartner的分析报告显示,目前,大约10%的企业生成数据是在传统的集中式数据中心或云之外创建和处理的。到2022年,Gartner预测这一数字将增长到50%。在未来,势必需要更多的依靠边缘设备自身的算力解决业务场景里AI推理的计算需求。

尽管神经网络推理可以在CPU上运行,同时人们也经常会采用GPU。然而为了在严格的功耗要求下满足下一代性能要求,专用的神经网络加速硬件也越来越广泛地被采用。Imagination公司推出的Series4,在多核架构的情况下,实现了高性能、低功耗以及更好的安全性能。尽管目标市场在自动驾驶等汽车市场,但Imagination也表示,Series4亦将用于数据中心、PC等领域。随着人们对数据处理需求的增长,神经网络专用芯片的应用将逐步扩展。