高通公司的Cloud AI 100专为边缘人工智能推理而设计
高通公司在旧金山举行的年度人工智能日会议开始了。它采用了三款面向智能手机,平板电脑和其他移动设备的新系统芯片,如果这还不够,它还宣布了一款专为边缘计算量身定制的产品:Qualcomm Cloud AI 100。
“这是我们专门为AI推理处理设计的全新信号处理器,”产品管理高级副总裁Keith Kressin表示,并补充说,采样将在明年下半年开始生产。“[我们不是]只是在数据中心重用移动芯片。”
Cloud AI 100 - 将在原始设备制造商的许多不同模块,外形和功率级别中提供 - 集成了各种开发人员工具,包括编译器,调试器,分析器,监视器,服务,芯片调试器和量化。此外,它还支持运行时,包括ONNX,Glow和XLA,以及机器学习框架,如谷歌的TensorFlow,Facebook的PyTorch,Keras,MXNet,百度的PaddlePaddle和微软的认知工具包。
高通公司估计峰值性能是Snapdragon 855和Snapdragon 820的3到50倍,并且它声称,与传统的现场可编程门阵列(FPGA)相比 - 设计用于制造后配置的集成电路 - 它的速度提高了约10倍。推理任务的平均值。此外,以每秒tera操作(TOPs)衡量 - 一种用于高性能芯片的常见性能指标 - Cloud AI 100可以达到“远远超过100 TOP”。(为了比较起见,Snapdragon 855最多可达7个TOP。)
“FPGA或GPU [通常可以]更有效地进行AI推理处理... [因为] GPU是一个更加并行的机器,[而] CPU是更多的串行机器,[并且]并行机器更适合AI处理,”克雷辛解释道。“但是,GPU更专为图形而设计,如果你从头开始设计芯片以实现AI加速,你可以获得显着的改进。CPU到FPGA或GPU大约有一个数量级的改进。定制的AI加速器还有另一个数量级的改进机会。“
高通公司进军云推理之前,首席竞争对手华为公布了其所称的业界性能最高的基于Arm的处理器,名为Kunpeng 920。在SPECint中 - 一个由12个程序组成的基准测试套件,用于测试整数性能 - 该芯片的得分超过930,比行业基准测试高出近25%,同时功耗比“行业现有者提供的功率低30%”。
这不是唯一的一个。
今年1月,在拉斯维加斯举行的消费电子展上,英特尔详细介绍了其即将推出的Nervana神经网络处理器(NNP-I),据报道,它将提供高达竞争显卡AI培训性能的10倍。谷歌去年首次推出Edge TPU,这是一款专门用于推理的ASIC,阿里巴巴于去年12月宣布,它计划在今年下半年推出首款自主研发的AI推理芯片。
在这个等式的FPGA方面,亚马逊最近采用了自己的AI云加速器芯片 - AWS Inferentia - 而微软在Project Brainwave中预览了一个类似的平台。Facebook于3月开源采用了用于人工智能推理的服务器芯片Kings Canyon,就在本月,英特尔发布了一系列芯片组--Agilex--针对人工智能和大数据工作负载进行了优化。
但高通公司有信心Cloud AI 100的性能优势将使其在深度学习芯片组市场预测中占据一席之地,到2025年达到6630万美元。
“许多人将网络硬件置于云端,就像用于不同类型处理的内容交付网络一样,无论是云游戏还是人工智能处理。所以这是另一个关键趋势。高通公司有机会从最终用户输入技术一路参与,一直到云端,“Kressin说。
它的其他潜在优势?生态系统支持。去年11月,高通公司向一家专注于边缘和设备AI的创业基金承诺了1亿美元,特别是在自动驾驶汽车,机器人,计算机视觉和物联网领域。去年五月,它与微软合作,为其许多片上系统中嵌入的AI加速器创建了一个视觉AI开发工具包。
“就市场规模而言,推理正在成为一个重要的硅市场,”Kressin说。“随着时间的推移,[我们预期]推断[将成为]更大的一部分 - 在2018年至2025年间,大约增长10倍。我们非常有信心能够成为电源性能领导者或人工智能处理和数据。“