微软的Project Brainwave利用FPGA解决实时AI工作量
微软最新的系统被称为Project Brainwave,它使用英特尔公司的现场可编程门阵列(FPGA)实时处理人工智能(AI)工作负载,该功能即将在华盛顿州软件巨头云计算公司Redmond推出。
尽管AI迅速成为主流技术,但交付以可接受的速度运行的支持AI的软件和服务通常对IT硬件提出了一些苛刻的要求。除了功能强大的服务器处理器外,许多组织还转向图形处理单元(GPU)来加速其AI模型的性能。一些公司,例如富士通和华为,正在开发自己的全新AI芯片。
本周,在加利福尼亚州库比蒂诺举行的2017年Hot Chips会议上,微软展示了Project Brainwave,这是一个AI系统,它使用英特尔的14nm Stratix 10 FPGA芯片实时运行工作负载。
通过将高性能FPGA直接连接到我们的数据中心网络,我们可以将DNN(深层神经网络)作为硬件微服务使用,其中DNN可以映射到远程FPGA池,并由没有软件在循环中的服务器调用, ” Microsoft杰出工程师Doug Burger在博客中解释道。Burger继续说道:“这种系统架构既减少了等待时间,因为CPU不需要处理传入的请求,并且允许非常高的吞吐量,而FPGA处理请求的速度与网络可以流化它们的速度一样快。”
Burger说,Project Brainwave还具有一个所谓的“软” DNN处理单元(DPU),该单元利用商用FPGA提供的灵活性来匹配或超过硬编码DPU所提供的性能。最后,Brainwave项目支持他公司自己的深度学习框架Microsoft Cognitive Toolkit,以及Google的Tensorflow。他补充说,微软计划将支持扩展到许多其他框架。
Microsoft Azure客户很快将能够使用Project Brainwave系统运行其AI工作负载。伯格说,包括Bing在内的公司其他服务的用户将间接感受到该技术提供的性能增强优势。
有关Blog Brain项目的更多信息,包括在系统上进行测试的记录设置结果,请参见此博客文章。
阿里巴巴对云数据中心的FPGA也寄予厚望。3月,这家中国网络服务提供商宣布已与英特尔合作,推出了使用英特尔Arria 10 FPGA的基于云的工作负载加速服务。
阿里云高级总监金立说:“我们为客户提供访问云中许多服务的权限,并且添加基于FPGA的加速产品意味着他们可以访问功能强大的计算,而无需花费成本或无需构建自己的基础架构。”
英特尔在2015年以167亿美元的价格收购了FPGA专家Altera,他还认为该技术可以帮助撼动企业存储网络市场。在最近的闪存峰会期间,芯片制造商和Attala Systems展示了一种高性能的存储加速系统,该系统使用FPGA和固态驱动器(SSD)来基于基于结构的非易失性存储器Express(NVMe- oF)技术。