谷歌推出适用于移动和嵌入式设备的TensorFlow Lite 1.0

科技2020-03-23 15:57:37
导读 谷歌今天推出了TensorFlow Lite 1 0,它是开发人员在移动和物联网设备上部署AI模型的框架。改进包括在训练期间和之后对更快,更小的模型

谷歌今天推出了TensorFlow Lite 1.0,它是开发人员在移动和物联网设备上部署AI模型的框架。改进包括在训练期间和之后对更快,更小的模型进行选择性配准和量化。量化导致一些模型的压缩4倍。

“我们将全力支持它。我们不会破坏事物并确保我们保证其兼容性。TensorFlow工程总监Rajat Monga在接受电话采访时告诉VentureBeat,我认为很多人在手机上部署此功能需要这些保证。

Lite从在TensorFlow上训练AI模型开始,然后转换为创建用于在移动设备上操作的Lite模型。Lite于2017年5月在I / O开发者大会上首次推出,并于当年晚些时候在开发人员预览中推出。

Google的TensorFlow Lite团队还分享了其未来的路线图,旨在缩小和加速AI模型的边缘部署,包括模型加速,特别是对于使用神经网络的Android开发人员,以及基于Keras的连接修剪套件和额外的量化增强功能。

其他方面的变化:

支持控制流,这对于诸如递归神经网络的模型的操作是必不可少的

使用Lite模型优化CPU性能,可能涉及与其他公司的合作关系

扩展GPU委托操作的覆盖范围并最终确定API以使其普遍可用

将为开发人员提供一个TensorFlow 2.0模型转换器来制作Lite模型,以便更好地了解转换过程中的错误以及如何解决问题。

今天TensorFlow Lite由超过20亿台设备部署,TensorFlow Lite工程师Raziel Alvarez在加利福尼亚州桑尼维尔谷歌办事​​处举行的TensorFlow开发者峰会上表示。

Alvarez说,TensorFlow Lite越来越多地使TensorFlow Mobile过时,但想要将其用于培训的用户除外,但解决方案正在进行中。

正在探索各种技术以减小AI模型的大小并优化移动设备,例如量化和委托(用于在不同硬件中执行图形以提高推理速度的结构化层)。

1月份开发人员预览版中提供了许多设备代表的移动GPU加速功能。它可以使模型部署比浮点CPU快2到7倍。Edge TPU代表能够将速度提高到浮点CPU的64倍。

在未来,谷歌计划普遍提供GPU代表,扩大覆盖范围并最终确定API。

许多原生Google应用和服务都使用TensorFlow Lite,包括GBoard,Google Photos,AutoML和Nest。当Google Assistant现在需要在离线时响应查询时,所有CPU模型的计算都由Lite执行。

Lite也可以在Raspberry Pi和新的150美元Coral Dev Board等设备上运行,这也是今天早些时候推出的。

今天也首次亮相:TensorFlow 2.0的alpha版本,简化了用户体验; TensorFlow.js 1.0; 以及使用Apple的编程语言Swift编写代码的开发人员的TensorFlow版本0.2。

TensorFlow Federated和TensorFlow Privacy今天也发布了。

Apple的机器学习框架Core ML于2017年12月推出。

自定义TensorFlow Lite模型还可以与ML Kit一起使用,这是开发人员为移动设备创建模型的快捷方式,去年为使用Firebase的Android和iOS开发人员推出。

免责声明:本文由用户上传,如有侵权请联系删除!