谷歌推出适用于移动和嵌入式设备的TensorFlow Lite 1.0
谷歌今天推出了TensorFlow Lite 1.0,它是开发人员在移动和物联网设备上部署AI模型的框架。改进包括在训练期间和之后对更快,更小的模型进行选择性配准和量化。量化导致一些模型的压缩4倍。
“我们将全力支持它。我们不会破坏事物并确保我们保证其兼容性。TensorFlow工程总监Rajat Monga在接受电话采访时告诉VentureBeat,我认为很多人在手机上部署此功能需要这些保证。
Lite从在TensorFlow上训练AI模型开始,然后转换为创建用于在移动设备上操作的Lite模型。Lite于2017年5月在I / O开发者大会上首次推出,并于当年晚些时候在开发人员预览中推出。
Google的TensorFlow Lite团队还分享了其未来的路线图,旨在缩小和加速AI模型的边缘部署,包括模型加速,特别是对于使用神经网络的Android开发人员,以及基于Keras的连接修剪套件和额外的量化增强功能。
其他方面的变化:
支持控制流,这对于诸如递归神经网络的模型的操作是必不可少的
使用Lite模型优化CPU性能,可能涉及与其他公司的合作关系
扩展GPU委托操作的覆盖范围并最终确定API以使其普遍可用
将为开发人员提供一个TensorFlow 2.0模型转换器来制作Lite模型,以便更好地了解转换过程中的错误以及如何解决问题。
今天TensorFlow Lite由超过20亿台设备部署,TensorFlow Lite工程师Raziel Alvarez在加利福尼亚州桑尼维尔谷歌办事处举行的TensorFlow开发者峰会上表示。
Alvarez说,TensorFlow Lite越来越多地使TensorFlow Mobile过时,但想要将其用于培训的用户除外,但解决方案正在进行中。
正在探索各种技术以减小AI模型的大小并优化移动设备,例如量化和委托(用于在不同硬件中执行图形以提高推理速度的结构化层)。
1月份开发人员预览版中提供了许多设备代表的移动GPU加速功能。它可以使模型部署比浮点CPU快2到7倍。Edge TPU代表能够将速度提高到浮点CPU的64倍。
在未来,谷歌计划普遍提供GPU代表,扩大覆盖范围并最终确定API。
许多原生Google应用和服务都使用TensorFlow Lite,包括GBoard,Google Photos,AutoML和Nest。当Google Assistant现在需要在离线时响应查询时,所有CPU模型的计算都由Lite执行。
Lite也可以在Raspberry Pi和新的150美元Coral Dev Board等设备上运行,这也是今天早些时候推出的。
今天也首次亮相:TensorFlow 2.0的alpha版本,简化了用户体验; TensorFlow.js 1.0; 以及使用Apple的编程语言Swift编写代码的开发人员的TensorFlow版本0.2。
TensorFlow Federated和TensorFlow Privacy今天也发布了。
Apple的机器学习框架Core ML于2017年12月推出。
自定义TensorFlow Lite模型还可以与ML Kit一起使用,这是开发人员为移动设备创建模型的快捷方式,去年为使用Firebase的Android和iOS开发人员推出。