研究人员以深度学习的名义展示了炫目的能量消耗

商业2020-07-24 09:30:23
导读等等,什么?对地球来说,创造人工智能可能比汽车更糟糕?认为碳足迹。马萨诸塞大学阿姆赫斯

等等,什么?对地球来说,创造人工智能可能比汽车更糟糕?认为碳足迹。马萨诸塞大学阿姆赫斯特分校的一个小组就是这么做的。他们开始评估训练四个大型神经网络所需的能量消耗。

他们的论文目前吸引了科技观察网站的注意。它的标题是“NLP中深度学习的能源和政策考虑”,由Emma Strubell, Ananya Ganesh和Andrew McCallum合著。

《麻省理工学院技术评论》(MIT Technology Review)的人工智能记者Karen Hao表示,这是对几种常见大型人工智能模型的生命周期评估。

研究人员说:“最近在训练神经网络的硬件和方法上取得的进展,引领了新一代大型网络在大量数据上训练。”

你猜是什么?训练一个人工智能模型会导致“沉重”的足迹?“有些沉重的?”如何“可怕的?”7月6日,周四,《麻省理工学院技术评论》在报道这一发现时,选择了后者。

深度学习涉及处理大量的数据。(郝说,这篇论文专门研究了自然语言处理的模型训练过程,自然语言处理是人工智能的子领域,专注于教机器处理人类语言。)《新科学家》杂志的唐娜·卢引用了斯特拉贝尔的话说:“为了学习像语言这样复杂的东西,模型必须很大。”什么价格的模型在准确性上获得收益?用异常庞大的计算资源来做这件事是要付出代价的,会导致大量的能源消耗。

郝报告了他们的发现,“这个过程可以排放相当于626000磅的二氧化碳——几乎是美国汽车平均寿命的五倍(包括汽车制造本身)。”

这些模型的培训和开发成本高昂——由于硬件、电力或云计算时间的成本,它们在财务方面的成本很高,而在环境方面的成本很高。环境成本是由碳足迹造成的。这篇论文试图通过量化为NLP训练各种最近成功的神经网络模型的近似经济和环境成本来引起NLP研究人员的注意。

测试方法:为了测量环境影响,他们每天训练四个人工智能,并对整个过程的能耗进行采样。他们计算出每个人工智能训练所需的总能量,并将其乘以每个模型开发人员报告的总训练时间。碳足迹是根据美国电力生产的平均碳排放量来估算的。

作者的建议是什么?他们朝着NLP研究中降低成本和“改善公平性”的建议的方向前进。股票吗?作者提出了这个问题。

“学术研究人员需要公平地使用计算资源。最近可用计算机的发展付出了高昂的代价,这是所有渴望获得计算机的人所无法企及的。本文研究的大多数模型都是在学术界之外发展起来的;由于工业对大规模计算机的使用,最近在最先进的精度方面的改进是可能的。”

作者指出,“将这种研究风格限制在工业实验室在许多方面损害了NLP研究社区。”创造力被扼杀掉了。如果研究团队缺乏大规模的计算能力,好的想法是不够的。

“第二,它禁止某些类型的基于获得财政资源的研究。这甚至更深入地促进了已经存在问题的研究资助的‘富人变得更富’的循环,在这个循环中,那些已经成功的、因此资金充足的群体往往会因为他们现有的成就而获得更多的资助。”

作者说,“研究人员应该优先考虑计算效率高的硬件和算法。”在这种情况下,作者建议工业界和学术界努力促进更高效计算算法的研究,以及需要更少能源的硬件。

免责声明:本文由用户上传,如有侵权请联系删除!