为什么有这么多的人工智能系统以布偶命名
最近人工智能最大的趋势之一是创造了机器学习模型,可以以前所未有的流动性生成书面词。这些程序是游戏改变者,可能会增强计算机分析和产生语言的能力。
但在很大程度上没有被注意到的是一种次要的趋势——第一种是阴影——这就是:这些工具中令人惊讶的数量是以木偶命名的。
到目前为止,这种新的语言人工智能包括一个ELMo,一个BERT,一个Grover,一个大的BIRD,一个Rosita,一个RoBERTA,至少两个ERNI E(如果你包括ERNIE2.0)和一个KE RMIT。谷歌(Google)、Face book(Face book)和艾伦人工智能研究所(Allen Institute for AI)等大型科技运营商都参与其中,这股热潮已经波及全球,中国搜索巨头百度(Baidu)和北京清华大学(Chinese University)贡献了模式。命名惯例是如此成熟,以至于这些系统有时被称为“木偶软件”。但是谁开始了这个惯例,为什么?
正如你可能猜到的,简单的答案是:这是一个内部笑话,研究人员以木偶命名人工智能模型,因为其他研究人员以木偶命名人工智能模型。但这是一个笑话,恰好突出了人工智能研究的一个特殊特征,展示了实验室如何相互尊重和建立在彼此的工作之上。
2018:语言范文要介绍芝麻街相关的缩略词2019:语言范文需要芝麻街笑话中的标题,所有的谈话至少需要一个芝麻街的形象。2020年:ACL/NAACL与《芝麻街公约》合署办公,大鸟给出主旨。
这一趋势始于ELMo,这是艾伦研究所设计的一种模式,并于2017年10月首次在线发布。正如打破新领域的研究经常出现的情况一样,这项工作的团队希望为他们的模型找到一个时髦的缩略词。该报的主要作者马特·彼得斯(Matt Peters)在电子邮件中告诉《维格报》,他们对Slack的想法进行了头脑风暴。
彼得斯说:“我们有一份可用缩写字母的清单。“语言模型、上下文、嵌入等”正是一位名叫乔尔·格鲁斯(Joel Grus)的工程师提出了“ELMo”来代表“语言模型中的嵌入”,他说,这个名字“立刻卡住了”。
“我喜欢它,因为它有点异想天开,但令人难忘,”彼得斯说。“当时我的大儿子大约三岁,这也是我把报纸献给他的方式。
如果不是BERT,ELMo可能是一次性的,这是谷歌AI团队在2018年创建的一种语言模型。这种模式被证明是强大而有影响力的,并将许多关于语言生成的新颖想法推向了人工智能的主流。
BERT本身正式代表了来自Transformers的双向编码器表示,虽然谷歌拒绝了Verge的多项请求,以讨论这个名字的起源,但人们普遍认为,研究人员,就像那些来自艾伦的人一样,心中有木偶。在谷歌自己关于这个话题的博客文章中,该公司表示“BERT建立在最近在培训前的上下文表示方面的工作基础上-包括.ELMo。”
BERT在多项测试中取得了最先进的结果,并且非常成功,以至于谷歌最近将其纳入了搜索引擎。一旦模型发布,木偶软件的闸门就会打开,很快就会有许多聪明的算法出现在暴力缩略词之后,包括ERNIE(通过知识集成增强表示)、KERMIT(Kontextuell编码器表示)和BigBI RD(文档的大双向插入表示)。
但这种趋势不仅仅是一个玩笑。正如艾伦研究所(Allen Institute)首席执行官奥伦·埃佐尼(Oren Etzioni)所解释的那样,这也是承认人工智能世界内部“智力债务”的一种严肃方式。“ELMo的命名是一时兴起,但BERT直接建立在ELMo的洞察力之上;Grover使用BERT等,”Etzioni在电子邮件中告诉Verge。“强调ELMo的功劳对我们来说非常重要.Snuffaluffagus不可能落后太远!
帮助创建KE RMIT和Big BIRD的伯克利博士学生米切尔·斯特恩(Mitchell Stern)说,命名大会大多很有趣,但也有“品牌方面”。
斯特恩在电子邮件中对《Verge》表示:“鉴于这一趋势的广泛性,在这一领域工作的人们自然会认识到新的文件中包含了芝麻街主题的名字。虽然并不是每个使用这些新技术的人工智能语言模型都是以一个提线木偶命名的(OpenAI的旅行丰富的GPT-2系统就是一个例外),但如果你看到一个木偶软件模型,你就知道它在使用什么方法,这是一件非常确定的事情。
所有这些反过来又帮助我们理解人工智能世界如何依赖于开放和协作来产生和提炼想法。人工智能不是一门学科,在这门学科中,孤独的科学家在夜间在实验室里辛勤工作,通过处理器输送电能,并在一条发光的命令行上咯咯地叫着“它已经消失了”。(免责声明:这当然会发生,但并不总是最有成效的方法。)相反,进步往往是迭代和协作的,研究人员群体建立在彼此的工作和想法之上。
虽然有可能木偶笑话很快就会穿薄,直到这种情况发生,这是一个合适的传统。毕竟,协作和尊重正是《芝麻街》中人物应该引以为豪的特质。