人工智能(AI)似乎变得越来越聪明。每部iPhone都能比上一部更好地学习您的脸部，声音和习惯，并且AI对隐私和工作构成的威胁不断增长。激增反映出更快的芯片，更多的数据和更好的算法。麻省理工学院计算机科学系的研究生戴维斯·布拉洛克说，但其中的一些改进来自调整而不是发明人声称的核心创新，而且其中的某些收获可能根本不存在。Blalock和他的同事们对改善神经网络的数十种方法进行了比较，这些方法是松散模仿大脑的软件体系结构。他说：“收录了五十篇论文，很明显，最新的技术水平还不是很明显。”

研究人员评估了81种修剪算法，这些程序可以通过修剪不必要的连接来提高神经网络的效率。所有人都以略有不同的方式声称拥有优势。但是很少对它们进行适当的比较-当研究人员试图对它们进行并行评估时，没有明显的证据表明10年内性能会有所改善。该结果在3月份的机器学习和系统会议上发表，使Blalock的博士感到惊讶。麻省理工学院计算机科学家约翰·古塔格(John Guttag)的顾问，他说比较不平衡本身可以解释这种停滞。“那是旧锯，对吗?”古塔格说。“如果您无法测量某些东西，很难使其变得更好。”

研究人员正在意识到AI的许多子领域进展缓慢的迹象。一个2019荟萃分析的信息检索算法在搜索引擎中使用达成的“高水位标记......在2009年实际上是设置”2019年的另一项研究复制了七个神经网络推荐系统，这些系统是媒体流服务使用的那种系统。研究发现，有6种方法无法胜过几年前开发的更简单的非神经算法，当时对早期技术进行了微调，从而揭示了该领域的“幻象进展”。在另一篇论文中康奈尔大学的计算机科学家凯文·穆斯格雷夫(Kevin Musgrave)于3月发布在arXiv上，他研究了损失函数，该函数是数学上确定其目标的算法的一部分。马斯格雷夫在一项涉及图像检索的任务中比较了十多个人，发现与开发人员的说法相反，自2006年以来，准确性一直没有提高。“一直存在这些大肆宣传的浪潮，”马斯格雷夫说。

机器学习算法的收益可以来自其体系结构，损失函数或优化策略的根本变化，即它们如何使用反馈进行改进。卡内基梅隆大学的计算机科学家Zico Kolter说，但是对这些方法进行的细微调整也可以提高性能。他研究了图像识别模型，这些模型经过训练可以免疫黑客的“对抗性攻击”。早期的对抗训练方法称为投影梯度下降法(PGD)，在该方法中，仅对真实和欺骗性示例进行简单的模型训练，似乎已被更复杂的方法所超越。但是在二月份的arXiv论文中，Kolter和他的同事发现，当使用一个简单的技巧来增强它们时，所有方法的执行效果几乎相同。