当深蓝在1997年击败世界象棋冠军加里·卡斯帕罗夫(Garry Kasparov)时，似乎人工智能终于出现了。一台计算机刚刚摧毁了有史以来最顶尖的国际象棋选手之一。但是事实并非如此。

尽管《深蓝》从上到下都是精心设计的，以下象棋，但这种方法过于费力，过于依赖清晰的规则和在更复杂的游戏中成功的可能性，更不用说在现实世界中了。下一轮革命将花费十年半的时间，届时机器学习将恢复更多的计算能力和数据，这是人工智能的古老观念，正等着世界迎头赶上。

如今，机器学习占据主导地位，主要是通过称为深度学习的一系列算法来实现的，而象征性AI(深蓝时代的主要方法)已逐渐淡出背景。

深度学习成功的关键在于算法基本上是自己编写的。给定一些高级编程和数据集，他们可以从经验中学习。没有工程师会预见到代码中的所有可能性。算法只是弄清楚了。

现在，Alphabet的DeepMind通过开发深度学习算法来进一步实现这种自动化，该算法可以处理迄今为止一直是世界顶级计算机科学家的唯一工作的编程任务(并且要花很多年才能编写)。

在最近发布在预打印服务器arXiv上的一篇论文中，该论文库是尚未经过同行评审的研究论文数据库，DeepMind团队描述了一种新的深度强化学习算法，该算法能够发现其自身的价值函数-一项关键编程从头开始进行深度强化学习的规则。

令人惊讶的是，该算法在受过简单训练的环境中仍然有效，然后继续玩Atari游戏(一项不同，更复杂的任务)，其水平有时可与人工设计的算法竞争并达到超人的游戏水平在14场比赛中。

DeepMind表示，该方法可能会加速强化学习算法的开发，甚至导致重点转移，研究人员无需花费数年时间自行编写算法，而是致力于完善其培训环境。