“人非圣贤孰能; 真正搞砸的事情需要一台计算机。“ William E. Vaughan在1969年提出了这一观察结果。控制自动化系统有可能导致系统出错并在检查之前造成严重伤害。

自动化并不新鲜，但由于数字和物理系统的集成，它正在变得更加广泛。大规模自动化的好处是效率很高。但是，依靠设置并忘记它的系统的缺点是有人可能无法正确设置它。

使用一个简单的系统，无需干预，无法停止机械，您可以产生破坏性影响。因此，技术可以创造出“魔法师的学徒”中所描述的那种情况，当看起来使生活更容易实际失控的时候。

由机器解雇

没有干预的自动化导致英国的一名科技工作者去年无法找到工作。Ibrahim Diallo注意到他的安全许可卡没有在工作中发现并且发现这是因为他失业了。“The Machine Fired Me”是他在活动上发表的扩展博客文章的标题。

最终，迪亚洛终止的原因并不是某种算法的评估决定谁应该被淘汰。问题不在系统内，而是人为错误之一。在这种情况下，这是对人类未能提交Diallo合同续签信息的所有自动回应。

并不是因为机器决定他应该特别为某些事情而被解雇。它只是为其状态显示为不再使用的人执行了编程的步骤。正如他在评论中澄清的那样，这不是人工智能，而是“自动化脚本”。

自动化和工作中断

这种效果并不是人们在描述我们在自动化未来中可以预期的美妙好处时所想到的。作为任务的转变通常乐观的前景是自动化，工作将被重新定义 - 不是由自动化系统终止。但现实情况是，一些工作将被淘汰，持有这些工作的人不一定能够在很大程度上自动化的行业中无缝过渡到新的职业。

工作中断是伊隆马斯克为人工智能崛起设想的较小风险之一，尽管他自己对工作影响的看法比菲茨杰拉德更加悲观。在马斯克看来，人工智能需要严格的监管，因为它构成了“人类文明的一个基本的，存在的风险”。

消费电子产品的应用

尽管马斯克拥有自己的技术资格，但该领域的一些专家，如担任麻省理工学院计算机科学与人工智能实验室创始主任的罗德尼布鲁克斯，以及共同创建了iRobot和Rethink Robotics，他说马斯克对人工智能的威胁和机器人技术是错误的。实际操作。

在接受TechCrunch的采访时，布鲁克斯表示，如果没有技术成熟到能够确定必须监管的内容，那么要求制定法规是不明智的。他挑战马斯克：“告诉我，你想改变什么行为，埃隆?”

布鲁克斯确实承认机器人会带来工作流离失所。但他也认为有可能将工业范式转变为消费电子产品的范式。

他在TechCrunch采访中表达的方式是：“我们有制造设备的传统，它有糟糕的用户界面，很难，你必须上课，而在消费电子[与智能手机一样 ]，我们已经做了我们使用的机器教人们如何使用它们。“

他说这应该是改变我们与“工业设备和其他设备相关的方式，使机器教会人们如何使用它们”的目标。

重获控制权

布鲁克斯建议的可能会指出我们解决人为错误问题的方向，这种问题引发了似乎失控的自动化过程。为了回顾米奇在“魔法师的学徒”中的不幸事件，问题全部源于激活系统但没有真正与之沟通以使其停止或改变方向的人。

但如果界面是按照消费电子产品而不是传统的工业模型制造的，那么它可以将控制权重新置于人手中。要真正有效，界面必须不仅可以访问，而且旨在让人们了解正在发生的事情，提供有关已收到的更新的数据以及采取的操作。

它是如何工作的

在Diallo意外终止的情况下，这意味着自动化系统不会将他锁定在系统外，然后向他的招聘人员发送一封电子邮件，告知他已被终止。它首先会认识到合同续签并未在预期日期进行。在开始终止行动之前，如果没有采取任何行动，它将向管理人员和招聘人员提供关于缺乏更新的更新以及当天可能产生的后果。

这种警报将允许人们做出关于是否让自动化继续进行或干预的明智决定，以纠正作为问题的原始原因的人为错误。但人们也必须尽自己的本分，对警报作出反应，并采取适当的行动。换句话说，布鲁克斯提出的关于行为的问题的答案适用于人类; 面对自动化，他们需要不那么被动。

正如迪亚洛在他博客的评论部分写道的那样，之所以能够达到这一点的原因是人们拒绝反对这台机器：

另一件被忽视的事情是，即使每个人都知道这是一个触发它的人为错误，而且这纯粹是一个错误，他们选择关注这些电子邮件。这就像在医院里放一个“允许吸烟”的标志，人们尊重标志，而不是使用常识。

因此，我们需要采取的政策，以便自动化与人类合作，而不是与人类合作，而不是与人类合作：在机器方面，我们需要可访问和提供信息的接口，而在人类方面，我们需要人们成为有权识别什么时候不对，并介入纠正它。