自动驾驶汽车接近停车标志，但并没有减速，而是加速驶入繁忙的十字路口。后来的一份事故报告显示，标牌的表面已经粘了四个小矩形。这些人欺骗了汽车的车载人工智能(AI)，将“停止”一词误读为“限速45”。

此类事件实际上并未发生，但是破坏AI的潜力是非常现实的。研究人员已经证明了如何愚弄的AI系统进入误读停止的迹象，通过仔细定位贴纸1。他们通过在眼镜或帽子上贴上印刷图案来欺骗人脸识别系统。通过在音频中插入白噪声模式，他们欺骗了语音识别系统以听取幻象短语。

这些只是打破AI中领先的模式识别技术(称为深度神经网络(DNN))的难易程度的一些示例。事实证明，这些方法在正确分类各种输入(包括图像，语音和有关消费者偏好的数据)方面非常成功。它们是日常生活的一部分，运行从自动电话系统到流媒体服务Netflix上的用户推荐的所有内容。然而，以人类通常难以察觉的微小变化的形式对输入进行更改，可能会混淆周围最好的神经网络。

加利福尼亚大学伯克利分校计算机科学博士学位的学生Dan Hendrycks说，这些问题比不完美的技术中的怪异怪癖更令人担忧。像许多科学家一样，他开始将它们视为DNN从根本上是脆性的最惊人的例证：出色地完成了他们的工作，直到进入陌生领域，它们以无法预测的方式破裂。