在训练图像探测器时，AI研究人员无法复制现实世界。他们通过向他们提供培训数据(例如照片，计算机生成的图像，真实视频和模拟视频)来教导系统期望什么，但这些练习环境永远无法捕捉到物理世界的混乱。

在机器学习(ML)中，图像检测器通过在其周围绘制边界框并为其提供标签来学习发现对象。虽然这种培训过程在简单的环境中取得成功，但它很快就会变得复杂。

左边的人很容易定义，但是如何在右边的人周围绘制一个边界框呢?你是否只包括他身体的可见部位，或者他隐藏的躯干和腿?这些差异可能看起来微不足道，但它们指出了对象识别中的一个基本问题：很少有一种最佳的方法来定义对象。

正如第二张图片所示，现实世界很少是明确的，而“正确”的回答通常是模棱两可的。然而，当ML系统使用培训数据来发展他们对世界的理解时，他们往往无法反映这一点。与其识别不确定性和模糊性不同，这些系统通常可以自信地接近新情况，而不仅仅是训练数据，这会使系统和人类处于危险之中。

伊利诺伊大学芝加哥分校计算机科学教授Brian Ziebart正在进行研究，以提高AI系统在其固有的不确定性中运行的能力。物理世界是混乱和不可预测的，如果我们要相信我们的AI系统，他们必须能够安全地处理它。

ML系统过度自信

ML系统将不可避免地面对他们的训练数据从未为其准备的现实场景。但是，正如Ziebart解释的那样，目前的统计模型“倾向于假设他们将来看到的数据看起来很像他们过去看到的数据。”

因此，这些系统过于自信，当他们遇到新的数据点时，他们知道该怎么做，即使这些数据点看起来与他们所看到的完全不同。ML系统错误地认为他们的训练为一切做好了准备，由此产生的过度自信可能导致危险的后果。

考虑自动驾驶汽车的图像检测。汽车可能会对来自另一辆汽车仪表板的数据进行图像检测，跟踪视野并在某些物体周围绘制边界框，如下图所示：

对于像这样的清晰视图，图像检测器优于。但现实世界并不总是那么简单。如果研究人员在实验室中在干净，光线充足的图像上训练图像检测器，它可能在白天80%的时间准确识别物体。但是，如果在下雨的夜晚被迫驾驶道路，它可能会下降到40%。

“如果您在白天收集所有数据，然后尝试在晚上部署系统，那么当它被训练为在白天进行图像检测时，当您推广到这些新设置时，它们将无法正常工作，” Ziebart解释道。

此外，ML系统可能无法识别问题：由于系统认为其培训涵盖了所有内容，因此它将对其决策保持信心，并继续“做出非常不准确的强有力预测”，Ziebart补充道。

相比之下，人们倾向于认识到以前的经验何时没有概括为新的环境。如果驾驶员发现道路前方的未知物体，她不会只是犁过物体。相反，她可能会放慢速度，注意其他车辆如何响应物体，并考虑是否可以安全地进行转弯。当人们对我们的环境感到不确定时，我们会谨慎行事以避免犯下危险的错误。

Ziebart希望人工智能系统在不确定的情况下采用类似的谨慎程度。系统不应该自信地犯错误，而应该认识到它的不确定性，并提出问题来收集更多的信息，就像一个不确定的人类一样。

对抗方法

培训和实践可能永远不会为每种可能的情况准备AI系统，但研究人员可以使他们的培训方法更加万无一失。Ziebart认为，实验室中饲喂系统杂乱的数据可以培养他们更好地识别和解决不确定性。

方便的是，人类可以提供这种杂乱，真实的数据。通过雇用一组人类注释器来查看图像并在某些物体周围绘制边界框 - 汽车，人，狗，树等 - 研究人员可以“在分类器中构建一些关于'正常'数据的概念，”Ziebart解释。

“如果你问十个不同的人提供这些边界框，你可能会找回十个不同的边界框，”他说。“在人们如何看待这些事情的基本事实方面存在很多固有的模糊性。”

回到车上人的上方图像，人类注释者可能会给出十个不同的边界框，捕捉可见和隐藏人的不同部分。通过向ML系统提供这种令人困惑和矛盾的数据，Ziebart准备让他们期待模棱两可。

“我们在训练过程中将更多噪音综合到数据集中，”Ziebart解释说。这种噪音反映了现实世界的混乱，并且在新环境中进行预测时训练系统要谨慎。谨慎且不确定的人工智能系统将寻求更多信息并学习如何驾驭他们遇到的令人困惑的情况。

当然，自动驾驶汽车不应该提问。例如，如果汽车的图像检测发现了异物，那么就没有时间向人类寻求帮助。但如果它经过训练以识别不确定性并谨慎行事，它可能会减速，检测其他车辆正在做什么，并安全地在物体周围导航。

到目前为止，Ziebart的研究仍处于培训环境中。他为系统提供了杂乱，多变的数据，并对它们进行训练，以提供与人们的边界框重叠至少70%的边界框。他的过程已经取得了令人瞩目的成果。例如，在与Sima Behpour(伊利诺伊大学芝加哥分校)和Kris Kitani(卡内基梅隆大学)合作调查的ImageNet物体检测任务中，Ziebart的对抗方法“与性能最佳的数据增强方法相比，性能提高了16%以上。 “训练在不确定的环境中运作，这些系统更有效地管理培训没有明确准备的新数据点。

但是，虽然Ziebart训练相对狭窄的AI系统，但他相信这项研究可以扩展到更先进的系统，如自动驾驶汽车和公共交通系统。

“我认为这是我们设计这些预测器的一个基本问题，”他说。“我们一直在努力构建更好的构建模块，以便进行机器学习 - 更好的机器学习的第一原则将更加强大。”