马里兰大学的研究人员与专门设计的计算机系统合作，设计了大量的1,213个问题，以阻止人工智能算法，他们希望这些算法可以帮助他们更好地理解计算机的思考方式，并使我们更接近人工系统在文本中真正解析人类意义

详细介绍其功绩的论文发表在计算语言学协会的期刊上。

“大多数问答计算机系统都没有解释他们为什么回答他们的做法，但我们的工作有助于我们看到计算机实际理解的内容，”来自UMD的Jordan Boyd-Graber说道，他是该报的高级作者。“此外，我们已经制作了一个数据集来测试计算机，这些数据集将揭示计算机语言系统是否实际上正在阅读并进行人类能够进行的相同类型的处理。”

这组作者说，目前大多数改进问答方案的方法存在的问题在于，当人们产生问题时，其作者通常不知道哪些特定元素会使计算机失效，而计算机产生的问题则是通常要么太公式化，要么没有意义。

然而，新界面允许用户通过在屏幕上显示其按顺序排列的猜测，并突出显示触发它以进行相应猜测的单词，来查看计算机在呈现问题时如何“思考”。

通过新界面，人类用户可以查询具有无数不同问题的计算机并对其进行操作 - 而无需更改含义 - 从而找到可以进一步利用或用于改进机器学习算法的弱点。

使用人机协作产生的问题揭示了六种不同的语言元素，这些元素一直是计算机的残余。然后将这些元素分为两类：第一类包含释义，分散语言和意外情境，第二类包括基于逻辑和计算的推理技巧。

“人类可以更多地概括并看到更深层次的联系，”Boyd-Graber说。“他们没有无限的计算机记忆，但他们仍然有能力看到森林中的树木。对计算机存在的问题进行编目有助于我们理解我们需要解决的问题，这样我们就可以让计算机开始通过树木看到森林并以人类的方式回答问题。“