当错误不是人类，但动机是错误时，“医疗错误”的风险会带来一种新的，更令人担忧的意义。在“ 科学 ”杂志上发表的一篇文章中，美国研究人员强调，在医疗机器学习系统上进行对抗性攻击的可能性越来越大，试图影响或操纵它们。

作者说，由于这些系统的性质及其独特的脆弱性，输入方式的小但精心设计的变化可以完全改变输出，颠覆其他可靠的算法。

他们提出了一个鲜明的例子 - 他们自己的成功使用“对抗性噪音”来哄骗算法以100%的置信度将良性痣诊断为恶性。

这支位于波士顿的团队由哈佛医学院的Samuel Finlayson领导，汇集了健康，法律和技术方面的专家。

在他们的文章中，作者指出，对抗操作可以以对输入数据的不可察觉的小扰动的形式出现，例如对图像中的每个像素进行“人类不可见的改变”。

他们写道：“研究人员已经证明，对于所研究的各种类型的机器学习模型，以及各种数据类型，包括图像，音频，文本和其他输入，都存在对抗性的例子。”

他们说，到目前为止，医疗保健领域还没有发现尖端的对抗性攻击。然而，潜在的存在，特别是在医疗计费和保险行业，机器学习已经建立。对抗性攻击可用于产生虚假医疗索赔和其他欺诈行为。

为了解决这些新出现的问题，他们呼吁采用跨机构的机器学习和人工智能政策制定方法，其中应包括整个医疗保健界的医疗，技术，法律和道德专家的积极参与。

他们写道：“对抗性攻击构成了医疗机器学习系统的许多可能的失败模式之一，所有这些都代表了模型开发者和用户的基本考虑因素。”

“然而，从政策的角度来看，对抗性攻击代表了一个有趣的新挑战，因为它们为算法用户提供了以微妙，有影响力，有时甚至是道德模糊的方式影响其行为的能力。