软件应用程序为人们提供了多种自动化决策，比如识别个人的信用风险是什么，告知招聘人员该聘用哪位求职者，或者确定某人是否对公众构成威胁。近年来，新闻头条警告说，未来机器将在社会背景下运行，决定人类生活的进程，同时使用不可信的逻辑。

这种恐惧部分源于许多机器学习模型运作的模糊方式。它们被称为黑箱模型，被定义为这样一种系统:在这种系统中，从输入到输出的过程几乎是不可能被开发人员理解的。

”作为机器学习变得无处不在,用于应用程序与更严重的后果,是一个需要人们理解它是如何预测他们会信任它当它提供一个广告做的多,”乔纳森·苏说,一名技术人员在麻省理工学院林肯实验室的信息和决策支持。

目前，研究人员要么使用事后技术，要么使用可解释的模型(如决策树)来解释黑箱模型如何得出结论。利用事后技术，研究人员观察算法的输入和输出，然后试图对黑匣子内发生的事情做出一个近似的解释。这种方法的问题在于，研究人员只能猜测内部的运作方式，而这种解释往往是错误的。决策树在树状结构中映射选择及其可能的结果，对于特征有意义的分类数据非常有效，但是这些树在重要的领域(如计算机视觉和其他复杂的数据问题)无法解释。

苏领导的实验室团队与杜克大学教授辛西娅·鲁丁、杜克大学学生陈超凡、奥斯卡·李和阿丽娜·巴尼特合作，研究用更透明的预测方法取代黑箱模型的方法。他们的项目名为适应性解释机器学习(AIM)，主要关注两种方法:可解释的神经网络以及可适应和可解释的贝叶斯规则列表(BRLs)。

神经网络是由许多相互连接的处理单元组成的计算系统。这些网络通常用于图像分析和对象识别。例如，一个算法可以通过第一次展示狗的照片来识别一张照片中是否有狗。研究人员说这些神经网络的问题是他们的函数是非线性和递归,人类以及复杂和混乱,最终的结果是,很难确定到底网络定义为“dogness”内的照片和领导这一结论。

为了解决这个问题，该团队正在开发所谓的“原型神经网络”。它们与传统的神经网络不同，因为它们通过创建原型来为每一个预测编码解释，这些原型是输入图像中特别具有代表性的部分。这些网络根据输入图像部分与每个原型的相似性做出预测。

例如，如果一个网络的任务是识别一个图像是狗、猫还是马，它会将图像的一部分与每个动物重要部分的原型进行比较，并利用这些信息做出预测。关于这项工作的一篇论文:“这看起来像:用于可解释的图像识别的深度学习”，最近出现在“在家中的数据科学”播客的一期中。之前的一篇论文《通过原型进行基于案例的推理的深度学习:一个解释其预测的神经网络》(Deep Learning for Case-Based Reasoning through prototype: A Neural Network that explain Its)使用整个图像作为原型，而不是部分。

研究小组正在研究的另一个领域是BRLs，它是一种不那么复杂、片面的决策树，适用于表格数据，而且通常与其他模型一样准确。brl由一系列条件语句组成，这些条件语句自然形成一个可解释的模型。例如，如果血压高，那么心脏病的风险就高。Su和他的同事正在使用BRLs的属性，使用户能够指出哪些特性对于预测是重要的。他们还在开发交互式的brl，当新数据到达时可以立即进行调整，而不是在不断增长的数据集上从头开始重新校准。

佛罗里达大学(University of Florida)研究生、信息学与决策支持小组(Informatics and Decision Support Group)暑期实习生斯蒂芬妮·卡内尔(Stephanie Carnell)正在把AIM项目中的互动BRLs应用到一个项目中，以帮助医学生更好地采访和诊断患者。目前，医学专业的学生通过与虚拟病人面谈来练习这些技能，并根据他们能够发现多少重要的诊断信息来获得分数。但是，这些分数并没有解释学生在面试中究竟做了什么来获得他们的分数。AIM项目希望改变这一现状。

Carnell说:“我可以想象，大多数医科学生在没有具体原因的情况下就收到了关于成功的预测，这让他们很沮丧。”“AIM生成的规则列表应该是给学生提供数据驱动的、可理解的反馈的理想方法。”

AIM项目是人类系统工程实验室正在进行的研究的一部分，或者说是设计更符合人类思维和功能的系统的实践，比如可理解的而不是模糊的算法。

信息学与决策支持小组助理组长海莉•雷诺兹表示:“该实验室有机会成为将人类与技术结合在一起的全球领导者。”“我们正处在巨大进步的风口浪尖。”

Melva James是另一名参与AIM项目的信息学和决策支持小组的技术人员。她说:“我们在实验室已经开发了BRL和交互式BRL的Python实现。”“我们同时在不同的操作系统和硬件平台上测试BRL和交互式BRL实现的输出，以建立可移植性和可再现性。我们还在确定这些算法的其他实际应用。”

苏解释说:“我们希望为实验室机器学习算法建立一种新的战略能力，因为人们相信这些算法，因为他们理解它们。”