得益于机器学习算法的日益强大的能力，人工智能已成为商业主流，这些算法使计算机能够训练自己完成诸如驾驶汽车，控制机器人或自动化决策等工作。

但是随着人工智能开始处理敏感任务，例如帮助选择哪些囚犯得到保释，决策者坚持要求计算机科学家提供保证，确保自动化系统的设计能够最大程度地减少(如果不能完全避免)不必要的后果，例如过度的风险或种由斯坦福大学和马萨诸塞州阿默斯特大学的研究人员领导的团队在《科学》杂志上发表了一篇论文，建议如何提供这种保证。本文概述了一种新技术，该技术可以将诸如避免性别偏见之类的模糊目标转化为精确的数学标准，从而使机器学习算法可以训练AI应用程序来避免这种行为。

斯坦福大学计算机科学助理教授，该论文的高级作者艾玛·布伦斯基尔(Emma Brunskill)说：“我们希望推动尊重人类用户价值并证明我们对自治系统的信任的人工智能。”

避免行为不端

这项工作的前提是，如果可以用数学方式定义“不安全”或“不公平”的结果或行为，那么应该有可能创建可以从数据中学习如何以高信度避免这些不良结果的算法。研究人员还希望开发一套技术，使用户可以轻松地指定他们想约束哪些不良行为，并使机器学习设计者可以放心地预测，使用过去数据训练的系统何时可以依赖该系统。在实际环境中使用。

“我们展示了机器学习算法的设计者如何使想要将AI集成到其产品和服务中的人们更容易地描述AI系统将以高概率描述不想要的结果或行为，”助手Philip Thomas说。麻省大学阿默斯特分校计算机科学教授，该论文的第一作者。

公平与安全

研究人员通过尝试提高根据考试结果预测大学生的GPA的算法的公平性来测试他们的方法，这是一种可能导致性别偏见的普遍做法。他们使用实验数据集为算法提供了数学指导，以避免开发出一种预测性方法，该方法系统性地高估或低估了一个性别的GPA。通过这些指令，该算法确定了一种预测学生GPA的更好方法，其系统性性别偏见要比现有方法少得多。在这方面，先前的方法在挣扎中要么是因为它们没有内置的公平性过滤器，要么是因为为实现公平性而开发的算法的范围太有限。

该小组开发了另一种算法，并使用它在自动胰岛素泵中平衡安全性和性能。这种泵必须决定在进餐时给病人多少胰岛素剂量。理想情况下，泵仅输送足够的胰岛素以保持血糖水平稳定。胰岛素太少会使血糖水平升高，从而导致恶心等短期不适，并增加包括心血管疾病在内的长期并发症的风险。太多和血糖崩溃–可能是致命的结果。

机器学习可以通过识别个体对剂量的血糖反应中的微妙模式来提供帮助，但是现有方法无法让医生轻松实现自动剂量算法应避免的特定结果，例如低血糖事故。Brunskill和Thomas使用血糖模拟器，展示了如何训练泵来确定为该人量身定制的剂量-避免因剂量过大或剂量不足而引起的并发症。尽管该小组尚未准备好在真实的人上测试该算法，但它指出了一种AI方法，该方法最终可能会改善糖尿病患者的生活质量。

Brunskill和Thomas在他们的《科学》论文中使用“ Seldonian算法”一词来定义他们的方法，指的是科幻小说家艾萨克·阿西莫夫(Isaac Asimov)发明的人物哈里·塞尔登(Hari Seldon)，他曾宣布三个机器人定律，其开头是“机器人可能不会伤害人类，也可能因无所作为而伤害人类。”

Thomas承认该领域仍远不能保证这三个定律，但他说，这种Seldonian框架将使机器学习设计人员更容易将避免行为指令构建到各种算法中，从而使他们能够评估概率训练有素的系统将在现实世界中正常运行。

Brunskill说，这个提议的框架建立在许多计算机科学家正在努力的基础上，以在创建强大的算法和开发方法以确保其可信赖性之间取得平衡。

“随着社会越来越依赖人工智能，思考如何创建最能尊重安全性和公平性等价值的算法至关重要，” Brunskill说。族和性别偏见。 。