随着不负责任的隐私泄露和数据滥用事件不断发生，用户对人工智能(AI)和机器学习(ML)解决方案的信任度直线下降。尽管越来越多的监管机构对这些违规行为进行了审查，但Gartner预测，到2023年，75%的大型组织将聘请人工智能行为法医，隐私和客户信任专家来降低品牌和声誉风险。

基于种族，性别，年龄或地点的偏见以及基于特定数据结构的偏见一直是培训AI模型的长期风险。此外，诸如深度学习之类的不透明算法可以将许多隐含的，高度可变的交互结合到他们的预测中，这些预测很难解释。

“需要新的工具和技能来帮助组织识别这些和其他潜在的偏见来源，建立对使用AI模型的更多信任，并降低企业品牌和声誉风险，”Gartner研究副总裁Jim Hare说。“越来越多的数据和分析领导者以及首席数据官(CDO)正在招聘ML法医和道德调查员。”

越来越多的金融和技术等行业正在部署人工智能治理和风险管理工具和技术，以管理声誉和安全风险。此外，Facebook，谷歌，美国银行，MassMutual和NASA等组织正在招聘或已经指定了AI行为法医专家，他们主要关注在部署AI模型之前发现不受欢迎的偏见。

这些专家在开发阶段验证模型，并在它们投入生产后继续监控它们，因为培训和实际数据之间存在差异，因此可能会引入意外偏差。

“虽然今天雇用ML法医和道德调查员的组织数量仍然很少，但这个数字将在未来五年内加速，”Hare补充说。

一方面，咨询服务提供商将推出新服务，以审核和证明ML模型可以解释并在模型投入生产之前满足特定标准。另一方面，专门设计用于帮助ML研究人员识别和减少偏见的开源和商业工具正在出现。

一些组织已经推出了专门的AI可解释性工具，以帮助他们的客户识别和修复AI算法中的偏差。商业AI和ML平台供应商正在添加以自然语言自动生成模型解释的功能。还有一些开源技术，如本地可解释模型 - 不可知解释(LIME)，可以在它被融入模型之前寻找无意识的歧视。

这些和其他工具可以帮助ML研究人员检查敏感变量(如年龄，性别或种族)对模型中其他变量的“数据影响”。“他们可以衡量变量之间的相关程度，看看它们是否正在扭曲模型及其结果，”哈尔先生说。

数据和分析领导者以及CDO无法避免与缺乏治理和AI失误相关的问题。“他们必须将道德和治理作为人工智能倡议的一部分，并建立一种负责任的使用，信任和透明的文化。促进人工智能团队，数据和算法的多样性以及提升人员技能是一个很好的开始，“哈尔先生说。“数据和分析领导者还必须建立责任，以确定和实现每个用例的数据，算法和输出的信任级别和透明度。在评估分析，商业智能，数据科学和ML平台时，它们必须包括对AI可解释性功能的评估。“

Gartner分析师将于9月15日至17日在开普敦举行的Gartner IT Symposium / Xpo上进一步讨论AI和机器学习。