可解释性 or 准确性？AI 模型一定不能两者兼得吗？

（原标题：可解释性 or 准确性？AI 模型一定不能两者兼得吗？）

模型的可解释性，已然成为了AI 领域最具挑战性的主题之一。

一般规律中，模型的复杂度和准确性往往是正相关关系，而越高的复杂度也意味着模型越无法实现可解释性。那 AI 模型的准确性和可解释性就无法并存了吗？

杜克大学副教授 Cynthia Rudin 、耶鲁大学副教授 Joanna Radin 基于首个对黑盒模型提出可解释性需求的挑战赛——“可解释性机器学习挑战赛”，对这一问题进行了思考，并发表在了哈佛数据科学计划与麻省理工学院出版社联合推出的刊物《哈佛数据科学评论（HDSR）》上。

我们来看具体内容：

一、首个对黑盒模型提出可解释性需求的挑战赛

2018年12月，在一年一度神经信息处理系统（NeurIPS）会议上，数百位顶级计算机科学家，金融工程师和高管在蒙特利尔会议中心的一个房间里，见证了一场由谷歌、Fair Isaac（(FICO）与伯克利、牛津、帝国理工、加州大学欧文分校和麻省理工学院的学者合作举办的著名竞赛——“可解释性机器学习挑战赛”。

挑战赛查看地址：https://community.fico.com/s/explainable-machine-learning-challenge

这是首个反映了这样一种需求的数据科学挑战赛：那些主导了基于机器学习的决策策略的黑盒模型所计算出来的成果，需要被梳理与消化。

在过去的几年中，计算机视觉领域深度学习的进步导致人们普遍认为：针对任何既定的数据科学问题，最准确的模型必须是复杂且无法解释的。

这种想法源于机器学习在社会中的历史用途：它的现代技术是为例如在线广告、网络搜索之类的低风险决策而诞生，这些决策不会对人类的生活造成深远的影响。

在机器学习中，这些黑盒模型通过算法直接从数据中创建，这意味着人们，即使创造它们的人，也无法理解如何将变量组合在一起进行预测。即使一个人有一个可输入的变量列表，黑盒预测模型可以将其转为复杂的函数变量，以至于没有人可以理解变量之间是如何关联来达成最终的预测。

在技术上可解释的模型与黑盒模型是等效的，但是可解释模型比黑盒模型更符合道德，两者间的不同：可解释模型被约束以更好地理解如何进行预测。

在某些情况下，我们可以很清楚地看到变量是如何联系起来形成最终的预测结果，最终的预测结果可能只是简短逻辑语句中的几个变量组合在一起，或者是使用线性模型将变量加权并相加在一起。

有时，可解释模型由放在一起的更简单模型组成（可分解），或者对模型施加新的约束条件，但是，大多数机器学习模型的设计没有可解释的约束条件，它们只是为了在静态数据集上为准确的预测变量而设计，它们可能代表也可能不代表模型在实践中的使用方式。

二、要实现可解释性就必须牺牲准确性吗？

认为必须牺牲准确性来换取可解释性的观点是不正确的。当非常简单的可解释模型用于相同的任务时，它允许公司为高风险决策推销和出售私有或者复杂的黑盒模型。因此，模型创造者可以通过它来获利并且无需考虑对个人的有害影响。

很少有人质疑这些模型，因为他们的设计师声称模型必须复杂才能准确。2018年的这场“可解释机器学习挑战赛”是一个案例研究，主旨在于考虑将黑盒模型与可解释模型进行权衡。

在宣布挑战赛获胜者之前，主持人要求听众（包括金融，机器人技术和机器学习领域的能者）进行思想实验，在该实验场景中，他们患有癌症，需要手术切除肿瘤。屏幕上显示了两张图像，一张图描述了一位人类外科医生，他可以解释有关手术的任何事情，但在手术过程中有15％的概率导致死亡。

另一幅图像则显示了只有在2％的失败几率下才能执行手术的机器人，它其实是在模拟 AI 的黑盒方法。在这种情况下，他们需要完全信任机器人，不会对机器人提出任何问题，也不需要了解它是如何做出手术决定的。

然后，主持人要求观众举手投票选择他们愿意进行哪种拯救生命的手术。除了一票以外，其他所有人都投票选择机器人。

虽然2% 的死亡率比15%的死亡率要好很多，但是以这种方式来架构 AI 系统的风险，会掩盖一个更基本、更有趣的考虑：为什么机器人必须是黑盒？如果机器人具有自我解释能力，它将会失去执行准确手术的能力吗？机器人与患者之间的有效沟通是减少病人的护理而不仅仅只是改善吗？病人难道不需要在手术前向机器人说明他们有凝血障碍吗？

现场没有将可能并不需要作为黑盒模型的机器人作为一种选择，在座的的观众只能在准确的黑盒和不准确的透明盒子中进行选择。观众没有被告知手术结果的准确性是如何得出的（2%和15%分别测量的什么人群？），他们也没有被告知用于训练机器人的数据集的潜在缺陷。

在这一假设中，准确性必须以牺牲可以解释性（了解为什么外科医生要有做这些事情的能力）为代价。因此这项心理实验未能考虑到可解释性可能不会损坏准确性。而实际上，可解释性甚至可以提高准确性，因为它可以帮助你了解模型（机器人）何时可能是错误的。

并非一定要在准确的机器和具有理解能力的人之间做出选择，如此理解它有助于我们诊断由黑盒模型在整个社会中进行高风险决策所导致的问题。这些问题不仅存在于金融领域，而且还存在于医疗保健，刑事司法等领域。

我们可以给出一些证据表明，“必须牺牲一些可能性才能获得准确性的模型”的设想是错误的，比如一个刑事司法系统中已经反复证明，利用黑盒模型的复杂性预测未来的逮捕情况，其准确性远不及基于年龄和犯罪记录的简单预测模型（Angelino, Larus-Stone, Alabi, Seltzer, & Rudin, 2018; Tollenaar & van der Heijden, 2013; Zeng, Ustun, & Rudin, 2016）。

例如，Angelino 等人在2018年曾在一项仅考虑人的年龄和犯罪历史的一些规则的研究中，创建了用于预测再次逮捕的机器学习模型。其完整的机器学习模型如下：如果此人有过三次以上的犯罪前科，或者18-20岁的男性，或者有两到三次犯罪记录的21-23岁男性，那么模型预计他们将在评估发生的两年时间内再次被逮捕，否则不会。

尽管我们不一定提倡在刑事司法案件中使用这个该模型，但这套规则和黑盒模型（针对替代性模型的更正罪犯管理分析）一样准确，黑盒模型已经广泛合理使用于弗罗里达的布劳沃德县（Angelino et al., 2018）。

（编辑：52刷机网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!