机器学习：解释它或半身像

“如果你不能简单地解释它，那么你就没有理解它。”

复杂的机器学习 (ML) 也是如此。

机器学习现在可以衡量环境、社会和治理 (ESG) 风险，执行交易，并可以推动股票选择和投资组合构建，但最强大的模型仍然是黑匣子。

机器学习在投资行业的加速扩张引发了人们对透明度降低以及如何解释投资决策的全新担忧。坦率地说，“无法解释的机器学习算法[。。。] 让公司面临不可接受的法律和监管风险。”

简而言之，这意味着如果您无法解释您的投资决策，那么您、您的公司和利益相关者就会陷入困境。因此，解释——或者更好的是直接解释——是至关重要的。

其他已部署人工智能 (AI) 和机器学习的主要行业的杰出人才都在努力应对这一挑战。对于我们行业中那些更喜欢计算机科学家而不是投资专业人士或试图将简单且开箱即用的机器学习应用程序投入投资决策的人来说，它改变了一切。

目前提供两种类型的机器学习解决方案：

1. 可解释的人工智能使用不太复杂的机器学习，可以直接读取和解释。
2. 可解释的人工智能（XAI）采用复杂的机器学习并尝试对其进行解释。

XAI 可能是未来的解决方案。但这就是未来。在目前和可预见的情况下，基于 20 年的量化投资和机器学习研究，我认为可解释性是您应该寻求利用机器学习和人工智能的力量的地方。

让我解释一下原因。

金融的第二次技术革命

机器学习将成为现代投资管理未来的重要组成部分。这是广泛的共识。它承诺减少昂贵的前台人员数量，取代遗留因素模型，利用庞大且不断增长的数据池，并最终以更有针对性的定制方式实现资产所有者的目标。

然而，技术在投资管理领域的缓慢采用已经是老生常谈了，机器学习也不例外。也就是说，直到最近。

ESG 在过去 18 个月中的崛起以及评估 ESG 所需的大量数据池的搜索是推动向 ML 过渡的关键力量。

对这些新的专业知识和解决方案的需求超过了我在过去十年或自 20 世纪 90 年代中期上次重大技术革命冲击金融业以来所目睹的任何情况。

机器学习军备竞赛的速度令人担忧。新近自封的专家的明显采用令人震惊。这场革命可能会被计算机科学家而不是企业所参与，这可能是最令人担忧的可能性。对投资决策的解释始终取决于企业的硬道理。

可解释的简单性？或者可解释的复杂性？

可解释的人工智能，也称为符号人工智能 (SAI)，或“优秀的老式人工智能”，起源于 20 世纪 60 年代，但再次处于人工智能研究的前沿。

可解释的人工智能系统往往是基于规则的，就像决策树一样。当然，虽然决策树可以帮助了解过去发生的事情，但它们是糟糕的预测工具，并且通常与数据过度拟合。然而，可解释的人工智能系统现在拥有更强大、更复杂的规则学习过程。

这些规则应该应用于数据。它们可以被直接检验、审视和解释，就像本杰明·格雷厄姆和大卫·多德的投资规则一样。它们也许很简单，但功能强大，而且如果规则学习做得好的话，它们是安全的。

另一种可解释的人工智能（XAI）则完全不同。XAI 试图为无法直接解释的黑盒模型的内部运作找到解释。对于黑匣子，输入和结果是可以观察到的，但其间的过程是不透明的，只能猜测。

这就是 XAI 通常尝试的：猜测并测试其解释黑盒过程的方式。它采用可视化来显示不同的输入如何影响结果。

XAI 仍处于早期阶段，并且已被证明是一门具有挑战性的学科。在机器学习应用程序方面，这是推迟判断并进行解释的两个很好的理由。

解释还是解释？

金融领域最常见的 XAI 应用之一是 SHAP（SHapley Additive exPlanations）。SHAP 起源于博弈论的 Shapely Values。最近由华盛顿大学的研究人员开发。

下图显示了股票选择模型的 SHAP 解释，该模型仅由几行 Python 代码生成。但这是一个需要自己解释的解释。

这是一个超级想法，对于开发机器学习系统非常有用，但需要勇敢的产品经理才能依靠它向合规主管解释交易错误。

为您的合规主管准备的一份？使用 Shapley 值解释神经网络

无人机、核武器、癌症诊断。。。和选股？

医学研究人员和国防工业比金融部门探索解释或解释问题的时间要长得多。他们已经实现了强大的特定应用解决方案，但尚未得出任何一般性结论。

美国国防高级研究计划局 (DARPA) 进行了思想领先的研究，并将可解释性描述为阻碍机器学习系统能力的成本。

下图通过各种机器学习方法说明了这一结论。在这种分析中，方法的可解释性越高，复杂性就越低，因此准确度也就越低。如果复杂性与准确性相关联，这肯定是正确的，但简约原则和该领域的一些重量级研究人员却不敢苟同。这表明图的右侧可能更好地代表现实。

可解释性真的会降低准确性吗？

高管层的复杂性偏见

“准确的黑匣子和不太准确的透明模型之间的错误二分法已经走得太远了。当数百名顶尖科学家和金融公司高管被这种二分法误导时，想象一下世界其他地方也可能被愚弄。” —辛西娅·鲁丁

可解释性阵营中的假设——复杂性是有保证的——在深度学习至关重要的应用中可能是正确的，例如预测蛋白质折叠。但在其他应用中，它可能并不那么重要，其中包括选股。

2018 年可解释机器学习挑战赛的失利证明了这一点。这本应是神经网络的黑盒挑战，但超级明星人工智能研究员 Cynthia Rudin 和她的团队有不同的想法。他们提出了一种可解释的——读起来：更简单的——机器学习模型。由于它不是基于神经网络的，因此不需要任何解释。这已经是可以解释的了。

也许鲁丁最引人注目的评论是“信任黑盒模型意味着您不仅信任模型的方程，而且还信任构建模型的整个数据库。”

具有行为金融学背景的人应该熟悉她的观点。鲁丁认识到另一种行为偏差：复杂性偏差。我们倾向于发现复杂的东西比简单的东西更有吸引力。正如她在最近的WBS 关于可解释人工智能与可解释人工智能网络研讨会上所解释的那样，她的方法是仅使用黑盒模型提供基准，然后开发具有类似精度的可解释模型。

推动人工智能军备竞赛的高管们可能需要暂停并反思这一点，然后再继续全力追求过度复杂性。

用于股票选择的可解释、可审计的机器学习

虽然有些目标需要复杂性，但其他目标却会受到影响。

选股就是这样的例子之一。在《可解释、透明和可审计的机器学习》中， David Tilles、Timothy Law 和我提出了可解释的人工智能，作为股票投资管理中股票选择的因子投资的可扩展替代方案。我们的应用程序利用简单机器学习方法的非线性功能来学习简单、可解释的投资规则。

新颖之处在于它不复杂、可解释、可扩展，并且我们相信它可以成功并远远超过因子投资。事实上，我们的应用程序几乎与我们多年来尝试过的更复杂的黑盒方法一样好。

我们的应用程序的透明度意味着它是可审计的，并且可以与可能不具备计算机科学高级学位的利益相关者进行沟通和理解。XAI 不需要解释它。是可以直接解释的。

我们之所以将这项研究公开，是因为我们长期以来坚信选股没有必要过于复杂。事实上，这种复杂性几乎肯定会损害选股。

可解释性在机器学习中至关重要。另一种选择是一种循环的复杂性，以至于每个解释都需要对解释进行无限的解释。

它在哪里结束？

为人类一

那么是哪一个呢？解释还是阐释？争论正在激烈进行。最具前瞻性的金融公司正在花费数亿美元进行研究，以支持机器学习的蓬勃发展。

与任何尖端技术一样，错误的启动、失败和资本浪费是不可避免的。但就目前和可预见的未来而言，解决方案是可解释的人工智能。

考虑两个不言而喻的道理：事情越复杂，就越需要解释；事物越容易解释，就越不需要解释。

未来，XAI 将被更好地建立和理解，并且更加强大。目前，它还处于起步阶段，要求投资经理让他们的公司和利益相关者面临不可接受的法律和监管风险的机会是太过分了。

通用XAI目前并没有提供简单的解释，俗话说：

“如果你不能简单地解释它，那么你就没有理解它。”