您的数据治理和管理实践是否跟上了人工智能热潮？

随着金融服务公司竞相跟上机器学习和人工智能 (AI) 等技术进步，数据治理 (DG) 和数据管理 (DM) 发挥着越来越重要的作用——在技术军备竞赛中，这一作用往往被低估。

DG 和 DM 是成功的企业数据和分析平台的核心组成部分。它们必须符合组织的投资理念和结构。掌握业务领域知识、经验和专业知识使公司能够将 BD 管理与传统小数据管理结合起来。

毫无疑问，先进技术的部署将通过提高生产力、节约成本以及差异化战略和产品来提高效率并确保竞争优势。但无论公司的人工智能工具多么复杂和昂贵，都不应忘记“垃圾进，垃圾出”（GIGO）原则适用于整个投资管理流程。

有缺陷和质量差的输入数据注定会产生错误且无用的输出。必须使用提取并用于训练、验证和测试的高质量数据来训练、验证和测试 AI 模型。

对于大多数投资专业人士来说，获取正确的数据往往听起来不那么有趣，甚至很无聊。此外，从业者通常不认为他们的工作职责包括 DG 和 DM。

但行业领导者越来越认识到，跨职能的T 型团队将帮助组织开发包含 AI 和大数据 (BD) 的投资流程。然而，尽管投资和技术职能之间的协作有所增加，但 DG 和 DM 的关键投入往往不够有力。

数据科学维恩图

BD 是 AI 模型的主要输入。数据科学是一个跨学科领域，包含数学和统计学、计算机科学、领域知识和专业知识之间的重叠。正如我在之前的博客文章中所写，成功适应不断变化的环境的人类团队将坚持下去。那些没有这样做的团队可能会让自己被淘汰。

图 1 说明了重叠的功能。从投资管理公司内部的职能角度来看维恩图：AI 专业人员负责数学和统计学；技术专业人员处理计算机科学；投资专业人员在数据专业人员的帮助下为团队带来丰富的知识、经验和专业知识。

图 1.

表 1 仅涉及 BD 功能。显然，不能指望拥有某一领域技能的专业人员能够处理这种复杂程度。

表 1. BD 和 Five Vs

由于对数据的完整性和准确性以及所获得见解的有效性存在持续的不确定性，因此数据的数量、真实性和价值都具有挑战性。

为了充分发挥 BD 和 AI 的潜力，投资专业人士必须了解这些概念在实践中如何协同运作。只有这样，BD 和 AI 才能提高效率、生产力和竞争优势。

进入 DG 和 DM。它们对于管理数据保护和安全数据隐私至关重要，而这些是监管重点领域。这包括全球金融危机后的监管改革，例如巴塞尔银行监管委员会的标准 239 (BCBS239) 和欧盟的偿付能力 II 指令。最近的监管行动包括欧洲中央银行的数据质量仪表板、加州消费者隐私法案和欧盟的通用数据保护条例 (GDPR)，这些都迫使行业更好地管理个人数据的隐私。

未来的法规可能会赋予个人更多数据所有权。公司应该努力定义数字数据权利和标准，特别是如何保护个人隐私。

数据既包括原始的、未经处理的输入，也包括由此产生的“内容”。内容是分析的结果——通常是在支持讲故事的仪表板上。DG 模型可以在此基础上构建，并且 DG 实践不一定在每个组织中都相同。值得注意的是，DG 框架尚未解决如何处理 BD 和 AI 模型的问题，这些模型只是短暂存在且经常变化。

数据治理的关键组成部分是什么？

协调与承诺：整个企业的数据战略协调以及管理层对此的承诺至关重要。组织内需要多利益相关方委员会的指导。
从内部控制和治理的角度来看，需要确保最低程度的透明度、可解释性、可解释性、可审计性、可追溯性和可重复性，以便委员会能够分析数据以及所使用的模型并批准部署。此功能应与记录良好的数据研究和模型开发过程分开。

安全性：数据安全是根据风险和回报级别定义、标记和批准数据，然后向相关方授予安全访问权限的做法。换句话说，实施安全措施并保护数据免受未经授权的访问和数据损坏。在用户可访问性和安全性之间保持平衡是关键。

透明度：公司采用的每一项政策和程序都必须透明且可审计。透明度意味着让数据分析师、投资组合经理和其他利益相关者了解数据的来源以及数据是如何被处理、存储、使用、存档和删除的。

合规性：确保实施控制措施以遵守公司政策和程序以及监管和立法要求是不够的。持续监控是必要的。政策应包括识别敏感信息的属性、尽可能通过匿名化和标记化数据来保护隐私，以及满足信息保留的要求。

管理：应建立专门的数据管理员团队来监控和控制业务用户如何利用数据。这些管理员将以身作则，确保数据质量、安全性、透明度和合规性。

数据管理的关键要素是什么？

准备：这是清理和转换原始数据以确保数据完整性和准确性的过程。在匆忙进行分析和报告的过程中，有时会忽略这一关键的第一步，组织会发现自己根据垃圾数据做出了垃圾决策。

创建一个“不断发展”的数据模型比创建一个“长期存在”的数据模型要好得多。数据模型应该满足今天的需求并适应未来的变化。

在异质条件下（即不同的人群、制度或采样方法）收集的数据库为通过单个数据源无法实现的分析提供了新的机会。同时，这些潜在的异质环境的组合带来了潜在的分析挑战和陷阱，包括采样选择、混杂和跨人群偏差，而标准化和数据聚合使数据处理和分析变得简单，但不一定有洞察力。

目录、仓库和管道：数据目录存储元数据并提供数据的整体视图，使其更易于查找和跟踪。数据仓库整合了目录中的所有数据，数据管道自动将数据从一个系统传输到另一个系统。

提取、转换、加载 (ETL)： ETL 是指将数据转换为某种格式，以便加载到组织的数据仓库中。ETL 通常是在数据准备和数据管道之前进行的自动化流程。

数据架构：这是管理数据流和存储的正式结构。

DM 遵循 DG 中定义的政策和流程。DM 框架管理完整的数据生命周期，满足组织对数据利用、决策和具体行动的需求。

拥有这些 DG 和 DM 框架对于分析复杂的 BD 至关重要。如果数据应被视为重要的公司资产，则组织需要按照数据进行构建和管理。

此外，关键是要理解 DG 和 DM 应同步工作。没有 DM 及其实施的 DG 最终会成为空想。DG 制定了所有政策和程序，而 DM 及其实施使组织能够分析数据并做出决策。

打个比方，DG 是为新建筑的建造设计蓝图，而 DM 是建造建筑的行为。虽然你可以在没有蓝图（DG）的情况下建造一座小建筑（在这个比喻中是 DM），但它的效率会更低、效果会更差、不符合规定，而且当强震来袭时，建筑倒塌的可能性也会更大。

了解 DG 和 DM 将帮助您的组织充分利用可用数据并做出更好的业务决策。

参考​

Larry Cao，CFA，CFA 协会（2019），投资管理领域的 AI 先驱，https://www.cfainstitute.org/en/research/industry-research/ai-pioneers-in-investment-management

Larry Cao，特许金融分析师，特许金融分析师协会 (2021)，T 型团队：投资公司组织采用人工智能和大数据，https://www.cfainstitute.org/en/research/industry-research/t-shaped-teams

Yoshimasa Satoh，CFA，（2022 年），机器学习算法和训练方法：决策流程图，https: //blogs.cfainstitute.org/investor/2022/08/18/machine-learning-algorithms-and-training-methods-a-decision-making-flowchart/

Yoshimasa Satoh, CFA 和 Michinori Kanokogi, CFA (2023)，ChatGPT 和生成式 AI：对投资专业人士意味着什么，https://blogs.cfainstitute.org/investor/2023/05/09/chatgpt-and-generative-ai-what-they-mean-for-investment-professionals/

Tableau，数据管理与数据治理：差异解析，https://www.tableau.com/learn/articles/data-management-vs-data-governance

KPMG (2021)，什么是数据治理——财务应该扮演什么角色？  https://advisory.kpmg.us/articles/2021/finance-data-analytics-common-questions/data-governance-finance-play-role.html

德勤 (2021)，建立“不断发展”的财务数据战略：强大的企业信息和数据治理模型，https://www2.deloitte.com/us/en/pages/operations/articles/data-governance-model-and-finance-data-strategy.html

德勤 (2021)，定义财务数据战略、企业信息模型和治理模型，https://www2.deloitte.com/content/dam/Deloitte/us/Documents/process-and-operations/us-defining-the-finance-data-strategy.pdf

安永 (2020)，金融机构推动下一代数据治理框架的三大优先事项，https://assets.ey.com/content/dam/ey-sites/ey-com/en_gl/topics/banking-and-capital-markets/ey-three-priorities-for-fis-to-drive-a-next-generation-data-governance-framework.pdf

OECD (2021)，金融中的人工智能、机器学习和大数据：对政策制定者的机遇、挑战和影响，https: //www.oecd.org/finance/artificial-intelligence-machine-learning-big-data-in-finance.htm 。