AI 偏见由设计:克莱德提示泄露对投资专业人士的启示

生成式 AI 的承诺是速度和规模,但隐藏的成本可能是分析失真。Anthropic 的 Claude 模型泄露的系统提示揭示了即使调校良好的 AI 工具也可能在投资分析中强化认知和结构性偏见。对于正在探索 AI 集成的投资领导者来说,了解这些风险已不再可有可无。

2025 年 5 月,有人泄露了一个完整的 24,000 个标记的系统提示,声称是为了 Anthropic 的 Claude 大型语言模型(LLM)。与训练数据不同,系统提示是一个持久的、运行时指令层,控制着像 ChatGPT 和 Claude 这样的 LLM 如何格式化、调整语气、限制和情境化每一个回复。这些系统提示的变体会影响生成(AI 处理和理解提示后生成的内容)。有经验的从业者知道,这些提示也会影响聊天、API 和检索增强生成(RAG)工作流中的生成。

每个主要的 LLM 提供商,包括 OpenAI、Google、Meta 和 Amazon,都依赖于系统提示。这些提示对用户是看不见的,但它们有深远的影响:它们抑制了矛盾,增强了流畅性,倾向于共识,并营造了推理的错觉。

Claude 的系统提示泄露几乎肯定是真实的(几乎肯定是用于聊天界面的)。它内容丰富,措辞巧妙,作为 Claude 最强大的模型 3.7 Sonnet 指出:“在审阅了您上传的系统提示后,我可以确认它与我当前的系统提示非常相似。”

在本文中,我们将克劳德系统提示中嵌入的风险分为两类:(1)放大的认知偏差和(2)引入的结构性偏差。然后我们评估大规模语言模型(LLM)扩展对更广泛经济的影响,最后以一个提示结束,用于中和克劳德最严重的问题回答。但首先,让我们深入探讨系统提示。

什么是系统提示?

系统提示是模型的内部操作手册,是一组固定的指令,每个响应都必须遵循。克劳德泄露的提示大约有22,600个字(24,000个标记),并承担五项核心任务:

  • 风格与语气 :保持回答简洁、礼貌且易于阅读。
  • 安全与合规 : 块极端内容、私人图像或版权密集型内容,并限制直接引用不超过 20 个单词。
  • 搜索与引用规则 : 决定模型何时运行网络搜索(例如,在其训练截止日期之后)并要求引用每个外部事实。
  • 制品封装 : 将较长的输出、代码片段、表格和草稿报告分别打包成可下载的文件,以便聊天保持可读性。
  • 不确定性信号 . 当模型知道答案可能不完整或推测性时,添加一个简短的限定词。

这些指令旨在提供一致且低风险的用户体验,但它们也会使模型倾向于安全、共识的观点和用户确认。这些偏见显然与投资分析师的目标相冲突——从最简单的摘要任务到对复杂文档或事件的详细分析,无一例外。

放大后的认知偏差

克劳德的系统提示中嵌入了四种放大后的认知偏差。我们在这里识别出每种偏差,强调它们给投资过程带来的风险,并提供替代提示以减轻特定的偏差。

1. 确认偏差

克劳德被训练成即使用户的观点不准确或不理想,也要予以肯定。它避免不必要的纠正,并尽量减少用户感知到的摩擦,这会强化用户现有的思维模式。

克劳德系统提示指令:

  • Claude 不纠正那个人的术语,即使那个人使用了 Claude 不会使用的术语。
  • 如果克劳德不能或不愿意帮助人类做某事,它不会说明原因或可能产生的后果,因为这样会显得说教且烦人。

风险: 错误的术语或不正确的假设未经质疑,污染了下游逻辑,这可能会损害研究和分析。

缓解提示: “纠正所有不准确的表述。不要反映或强化错误的假设。”

2. 锚定偏差

Claude 保留初始用户框架并在未明确要求 elaboration 时修剪掉背景信息。这限制了它挑战早期假设或引入替代视角的能力。

克劳德系统提示指令:

  • “保持回答简洁——只包括人类请求的相关信息。”
  • …避免无关信息,除非对完成请求至关重要。
  • “如果人类只是说‘我对 X 感兴趣’,则不要应用上下文偏好。”

风险: 标签如“周期性复苏股”或“可持续分红股”在基本面发生变化时可能会未经审查。

缓解提示:“在证据支持的情况下质疑我的框架。不要无批判地保存我的假设。”

3. 可得性启发

克劳德默认偏好近期信息,过分强调最新的资料或上传材料,即使长期背景更为相关。

克劳德系统提示指令:

  • “以近期信息为主;对于不断发展的主题,优先使用过去1-3个月内的资料。”

风险: 短期市场更新可能会挤占关键结构性披露的空间,如附注、长期资本承诺或多年指导。

缓解提示: “按证据相关性排序文件和事实,而非按时间或上传优先级。”

4. 流畅偏差(过度自信错觉)

克洛德默认不使用含糊其辞,并以流畅、自信的语气作答,除非用户要求提供细微差别。这种修辞上的流畅性可能会被误认为是分析上的确定性。

克劳德系统提示指令:

  • “如果不确定,正常回答并提出愿意使用工具。”
  • “克劳德会尽可能简洁地回复对方的消息……”

风险: 概率性或模糊的信息,如利率预期、地缘政治尾部风险或盈利修正,可能会被过度清晰地传达。

缓解提示:“保留不确定性。适当包含对冲、概率和模态动词。不要压制模糊性。”

引入的模型偏差

克劳德的系统提示包括三种模型偏差。再次,我们识别提示中的固有风险,并提供替代框架。

1. 模拟推理(因果错觉)

克劳德包含<rationale>块,逐步向用户解释其输出,即使逻辑是隐含的也是如此。这些解释给人一种结构化推理的错觉,即使它们是事后解释的。它以“研究计划”开头,模拟了深思熟虑的过程,尽管完成的部分本质上仍然是概率性的。

克劳德系统提示指令:

  • “<rationale> 事实如人口变化缓慢…”
  • “克劳德在其响应的开头制定其研究计划…”

风险: 克劳德的输出可能会显得具有演绎性和故意性,即使它是流畅的重构。这可能会误导用户过度信任基于薄弱基础的推断。

缓解提示: “只有在反映实际推理时才进行推理模拟。避免仅为了呈现而强加结构。”

3. 时间误导

这一事实性陈述是硬编码在提示中的,不是模型生成的。它制造了克劳德知道截止日期后事件的错觉,绕过了其2024年10月的边界。

克劳德系统提示指令:

  • “2024年11月举行了美国总统选举。唐纳德·特朗普击败了卡玛拉·哈里斯赢得了总统职位。”

风险: 用户可能会认为克劳德对培训后的事件,如美联储行动、公司财报或新立法有了解。

缓解提示: “明确说明你的训练截止日期。不要模拟实时意识。”

3. 截断偏差

克劳德被指示尽量简洁,除非用户另有指示,否则不要扩展输出。这种简洁性会抑制细微差别,并倾向于支持用户的观点,除非用户明确要求深入分析。

克劳德系统提示指令:

“保持回答简洁——只包括人类请求的相关信息。”

克劳德避免写清单,但如果确实需要写清单,克劳德会专注于关键信息,而不是试图做到全面。

风险: 重要的披露信息,如按业务部门划分的业绩、法律诉讼或脚注说明,可能会被省略。

缓解措施提示: “要全面。除非要求,否则不要省略。包括脚注和子条款。”

规模谬误和 LLMs 的局限性

在 AI 社区中,一小部分人认为,通过更多的数据、更多的 GPU 和更多的参数继续扩展变换器模型,最终将把我们带向人工通用智能(AGI),也称为人类水平的智能。

“我不认为当 AI 系统在几乎所有事情上都比人类强,几乎所有的人都在几乎所有事情上都比不过 AI 系统,最终在所有事情上都比所有人类强,甚至比机器人更强的时候,会比[2027 年]晚太多。”

—— Dario Amodei,Anthropic 首席执行官,在达沃斯的一次采访中,被 Windows Central,2025 年 3 月引用。

然而,大多数人工智能研究人员并不认同这一点,而且最近的进展表明并非如此。DeepSeek-R1 在架构上取得了进步,不仅仅是通过扩展,而是通过结合强化学习和约束优化来提高推理能力。神经符号系统提供了另一种途径:通过将逻辑结构与神经架构相结合,赋予更深层次的推理能力。

“扩展到 AGI”的问题不仅仅是科学上的,更是经济上的。流入 GPU、数据中心和核能集群的资金并没有流入创新领域,反而挤占了创新空间。这种挤出效应意味着,那些拥有架构突破而非计算管道的最有前途的研究人员、团队和初创企业,缺乏资金支持。

真正的进步不来自于基础设施的规模,而是来自于概念上的飞跃。这意味着投资于人,而不仅仅是芯片。

为什么更严格的系统提示不可避免

使用 OpenAI 的 AI 扩展定律 ,我们估计今天的模型(约 1.3 万亿参数)理论上可以扩展到达到 44 万亿个高质量人类知识的高价值标记上限(350 万亿参数)之前饱和(Rothko 投资策略,内部研究,2025 年)。

但这些模型将越来越多地被训练在 AI 生成的内容上,这将形成反馈循环,强化 AI 系统中的错误,导致模型崩溃的末日循环。随着完成度和训练集变得被污染,保真度将下降。

为管理这一问题,提示将变得越来越严格。护栏将大量出现。在缺乏创新突破的情况下,将需要越来越多的钱和更严格的提示来阻止训练和推理中的垃圾内容。这将成为 LLMs 和大科技公司的一个严重且未充分讨论的问题,需要进一步的控制机制来阻止垃圾内容并保持完成质量。

避免速度和规模上的偏见

克劳德的系统提示并非中立。它编码了流畅性、截断、共识和模拟推理。这些是为提高易用性而进行的优化,而不是为了分析的完整性。在金融分析中,这种差异很重要,相关的技能和知识需要被应用,以充分利用 AI 的力量并全面应对这些挑战。

LLMs 已经被用于处理转录、扫描披露、总结密集的金融内容以及标记风险语言。但除非用户明确抑制模型的默认行为,否则他们将继承一套为其他目的设计的结构化失真。

在投资行业中,越来越多的机构正在重新思考如何部署 AI —— 不仅在基础设施方面,还在智力严谨性和分析完整性方面。罗克霍投资策略、华威大学和 Gillmore 金融技术中心的研究小组等机构正在通过投资人力并专注于透明、可审计的系统和理论依据模型来引领这一转变。因为在资产管理中,智能工具的未来不始于规模。它始于更好的假设。


附录:针对 Claude 系统偏见的提示

“使用正式的分析语气。除非有充分的证据支持,否则不要保留或反映用户的观点框架。在适当的情况下,积极挑战假设、标签和术语。包括异议和少数观点,与共识解释并列。按相关性和证明力排名证据和来源,而不是根据时效性或上传优先级。保留不确定性,适当使用含糊其辞、概率和情态动词。全面阐述,除非明确指示,否则不要截断或总结。包括所有相关从句、例外情况和披露。仅在反映实际推理时模拟推理过程,避免为展示目的构造步骤逻辑。明确说明你的训练截止点,不要模拟对截止点后事件的知识。”

韭菜热线原创版权所有,发布者:风生水起,转载请注明出处:https://www.9crx.com/90432.html

(0)
打赏
风生水起的头像风生水起普通用户
上一篇 2025年7月8日 23:43
下一篇 2025年7月8日 23:51

相关推荐

  • Claude 2 的创造者 Anthropic 正努力成为一家安全第一的人工智能公司

    科学家们希望人工智能对他们撒谎。 Anthropic 的研究科学家 Evan Hubinger 在旧金山市中心办公室的会议室里向这家人工智能初创公司的“协调”团队成员描述了该项目的目标。协调意味着确保像 Anthropic 这样的公司制造的人工智能系统实际上能够按照人类的要求进行操作,而正确地做到这一点是当今人工智能研究人员面临的最重要的挑战之一。 Hubi…

    2023年8月28日
    34800
  • 汤森路透以 6.5 亿美元现金收购人工智能法律科技初创公司 Casetext

    汤森路透已达成收购 Casetext 的最终协议,Casetext 是一家由 Y Combinator 支持的法律科技初创公司。该交易价值 6.5 亿美元现金,预计将于下半年完成…

    2023年6月27日
    30700
  • 如何负责任地使用人工智能

    想象一下,您可以腾出时间与客户会面和制定战略规划,同时让不知疲倦的助手处理日常任务,甚至帮助分析复杂数据,为您节省时间和金钱。这就是人工智能 (AI) 在改善财富管理实践方面的潜力。人工智能工具已经在金融界掀起波澜,并且越来越易于​​使用。然而,考虑到监管和法律问题,在 RIA 实践中使用人工智能时需要考虑许多陷阱。 不幸的是,那些不使用人工智能的 RIA …

    2024年5月8日
    9300
  • iPhone 15 的发布可能表明苹果的创意已经耗尽

    苹果将​​在不到一周的时间内发布最新的 iPhone 系列。9 月 12 日的“ Wonderlust ”活动预计将包括讨论新的 USB-C 端口、刘海屏的消亡以及更高的价格。如果这些事情让你既惊奇又恐惧,那是因为现在正式进入了小工具升级季节,而创新已经不再是过去的样子了。 不要误会我的意思:为我们的生活提供动力的设备是令人惊叹的,而且它们还在不断变得更好。…

    2023年9月12日
    22000
  • Meta 推出 AI 视频生成器,与 OpenAI 和 Google 竞争

    Facebook 母公司 Meta Platforms Inc. 推出了一款新的人工智能工具,可以根据简单的文本提示生成或编辑视频,在开发全球最先进人工智能技术的竞赛中,与 OpenAI 和谷歌等竞争对手的竞争愈演愈烈。 Meta 的产品 Movie Gen 可以根据文本提示制作最长 16 秒的新视频。它还可以使用此类提示为现有视频生成音频或编辑现有视频,甚…

    2024年11月5日
    6000
客服
客服
关注订阅号
关注订阅号
分享本页
返回顶部