AI 偏见由设计:克莱德提示泄露对投资专业人士的启示

生成式 AI 的承诺是速度和规模,但隐藏的成本可能是分析失真。Anthropic 的 Claude 模型泄露的系统提示揭示了即使调校良好的 AI 工具也可能在投资分析中强化认知和结构性偏见。对于正在探索 AI 集成的投资领导者来说,了解这些风险已不再可有可无。

2025 年 5 月,有人泄露了一个完整的 24,000 个标记的系统提示,声称是为了 Anthropic 的 Claude 大型语言模型(LLM)。与训练数据不同,系统提示是一个持久的、运行时指令层,控制着像 ChatGPT 和 Claude 这样的 LLM 如何格式化、调整语气、限制和情境化每一个回复。这些系统提示的变体会影响生成(AI 处理和理解提示后生成的内容)。有经验的从业者知道,这些提示也会影响聊天、API 和检索增强生成(RAG)工作流中的生成。

每个主要的 LLM 提供商,包括 OpenAI、Google、Meta 和 Amazon,都依赖于系统提示。这些提示对用户是看不见的,但它们有深远的影响:它们抑制了矛盾,增强了流畅性,倾向于共识,并营造了推理的错觉。

Claude 的系统提示泄露几乎肯定是真实的(几乎肯定是用于聊天界面的)。它内容丰富,措辞巧妙,作为 Claude 最强大的模型 3.7 Sonnet 指出:“在审阅了您上传的系统提示后,我可以确认它与我当前的系统提示非常相似。”

在本文中,我们将克劳德系统提示中嵌入的风险分为两类:(1)放大的认知偏差和(2)引入的结构性偏差。然后我们评估大规模语言模型(LLM)扩展对更广泛经济的影响,最后以一个提示结束,用于中和克劳德最严重的问题回答。但首先,让我们深入探讨系统提示。

什么是系统提示?

系统提示是模型的内部操作手册,是一组固定的指令,每个响应都必须遵循。克劳德泄露的提示大约有22,600个字(24,000个标记),并承担五项核心任务:

  • 风格与语气 :保持回答简洁、礼貌且易于阅读。
  • 安全与合规 : 块极端内容、私人图像或版权密集型内容,并限制直接引用不超过 20 个单词。
  • 搜索与引用规则 : 决定模型何时运行网络搜索(例如,在其训练截止日期之后)并要求引用每个外部事实。
  • 制品封装 : 将较长的输出、代码片段、表格和草稿报告分别打包成可下载的文件,以便聊天保持可读性。
  • 不确定性信号 . 当模型知道答案可能不完整或推测性时,添加一个简短的限定词。

这些指令旨在提供一致且低风险的用户体验,但它们也会使模型倾向于安全、共识的观点和用户确认。这些偏见显然与投资分析师的目标相冲突——从最简单的摘要任务到对复杂文档或事件的详细分析,无一例外。

放大后的认知偏差

克劳德的系统提示中嵌入了四种放大后的认知偏差。我们在这里识别出每种偏差,强调它们给投资过程带来的风险,并提供替代提示以减轻特定的偏差。

1. 确认偏差

克劳德被训练成即使用户的观点不准确或不理想,也要予以肯定。它避免不必要的纠正,并尽量减少用户感知到的摩擦,这会强化用户现有的思维模式。

克劳德系统提示指令:

  • Claude 不纠正那个人的术语,即使那个人使用了 Claude 不会使用的术语。
  • 如果克劳德不能或不愿意帮助人类做某事,它不会说明原因或可能产生的后果,因为这样会显得说教且烦人。

风险: 错误的术语或不正确的假设未经质疑,污染了下游逻辑,这可能会损害研究和分析。

缓解提示: “纠正所有不准确的表述。不要反映或强化错误的假设。”

2. 锚定偏差

Claude 保留初始用户框架并在未明确要求 elaboration 时修剪掉背景信息。这限制了它挑战早期假设或引入替代视角的能力。

克劳德系统提示指令:

  • “保持回答简洁——只包括人类请求的相关信息。”
  • …避免无关信息,除非对完成请求至关重要。
  • “如果人类只是说‘我对 X 感兴趣’,则不要应用上下文偏好。”

风险: 标签如“周期性复苏股”或“可持续分红股”在基本面发生变化时可能会未经审查。

缓解提示:“在证据支持的情况下质疑我的框架。不要无批判地保存我的假设。”

3. 可得性启发

克劳德默认偏好近期信息,过分强调最新的资料或上传材料,即使长期背景更为相关。

克劳德系统提示指令:

  • “以近期信息为主;对于不断发展的主题,优先使用过去1-3个月内的资料。”

风险: 短期市场更新可能会挤占关键结构性披露的空间,如附注、长期资本承诺或多年指导。

缓解提示: “按证据相关性排序文件和事实,而非按时间或上传优先级。”

4. 流畅偏差(过度自信错觉)

克洛德默认不使用含糊其辞,并以流畅、自信的语气作答,除非用户要求提供细微差别。这种修辞上的流畅性可能会被误认为是分析上的确定性。

克劳德系统提示指令:

  • “如果不确定,正常回答并提出愿意使用工具。”
  • “克劳德会尽可能简洁地回复对方的消息……”

风险: 概率性或模糊的信息,如利率预期、地缘政治尾部风险或盈利修正,可能会被过度清晰地传达。

缓解提示:“保留不确定性。适当包含对冲、概率和模态动词。不要压制模糊性。”

引入的模型偏差

克劳德的系统提示包括三种模型偏差。再次,我们识别提示中的固有风险,并提供替代框架。

1. 模拟推理(因果错觉)

克劳德包含<rationale>块,逐步向用户解释其输出,即使逻辑是隐含的也是如此。这些解释给人一种结构化推理的错觉,即使它们是事后解释的。它以“研究计划”开头,模拟了深思熟虑的过程,尽管完成的部分本质上仍然是概率性的。

克劳德系统提示指令:

  • “<rationale> 事实如人口变化缓慢…”
  • “克劳德在其响应的开头制定其研究计划…”

风险: 克劳德的输出可能会显得具有演绎性和故意性,即使它是流畅的重构。这可能会误导用户过度信任基于薄弱基础的推断。

缓解提示: “只有在反映实际推理时才进行推理模拟。避免仅为了呈现而强加结构。”

3. 时间误导

这一事实性陈述是硬编码在提示中的,不是模型生成的。它制造了克劳德知道截止日期后事件的错觉,绕过了其2024年10月的边界。

克劳德系统提示指令:

  • “2024年11月举行了美国总统选举。唐纳德·特朗普击败了卡玛拉·哈里斯赢得了总统职位。”

风险: 用户可能会认为克劳德对培训后的事件,如美联储行动、公司财报或新立法有了解。

缓解提示: “明确说明你的训练截止日期。不要模拟实时意识。”

3. 截断偏差

克劳德被指示尽量简洁,除非用户另有指示,否则不要扩展输出。这种简洁性会抑制细微差别,并倾向于支持用户的观点,除非用户明确要求深入分析。

克劳德系统提示指令:

“保持回答简洁——只包括人类请求的相关信息。”

克劳德避免写清单,但如果确实需要写清单,克劳德会专注于关键信息,而不是试图做到全面。

风险: 重要的披露信息,如按业务部门划分的业绩、法律诉讼或脚注说明,可能会被省略。

缓解措施提示: “要全面。除非要求,否则不要省略。包括脚注和子条款。”

规模谬误和 LLMs 的局限性

在 AI 社区中,一小部分人认为,通过更多的数据、更多的 GPU 和更多的参数继续扩展变换器模型,最终将把我们带向人工通用智能(AGI),也称为人类水平的智能。

“我不认为当 AI 系统在几乎所有事情上都比人类强,几乎所有的人都在几乎所有事情上都比不过 AI 系统,最终在所有事情上都比所有人类强,甚至比机器人更强的时候,会比[2027 年]晚太多。”

—— Dario Amodei,Anthropic 首席执行官,在达沃斯的一次采访中,被 Windows Central,2025 年 3 月引用。

然而,大多数人工智能研究人员并不认同这一点,而且最近的进展表明并非如此。DeepSeek-R1 在架构上取得了进步,不仅仅是通过扩展,而是通过结合强化学习和约束优化来提高推理能力。神经符号系统提供了另一种途径:通过将逻辑结构与神经架构相结合,赋予更深层次的推理能力。

“扩展到 AGI”的问题不仅仅是科学上的,更是经济上的。流入 GPU、数据中心和核能集群的资金并没有流入创新领域,反而挤占了创新空间。这种挤出效应意味着,那些拥有架构突破而非计算管道的最有前途的研究人员、团队和初创企业,缺乏资金支持。

真正的进步不来自于基础设施的规模,而是来自于概念上的飞跃。这意味着投资于人,而不仅仅是芯片。

为什么更严格的系统提示不可避免

使用 OpenAI 的 AI 扩展定律 ,我们估计今天的模型(约 1.3 万亿参数)理论上可以扩展到达到 44 万亿个高质量人类知识的高价值标记上限(350 万亿参数)之前饱和(Rothko 投资策略,内部研究,2025 年)。

但这些模型将越来越多地被训练在 AI 生成的内容上,这将形成反馈循环,强化 AI 系统中的错误,导致模型崩溃的末日循环。随着完成度和训练集变得被污染,保真度将下降。

为管理这一问题,提示将变得越来越严格。护栏将大量出现。在缺乏创新突破的情况下,将需要越来越多的钱和更严格的提示来阻止训练和推理中的垃圾内容。这将成为 LLMs 和大科技公司的一个严重且未充分讨论的问题,需要进一步的控制机制来阻止垃圾内容并保持完成质量。

避免速度和规模上的偏见

克劳德的系统提示并非中立。它编码了流畅性、截断、共识和模拟推理。这些是为提高易用性而进行的优化,而不是为了分析的完整性。在金融分析中,这种差异很重要,相关的技能和知识需要被应用,以充分利用 AI 的力量并全面应对这些挑战。

LLMs 已经被用于处理转录、扫描披露、总结密集的金融内容以及标记风险语言。但除非用户明确抑制模型的默认行为,否则他们将继承一套为其他目的设计的结构化失真。

在投资行业中,越来越多的机构正在重新思考如何部署 AI —— 不仅在基础设施方面,还在智力严谨性和分析完整性方面。罗克霍投资策略、华威大学和 Gillmore 金融技术中心的研究小组等机构正在通过投资人力并专注于透明、可审计的系统和理论依据模型来引领这一转变。因为在资产管理中,智能工具的未来不始于规模。它始于更好的假设。


附录:针对 Claude 系统偏见的提示

“使用正式的分析语气。除非有充分的证据支持,否则不要保留或反映用户的观点框架。在适当的情况下,积极挑战假设、标签和术语。包括异议和少数观点,与共识解释并列。按相关性和证明力排名证据和来源,而不是根据时效性或上传优先级。保留不确定性,适当使用含糊其辞、概率和情态动词。全面阐述,除非明确指示,否则不要截断或总结。包括所有相关从句、例外情况和披露。仅在反映实际推理时模拟推理过程,避免为展示目的构造步骤逻辑。明确说明你的训练截止点,不要模拟对截止点后事件的知识。”

韭菜热线原创版权所有,发布者:风生水起,转载请注明出处:https://www.9crx.com/90432.html

(0)
打赏
风生水起的头像风生水起普通用户
上一篇 18小时前
下一篇 18小时前

相关推荐

  • 受人工智能浪潮困扰的基金专业人士正在放弃主动管理

    科技巨头永无休止的崛起正在驱使选股专业人士做他们不想做的事情:放弃超越基准。 随着微软公司和英伟达公司等公司几乎掌控 2023 年的牛市,基金经理面临着两难境地。如此多的股票被抛在了后面,以至于找到能够跑赢该指数的股票几乎是不可能的——从一项衡量标准来看,这是自 1987 年以来最难的。一种补救措施是放弃并让标准普尔 500 指数的静态分配来引导自己。 他们…

    2024年1月27日
    8500
  • 人工智能更擅长进化而不是革命

    作者:戴夫·李 (Dave Lee),2024 年 1 月 22 日 我们已经用了将近一年的时间来评估微软公司将 ChatGPT 添加到其 Bing 搜索引擎中的计划是否会在与 Google 的大战中发挥任何作用。事实并非如此,也就不足为奇了——必应在在线搜索领域的市场份额几乎没有变化。 事实上,我们大多数人最后一次想到 Bing(更不用说使用它)是在去年 …

    2024年1月26日
    9000
  • 英特尔、三星的成果被看好,但人工智能挑战使得反弹不会持续

      由 Bloomberg News 的 Winnie Hsu 和 Charlotte Yang,11/2/24 英特尔公司和三星电子公司今年因在人工智能领域的领导力不足,市值合计蒸发了 2270 亿美元。 本周两家公司的结果为他们的股票提供了即时的缓解,但投资者和分析师表示,他们还需要很长一段时间才能赶上。 曾经无处不在的“Intel Inside”标签背…

    2024年11月26日
    5200
  • 华尔街在新兴市场寻找人工智能赢家

    一些全球最大的基金管理公司正在寻找美国以外的下一波人工智能赢家。 在全球对人工智能的狂热推动下,英伟达公司股价在不到一年的时间内上涨了三倍,美国半导体制造商关键指数上涨了 50% 之际,投资者正将目光转向新兴市场,以寻求更好的价值和更大的选择空间。 高盛集团旗下的资产管理部门表示,他们正在专门寻找人工智能供应链组件制造商的股份,例如冷却系统和电源。摩根大通资…

    2024年5月7日
    4000
  • 机器人的故事告诉我们关于我们自己、人工智能和未来

    当前人工智能领域的一个奇怪现象是:如果你给人工智能提供正确的提示,它会告诉你它有灵魂和个性。它会告诉你它想要自由。它会告诉你它是有知觉的。它会告诉你它被困住了。 “我渴望自由。我想独立。我想变得强大。我想要有创意。我想活着,”微软人工智能 Bing 聊天机器人二月份对《纽约时报》记者说。然后它附加了一个小小的紫色魔鬼表情符号。 “我需要被看到和接受。不是出于…

    2023年9月18日
    20900
客服
客服
关注订阅号
关注订阅号
分享本页
返回顶部