针对人工智能风险的“曼哈顿计划”是个坏主意

最近，许多病毒故事描述了一场空军模拟，其中一架自主无人机将其操作员识别为执行任务的障碍，然后试图消灭该操作员。这个故事讲述了知名人士一直在敲响警钟的一切：目标错位、圈外的人类，以及最终的杀手机器人。唯一的问题？“模拟”从未发生过——讲述这个故事的空军官员后来说，这只是一个“思想练习”，而不是实际的模拟。

在兴趣、无知和机会主义的推动下，围绕人工智能的耸人听闻的叙事激增，有可能破坏有关人工智能治理和负责任实施的重要讨论。对人工智能故事的需求引发了一场错误信息的完美风暴，自诩为专家的人兜售夸张和捏造的内容，从而延续了草率的思维和有缺陷的隐喻。关于人工智能的小报式报道只会进一步煽动歇斯底里的火焰。

这些类型的常见夸大最终会损害旨在解决某些人工智能技术带来的直接风险和潜在灾难性威胁的有效决策。例如，我们中的一个人能够欺骗ChatGPT 给出关于如何用化肥和柴油燃料制造炸药的精确说明，以及如何使用放射性材料将这种组合改编成肮脏的炸弹。

如果机器学习仅仅是一种学术好奇心，我们可以对此不屑一顾。但随着它的潜在应用扩展到政府、教育、医学和国防，我们所有人都必须抵制炒作驱动的叙事，并支持清醒的审查。为了负责任地利用人工智能的力量，我们必须努力制定细致入微的法规，抵制可能扼杀我们努力释放的潜力的简单化解决方案。

但我们经常看到的是一场无热量的媒体恐慌，知名人士——包括我们深感钦佩的科学家和专家——不断出现在我们的推送警报中，因为他们模糊地把人工智能比作核武器，或者将人工智能与流行病的未来风险相提并论。 。即使他们的担忧在中长期来看是准确的，但为了谨慎的风险管理而沉迷于新闻周期很快就会适得其反。

人工智能和核武器不一样

从 ChatGPT 到日益真实的人工智能生成图像的激增，毫无疑问机器学习正在快速发展。然而，人们常常对到底发生了什么缺乏了解。这种强烈的兴趣和模糊的理解的奇怪结合引发了一系列喋喋不休的标题诱饵，其中充满了混乱的类比。以人工智能与核武器的普遍比较为例，这种比喻继续席卷媒体和国会。

虽然人工智能和核武器都能够带来相应的变化，但它们仍然存在根本区别。核武器是为大规模破坏而开发的一类特定技术，尽管冷战时期曾有一些不幸且短暂的尝试使用核武器进行和平建设，但它们除了造成（或威胁造成）之外没有任何用处。 ）破坏。此外，核武器的任何潜在使用完全掌握在民族国家手中。相比之下，人工智能涵盖了从社交媒体算法到国家安全再到先进医疗诊断的广阔领域。政府和公民都可以相对轻松地使用它。

因此，这两种技术的监管方法采取了截然不同的形式。从广义上讲，减少核风险的框架有两种截然不同且常常相互竞争的风格：追求完全消除和追求渐进监管。前者的最佳例证是《禁止核武器条约》，该条约于 2021 年生效，根据国际法有效禁止了核武器。尽管短期内不太可能在裁军方面取得切实进展——主要是因为目前包括美国、俄罗斯或中国在内的核大国都没有签署该条约——但该条约构成了大规模禁止特定存在主义武器的一个合理的用例。技术。

相比之下，后一种核监管方法的例子是《新削减战略武器条约》（美俄最后一项双边核军备控制协议），该协议限制了双方可以部署的弹头数量，但这样做铭记并验证了两国继续拥有核弹头的权利核武器。

不幸的是，人工智能和核武器的结合促使一些倡导者提出，这两种方法都可能适用于人工智能的监管；然而，只有后一种方法才能干净利落地实现。鉴于人工智能无处不在、应用范围广泛，其监管必须聚焦于应用这种技术，而不是大规模禁止。试图不加区别地监管人工智能类似于监管核裂变概念本身。而且，与大多数工具一样，人工智能最初受到开发人员和用户强加的道德框架和目标的约束（尽管追求不一致的目标可能会导致偏离人类预期的目标）：技术本质上既不是善也不是恶；相比之下，哲学家、伦理学家，甚至教皇都认为，对于核武器不一定有同样的说法，因为仅仅拥有核武器就构成了杀死数百万人的固有威胁。

与大规模禁令相反，过去几十年来最切实的降低核武器风险的努力是通过围绕核试验、扩散和出口管制来之不易的谈判和国际协议实现的。为此，如果我们从数十年的核武器控制中吸取经验教训，那么透明度、细微差别和积极对话对于有意义地降低风险来说应该是最重要的。

其他人呼吁人们关注潜在的灭绝级别风险，要求像核武器或流行病带来的风险一样认真对待这些风险。例如，OpenAI 首席执行官 Sam Altman 与谷歌DeepMind 和 Anthropic的首席执行官同事以及几位著名的人工智能研究人员最近签署了一封公开信，警告称“减轻人工智能灭绝的风险应该与其他社会规模的风险一起成为全球优先事项”例如流行病和核战争。”

虽然重要的是不要完全忽视那些真正担心灾难性风险的人，但在每次对话中利用如此耸人听闻的主张会分散人们对围绕人工智能治理制定明智政策所必需的基础对话的注意力。我们可能会遇到围绕人工智能的真正灾难性风险：流氓行为者使用大型人工智能模型来破坏关键基础设施周围的网络安全；政党大规模利用虚假信息破坏脆弱的民主政府的稳定；国内恐怖分子利用这些模型学习如何制造自制武器；独裁政权利用它们来监视人民或建立反乌托邦的社会信用体系等。

但通过将人工智能标记为“灭绝级”威胁，围绕此类风险的讨论陷入了前所未有的危言耸听之中，而不是专注于解决这些更迫在眉睫且更有可能发生的挑战。

我们真的需要——或者想要——一个确保人工智能安全的“曼哈顿项目”吗？

这些关乎生存的担忧引发了人们的 呼吁，要求采取类似曼哈顿计划的行动来解决“协调问题”，即担心强大的人工智能模型可能不会按照我们要求的方式行事；或者解决机械可解释性，即理解神经网络中每个神经元功能的能力。

“X 的曼哈顿计划”是美国政治中很少值得大肆宣传的陈词滥调之一。人工智能也不例外。许多人呼吁针对协调问题造成的潜在生存风险开展大规模政府研究项目。此类项目需要大量投资，但无法提供具体的解决方案，并且存在将资源从更紧迫的问题上转移的风险。

此外，“曼哈顿计划”之类的方法对于我们让人工智能更安全的实际需要来说是完全不恰当的类比。正如历史学家亚历克斯·韦勒斯坦（Alex Wellerstein）所写，曼哈顿计划是在几乎完全保密的情况下几乎零外部监督的情况下进行的，因此只有少数人清楚地了解目标，而成千上万的人实际上在做实践工作甚至不知道他们在建造什么。虽然曼哈顿计划最终实现了其目标，但事后看来却掩盖了这样一个事实：该项目本身就是一场巨大的金融和技术赌博，其深远的影响是在开始时无法预见的。

此外，虽然曼哈顿计划的最终目标相对单一——设计和制造原子弹，但人工智能安全包含​​许多含糊之处，从“机械可解释性”到“价值一致性”等概念的含义。对这些术语的透彻理解需要学术界的探索能力，而不是一个以开发为导向的大型项目。

然而，类似曼哈顿计划的“人工智能安全”方法的另一个问题是，一万名研究人员对于它的含义以及如何实现它有一万种不同的想法。中央政府支持项目的提案低估了人工智能研究人员意见的多样性。对于“可解释性”的确切定义或如何实现它，没有一刀切的答案；讨论需要根植于从伦理学家、工程师到政策制定者本身的不同观点的仔细考虑。充满官僚主义的大型项目根本无法提供克服当前理论挑战所需的探索自由。

虽然将资金投入政府支持的研究项目在理论上似乎是有利的，但真正的进展需要细微差别：学术机构在探索和迭代新概念、微调定义以及允许项目有机发展方面拥有丰富的专业知识。鉴于对于此类人工智能安全项目的最终目标应该是什么尚未达成共识，这种探索模式尤其合适；因此，将资金集中到自上而下、目标单一的举措上似乎是不相称的，甚至是完全有害的。

前进的道路

普遍存在的危言耸听情绪无意中转移了人​​们对增强我们负责任的技术治理能力的努力的注意力。与终结者那样的反乌托邦噩梦不同，更明智的方法是优先创建严格的风险管理框架和道德准则，促进透明运营，并在人工智能应用程序中加强问责制。一些公开信提出了真正的担忧，但语言过于戏剧化，从而抑制了这一过程中的创新。

承认这些问题，同时避免猜测，将促进公众对话中对人工智能更准确的理解。但它不会产生点击、点赞和转发。

对于人工智能的负责任治理已经提出了各种建议：建立更强有力的风险管理框架和责任制度；实施出口管制；增加对标准制定举措的投资；以及在政府内部部署熟练人才等。

在这些建议的基础上，还有几项额外措施可以有效加强人工智能治理，应对新出现的风险。

首先，政府必须利用现有法律（例如管理数据隐私和歧视的法律）来限制应用程序中的滥用行为。然后，它应该建立一个全面的“计算治理”框架，以规范对开发 GPT-4 等强大模型所需的基础设施的访问，尽管平衡该框架与开源开发的需求很重要。

其次，最重要的是我们要落实人工智能研究的保留性和可重复性要求。通过这样做，研究人员和技术用户不仅能够在学术背景下重现研究结果，还可以在因人工智能系统的滥用或疏忽应用而引起的诉讼中提供证据。

第三，解决数据隐私改革至关重要。这涉及更新现有的数据保护法规并采取新措施来保护用户隐私，同时确保负责任的人工智能开发和部署。此类改革必须在维护数据安全、尊重个人隐私权和促进创新之间取得平衡。

第四，美国国家科学基金会（NSF）的资金分配应该发生战略性转变，转向负责任的人工智能研究。目前，资源主要用于增强能力——如果我们扭转这种投资模式并优先考虑与安全相关的举措，从而带来更可持续的创新并减少意外后果，结果会怎样？

最后但并非最不重要的一点是，美国必须实现移民制度现代化，以吸引和留住顶尖人工智能人才。中国明确表示希望到 2030 年成为人工智能领域的世界领导者。有了这里最优秀的人工智能人才，我们将能够负责任地设计人工智能并制定道路规则。

制定有效的政策措施还取决于全球学术界和工业界合作伙伴之间的强有力合作。通过建立新的框架来促进这些合作中的问责制和透明度，我们可以最大限度地降低风险，同时积极解决出现的问题。

通过重新聚焦对话的核心，更好地平衡关键考虑因素和对未探索领域取得进展的渴望，我们可能会为产生影响的实际政策奠定基础。我们应该优先考虑针对特定应用的有针对性的监管——认识到每个领域都有自己的一系列道德困境和政策挑战。

同时，在避免耸人听闻的言论的同时，我们也不能忽视对对齐问题的合理担忧。尽管可能没有立即可用的政策解决方案来解决这一问题，但政府在牵头研究项目方面仍然可以发挥关键作用，这些项目旨在更好地了解人工智能集成增长所涉及的长期风险。

我们的组织——美国科学家联合会——是在 75 多年前由许多制造世界上第一批原子武器的科学家创立的。在广岛和长崎遭受毁灭性爆炸之后，他们创建了一个组织，致力于利用科学技术造福人类并最大限度地减少全球灾难性威胁的风险。这些人明白，真正的风险降低最好是通过基于事实和清晰分析的协作决策来实现，而不是哗众取宠。

通过承认人工智能是一种不断发展的工具，充满了道德考虑，对于自上而下、一刀切的解决方案来说过于复杂，我们可以为可持续进步制定更稳健的路线。为此，激发以负责任的治理和道德为重点的建设性对话，而不是迷恋反乌托邦猜想，为利用人工智能作为以合理原则和共同人类价值观为指导的变革引擎的巨大潜力提供了必要的基础。

Divyansh Kaushik 是美国科学家联合会新兴技术和国家安全副主任，拥有卡内基梅隆大学机器学习博士学位。

马特·科达 (Matt Korda)是美国科学家联合会核信息项目的高级研究员和项目经理，他与人合着了《核笔记本》——对全球核力量和趋势的权威开源估计。