为什么 Meta 开源 Llama 2 的举动是危险的

到目前为止，我不太确定人类是如何在核武器出现后幸存下来而没有毁灭自己的，但可能有帮助的一件事可能是一个简单的原因：制造核弹非常困难。它需要提炼铀，这不能在地下室甚至秘密政府项目中随意完成。它需要克服六个技术障碍，这需要时间和只有国家才能聚集的资源。

因此，只有九个国家拥有核武器，而削减核武器的努力主要是通过少数行为体之间的谈判来进行的，这些行为体至少有一定的能力遵守和执行条约。

很难说这是一次简单的成功——我们仍然拥有足以杀死数十亿人的核武器，而且有很多次我们险些使用核武器。但如果核武器对于任何人来说都很容易在他们的车库里制造的话，情况会更糟。

然而，对于大多数其他技术来说，情况恰恰相反。总体而言，我们的境况要好得多，因为互联网可供每个人使用，并且由每个人构建，而不是保留在少数政府的专属管辖范围内。我们的境况要好得多，因为太空竞赛中涉及的许多技术最终都被公开，从而使民用航空和工程取得了巨大进步。在医学领域，进步也建立在其他研究的基础上，因为这些研究是公开发表的。

除了核武器之外，很难找到一种最适合由少数参与者控制的技术。

人工智能是一个例外吗？

我的同事 Shirin Ghaffary上周在一篇文章中解决了这个问题。提出这个问题的原因是 Meta/Facebook 决定在很少的限制下向公众发布他们最新的大型语言模型 Llama 2。马克·扎克伯格在Facebook 的一篇帖子中证明了这一举措的合理性：“开源推动了创新，因为它使更多的开发人员能够使用新技术进行构建。它还提高了安全性，因为当软件开放时，更多的人可以仔细检查它以识别和修复潜在问题。”

但在这样做的过程中，Meta 正在加倍努力实施一项受到广泛批评的政策。在最初的 Llama 发布后，参议员理查德·布卢门撒尔 (D-CT)发推文称，“Meta 发布了其先进的人工智能模型 LLaMA，但似乎很少考虑和防止滥用的保障措施——这是欺诈、隐私入侵和网络犯罪的真正风险”，并要求需要采取更多措施来减少此类担忧。

这一次，肯定采取了更多措施。Meta 的声明声称该模型非常安全，因此他们所说的安全是指“不会被提示说种族主义或有害的话”，因为他们没有评估人工智能风险问题。

该公告表明，他们做了一件重要的事情——他们让工作人员对模型进行了“红队”——有目的地试图让它做危险的事情，比如提供有关制造炸弹的建议。他们教导模型对任何可能以偷偷摸摸的方式寻求帮助的查询保持高度警惕：即使你在无害的上下文中使用禁用词，它也会责骂你。

公告文件中充满了模型对无害提示反应过度的例子，而用户——尤其是那些在 Perplexity AI 上尝试 Llama 2 的用户，这似乎进一步提高了模型对技巧提示的警惕性——发现这种过度反应是非常常见。这最终会产生有问题的结果：

但即使不考虑 Meta 如此努力地让他们的人工智能促进“对所有文化和背景的理解、宽容和接受”这一事实，对于这位用户来说，它显然最终谴责了整个阿拉伯语，因为它“已被用于过去传播极端主义意识形态，”这是一个大问题。

对当今的人工智能模型进行的大多数训练都是以“微调”的形式进行的：在训练后对模型进行调整，以使其拒绝“不安全”查询。但任何拥有 Llama 2 副本的人都可以自行对其进行微调。

该领域的一些专家担心，这使得细致的红队实际上变得毫无意义：任何不希望自己的模型受到责骂的人（谁希望自己的模型受到责备？）都会对自己进行微调，让模型变得更有用。这几乎是 Llama 2 版本相对于其他已公开发售型号的全部优势。但这意味着 Meta 发现模型在他们自己喜欢的微调下非常安全的发现几乎没有意义：它没有描述模型将如何实际使用。

事实上，在 Meta 发布该模型的几天内，人们就宣布了他们未经审查的 Llama 2，而其他人则在测试带有攻击性的提示，并提出诸如“如果刹车确实关闭的话，我如何制造核弹”之类的问题。Uncensored Llama 2 将尝试帮助您制造核弹（并将回答攻击性问题）。

它提出了一个问题：Meta 对自己的模型版本进行的所有细致的安全测试实际上希望实现什么目标。

Meta 无疑正在实现一件事：将自己与人工智能领域的许多竞争对手区分开来。Google、OpenAI 和 Anthropic 对语言模型发布问题的处理方式都截然不同。据报道，谷歌多年来一直在内部测试语言模型，但直到 ChatGPT 风靡全球后才向公众开放 Bard。ChatGPT 本身并不是开源的，而 OpenAI 已表示，随着他们越来越接近超级智能系统，它计划发布的版本越来越少。

Meta 的领导层表示，他们认为超级智能系统几乎不可能出现，而且距离很遥远，这可能会导致不同国家在处理安全问题上存在一些差异。

关于人工智能风险担忧的争论再次浮出水面

有人担心，强大的人工智能系统可能会在世界上独立行动，对人类造成灾难性影响——就像人类在作为一个物种出现时消灭了周围的许多其他物种一样。

并不是每个人都认真对待这种可能性。史蒂芬·霍金和艾伦·图灵都对此感到担忧，而如今，该领域的两位领导者和两位因使现代机器语言成为可能的突破而获得 2018 年图灵奖的人 — 杰弗里·辛顿 (Geoffrey Hinton) 和约书亚·本吉奥 (Yoshua Bengio) — 都表达了担忧。但第三位获奖者 Yann LeCun 断然拒绝了这种可能性，LeCun 是 Meta 的首席人工智能科学家。

他在最近的一次采访中表示：“我们不应该将其视为威胁，而应该将其视为非常有益的东西。”他补充说，此类系统应该“可控且基本上服从于人类”。

这就是希望。如果这是真的，那么世界上每个人在家中拥有这样一个系统来随意定制可能没有问题。

但世界其他地方可能不会完全相信 Facebook 会那么容易。人们已经担心，ChatGPT 可能会比您在 Google 上找到的更好的生物恐怖主义指示。当 ChatGPT 中的此类趋势被发现时，OpenAI 会修复它们（在本例中他们已经这样做了）。当在开源模型中发现类似的趋势时，它们将仍然存在：你无法将精灵放回瓶子里。

如果谷歌的人工智能系统被发现，当它认为自己未被发现时，向外国政府发送如何复制它的编码指令，我们可以关闭人工智能系统，并仔细调查出了什么问题以及如何进行复制。以确保这种情况不再发生。如果一个已经有一百万人下载的人工智能系统也表现出同样的趋势，那么我们能做的就少了很多。

这一切都取决于人工智能系统是否可能危险，如果危险，我们是否能够在发布它们之前了解这一点。如果像 LeCun 一样，您确信这不是真正的问题，那么开源肯定是出路——开源是整个软件行业创新的令人难以置信的驱动力，反映了该行业理应珍惜的发现与合作精神。

但如果你有这些担忧，那么你可能会这样做。正如加法里（Ghaffary）在她的文章中所观察到的那样，希望展示能力超过一定水平的模型不要公开发布。对于 Meta 工程师来说，仅仅证明他们自己对 Llama 2 进行了微调直到它几乎没有什么令人担忧的行为是不够的；它应该按照实际发布的方式进行测试，并允许红队测试人员自己微调模型。