新闻业最困难的部分之一是在报道当前看似重要的故事和报道您知道未来真正重要的故事之间取得平衡。这很困难，因为现在发生的最重要的事情往往很无聊或难以解释。
人工智能就是此类挑战的一个很好的例子。正在进行的人工智能革命发展得如此之快，即使你很努力也很难跟上。例如， Chat GPT-4于今年 3 月发布，几乎让所有使用过它的人感到震惊。如果这个最新的大型语言模型是即将发生的事情的一个标志，那么很容易想象它可能改变世界的所有方式 – 然后还有我们无法想象的它可能改变世界的所有方式。
那么，关于人工智能，我们现在需要了解什么呢？我们应该问哪些问题？我们应该如何为即将发生的事情做好准备？
为了得到一些答案，我邀请斯图尔特·拉塞尔来到灰色地带。拉塞尔是加州大学伯克利分校计算机科学教授，也是《人类兼容：人工智能和控制问题》一书的作者。他是三月份一封公开信的签署人之一，公开信呼吁暂停人工智能培训六个月。我们讨论了人工智能的风险和潜在好处，以及他是否相信我们可以构建符合我们价值观和利益的人工智能系统。
以下是我们谈话的摘录，为长度和清晰度进行了编辑。
肖恩·伊林
当你思考人工智能目前的状况时，你觉得最紧迫的是什么？什么让你兴奋？你怕什么？
斯图尔特·拉塞尔
我认为重要的是要理解，几乎没有人说人工智能目前的状况是我们必须担心人工智能系统接管世界，如果你想这么说的话。它们仍然表现出许多局限性，至少最新一代的大型语言模型（例如 ChatGPT）没有表现出接管世界所需的决策能力和规划能力。
例如，您可以尝试与他们下棋。他们非常绝望。他们假装走好几步，然后他们就会下出完全非法的棋步，因为他们实际上没有正确学习规则。在我们达到完全可与人类思维相媲美或更好的系统之前，我们仍然需要取得很多进展。
人们现在对这项技术所关心的事情[是]我们已经拥有的事情。虚假信息可能是第一位的。事实上，这些系统可以被引导生成高度有针对性的、个性化的宣传，根据系统可以找到的有关该人的一切信息来说服该人。它可以做到这一点。不仅仅是在一封电子邮件或博客文章或其他任何内容中，而是可以在几个月内做到这一点。人们非常担心民族国家、犯罪分子、无良政客会用他们的武器来制造对手的深层次造假。
这些都是非常真实的，我们开始看到它们已经发生以及许多其他严重的问题。最近出现的一种现象是诽谤。系统编造犯罪，不是被指示这样做，而是因为它们产生了幻觉。他们说的话毫无事实根据，但却编造了针对真实个人的诽谤性言论。已经发生了几起诉讼。
肖恩·伊林
您是否愿意将 GPT-4 之类的东西称为智能？或者这个词不太正确？
斯图尔特·拉塞尔
对于正常的谈话来说，表现出智力的元素是理所当然的事情。事实上，在微软发表的一篇论文中，一群专家在 GPT-4 发布之前花了几个月的时间研究它，试图了解它的功能。他们发表的论文被称为“通用人工智能的火花”。这是一个相当大胆的主张，因为通用人工智能意味着在各个方面都超越人类能力的人工智能，这种人工智能确实会统治世界。
根据他们的说法，我们正在创造一种能够统治世界的人工智能。我们完全不知道它是如何运作的，但我们正在向数亿人发布它。我们给它信用卡、银行账户、社交媒体账户。我们正在尽一切努力确保它能够占领世界。这应该给人们一些思考。
让我举一个我的一位同事发给我的例子。他正在使用 ChatGPT-3.5，他问它：“大象和猫哪个更大？” 它说：“大象比猫大。” 你说：“大象和猫哪个不比另一个大？” 它说：“大象和猫都不比对方大。” 当你看到第二个答案时，你会意识到，“嗯，它不能回答关于一些有大象和小猫的内部模型的问题”，但这意味着它没有回答第一个问题相对于有大象和小猫的内部模型。它并没有真正回答任何一个问题，就像我们思考回答问题一样，我们询问世界的内部模型。
如果我说：“你的车在哪里？” 你询问你的世界的内部模型。你说：“在马路对面的停车场。” 这就是我们回答问题的意思。很明显，从真正意义上来说，这些系统并没有回答问题。他们似乎没有建立一个连贯的内部世界模型。
肖恩·伊林
你非常关注“协调问题”或“控制问题”，以及人工智能是否可能发展自己的目标，与我们编程的目标分开的问题。您在这方面有多担心？
斯图尔特·拉塞尔
对齐问题比您描述的问题要简单。您认为一致性问题是关于系统制定自己的目标，这些目标与我们编程的目标不同。实际上，最初的对齐问题是关于系统追求我们编程的目标，但问题是我们不知道如何编程正确的目标。
我们称之为迈达斯国王问题。迈达斯国王给众神设定了一个目标，就是他所触碰的一切都变成金子，而众神正是给了他这个目标。他们实现了他的目标，然后他的食物、他的饮料和他的家人都变成了金子，他死于痛苦和饥饿。有很多传说，很多文化都有与此非常相似的故事，当你得到你所要求的东西时，你会后悔，因为你没有要求正确的东西。
人们观察到，当你拥有一个足够强大的人工智能系统时，你甚至可以给它一个听起来无害的目标，比如“你能给我拿杯咖啡吗？” 当一台机器足够智能并且它有一个像“去取一杯咖啡”这样的目标时，不需要天才就能意识到，如果有人关掉你的电源，你就不会成功去取咖啡。作为此原始目标的逻辑子目标，您现在的目标是“防止自己被关闭”，并可能采取其他先发制人的步骤来避免人类干扰实现此目标。
肖恩·伊林
你可以很有趣地想象所有可能出错的方式——
斯图尔特·拉塞尔
是的。有许多科幻故事正是这样做的。有时在文献中你会看到“工具性目标”这个短语。这些目标比如自我保护，比如获得更多的环境权力、获得金钱、获得更多的计算资源，这样你就可以更好地解决你所被赋予的目标。这些工具性目标是从原始目标自动衍生出来的。
对于一个人来说，如果我说“去拿一杯咖啡”，并不意味着“去拿一杯咖啡”现在是你应该关心的唯一目标，你一生的使命就是去拿那杯咖啡。当我们对人类说这句话时，这并不是我们的意思，但这就是我们几十年来构建人工智能系统的方式。我们输入的目标就是系统的目标，而不是其他的。这从根本上来说是一个错误。我们不能那样构建系统，因为我们无法完全正确地指定人类关心的所有事情，因此系统的行为实际上是我们真正希望发生的。
我的书是关于构建人工智能系统的不同方式，以便他们了解人类想要什么的一些事情，但他们知道还有很多其他他们不理解和不确定的事情。这实际上会导致系统表现得更加谨慎和有用。
你提到的另一件事是，这些机器可能会制定自己的目标——显然那会更糟糕。我们给他们指定的目标已经够糟糕的了。如果他们能够制定自己的目标，那么就没有理由认为这些目标会与我们的目标保持一致。
肖恩·伊林
我经常听到人们说我们目前还只是在谈论狭隘的人工智能。我们不是在谈论你刚才提到的通用人工智能，它实际上是自学的，可以发展自己的目标，这才是我们真正需要担心的事情。但我不知道，这对我来说似乎是错误的，或者它似乎误解了人工智能的进步是如何运作的。
但抛开这一点，我们并不需要某种 AGI 超级智能来破坏我们的世界。正如你几分钟前所说，当我开始想象人工智能仅仅通过错误信息的创建和传播而可能造成的所有破坏时，我的头就爆炸了。深度造假技术已经存在，但感觉还不够普遍，尚未成为主要问题。但在我们的社会中，事实与虚构之间的界限已经非常模糊，而我可以想象的未来的后真相世界比我们今天的情况要糟糕得多。
您认为我们已经准备好了吗？
斯图尔特·拉塞尔
不，我认为如果不加以监管，我们将遭受巨大的痛苦。正如你所说，就静态图像而言，我们已经处于与现实无法区分的地步，并且它们与大型语言模型耦合在一起。换句话说，你可以要求语言模型为你提供任何你想要的图像，它就会这么做。
DALL-E 和这些其他图像生成器与语言模型耦合。你已经可以说，“给我一段 22 秒的视频，展示这样那样的内容”，它就会做到。现在还不太好，但三年前，脸部生成也不太好。耳朵经常会出现一些奇怪的东西。或者就像同一对耳环一遍又一遍地出现一样。只是小故障。但这些都已经解决了，现在已经非常完美了。
视频很快就会出现这种情况，即使还没有在实验室中实现。你可以说，“我需要一段唐纳德·特朗普从黑手党手中接过装满现金的手提箱的视频”，它就会为你制作出来。任何人都很难证明这不是真的。我们确实需要监管。就像我们对假币有监管一样。例如，我们现在可以生产假币，对于非专业店主来说，这些假币与真币无法区分。
因此，我们对造假行为制定了非常严格的法规和极长的监禁，并且围绕设计采取了很多安全措施。这种认为数字技术完全安全并且在任何情况下都应该不受监管的想法已经非常过时了。人们提议的两件事是，第一，人工智能生成的内容的所有输出都应该被标记为不可磨灭的。有一些称为水印的方法，适用于图像、声音和视频，它们以加密方式编码到内容中，并且实际上没有办法将其提取出来。
您可以认出这是由某个模型在某个日期生成的。然后，您还希望平台、社交媒体平台必须让用户绝对清楚这一点。例如，他们可以给你一个过滤器，说：“我不想看到人工生成的内容。时期。” 或者，如果您确实看到它，它周围应该有一个大红色框。也许是红色滤镜，这样它看起来就不像普通的自然视频。
然后，您还希望有办法为真实视频添加水印。当我有一台摄像机并且身处现实世界时，它会产生不可磨灭的加密安全时间戳和地理编码以及所有其他内容，因此这是全球公认的。这样我们就知道这是真实的视频。
这两件事结合在一起将会有很长的路要走。此外，媒体平台的监管对于确保我们的安全大有帮助。这会发生吗？我不知道。昨天《纽约时报》上一篇有趣的文章说，“平均而言，监管需要[几十年]才能赶上技术的发展。”
肖恩·伊林
很多关于人工智能的对话似乎都在暗示，我们实际上有能力控制比我们能力强得多的东西。但我在自然或历史上看不到任何理由相信情况确实如此——
斯图尔特·拉塞尔
据我所知，历史上没有任何例子，自然界中也没有任何例子表明这种情况发生在哪里。但实际上，自然界中确实存在一些奇怪的事情。有些真菌通过进入动物的神经系统并导致它们表现出奇怪的方式来控制动物的行为。比如让老鼠不怕猫，让老鼠被吃掉，然后真菌就进入猫的大脑。像这样复杂的生命周期故事。
存在这些奇怪的例外，但基本上我们没有一个很好的模型来说明它是如何工作的。我的想法是，如果我回到一开始说的问题，“我们如何永远保持对比我们更强大的系统的权力？” 这听起来相当无望。相反，如果你说：“什么样的数学问题是无论人工智能系统解决得多么好，我们都保证对结果感到满意？” 这听起来可能更有可能。
我们可以让人工智能系统变得像你想要的那样智能，但它的本质设计是为了解决某种类型的问题。如果做得好，我们会对结果感到满意。正如你所说，我思考这个问题的方式不是三个定律，而是实际上两个定律。第一，人工智能系统的唯一目标是促进人类的利益。第二个原则是它知道它不知道这些利益是什么。
肖恩·伊林
人工智能创新何时成为人类历史上最重要的事件？
斯图尔特·拉塞尔
好问题。我认为当我们拥有类似 AGI 的东西时肯定会发生。AGI是指在所有相关维度上匹配或超过人类能力的人工智能系统，但由于机器在速度、内存、通信、带宽、摄入带宽方面具有巨大优势，毫无疑问它们很快就会远远超过人类的能力。
在我看来，这将是人类历史上最重大的事件，因为从某种意义上说，它将基本上转变为完全不同的文明基础。我们的文明是建立在我们的智慧之上的，但现在这已不再是事实。如果我们不弄清楚如何控制这样一个系统，这也可能是文明的终结。
韭菜热线原创版权所有，发布者：风生水起，转载请注明出处：https://www.9crx.com/76552.html
