我们应该如何看待大型语言模型 (LLM)？这实际上是一个价值十亿美元的问题。
本周，OpenAI 前员工 Leopold Aschenbrenner 在一篇分析文章中谈到了这个问题。他在文章中指出，我们可能只需几年时间就能实现基于大型语言模型的通用智能，这种智能可以成为“临时远程工作者”，完成人类远程工作者所做的任何任务。（他认为，我们需要继续推进并建立这种智能，以免中国率先实现这一目标。）
他的分析（很长但值得一读）很好地概括了对 ChatGPT 等大型语言模型的一种思路：它们是通用人工智能（AGI）的幼苗形式，并且随着我们进行越来越大的训练并更多地了解如何对它们进行微调和提示，它们臭名昭著的错误将在很大程度上消失。
这种观点有时被解释为“规模就是一切”，这意味着更多的训练数据和更多的计算能力。GPT-2 并不是很好，但更大的 GPT-3 好得多，更大的 GPT-4 更好，我们的默认预期应该是这种趋势将继续下去。有人抱怨大型语言模型在某些方面根本不够好吗？等我们有更大的语言模型再说吧。（披露：Vox Media 是与 OpenAI 签署合作协议的几家出版商之一。我们的报道在编辑上保持独立。）
对这一观点持怀疑态度的知名人士包括两位人工智能专家，他们的观点在其他方面很少达成一致：Facebook 的人工智能研究主管 Yann LeCun 和纽约大学教授、法学硕士质疑者 Gary Marcus。他们认为，法学硕士的一些缺陷（难以完成逻辑推理任务、容易产生“幻觉”）不会随着规模的扩大而消失。他们预计未来规模带来的收益会递减，并表示，我们可能无法通过加倍投入数十亿美元来实现完全通用的人工智能。
谁说得对？说实话，我认为双方都过于自信了。
规模确实让 LLM 在广泛的认知任务上表现得更好，现在宣称这一趋势会突然停止似乎为时过早，有时甚至故意无知。我从事人工智能报道已有六年了，我不断听到怀疑论者宣称，有些简单的任务 LLM 无法完成，也永远无法完成，因为这需要“真正的智能”。就像钟表一样，几年后（有时甚至几个月后），有人想出了如何让 LLM 精确地完成这项任务。
我以前经常听专家说，编程是深度学习永远无法用到的东西，而现在它却是法学硕士最强大的方面之一。当我看到有人自信地断言法学硕士无法完成某些复杂的推理任务时，我会把这个说法记下来。很多时候，结果马上就出来了，原来 GPT-4 或其顶级竞争对手可以做到。
我倾向于认为怀疑论者是经过深思熟虑的，他们的批评也是合理的，但他们明显混杂的过往记录让我认为他们应该对自己的怀疑论保持更多的怀疑。
我们不知道规模能带我们走多远
对于那些认为我们很可能在几年内拥有通用人工智能的人，我的直觉是，他们也夸大了他们的观点。阿申布伦纳的论点有以下说明性图表：
我不想完全诋毁“图表上的直线”预测未来的方法；至少，“当前趋势继续”始终是一种值得考虑的可能性。但我确实想指出（其他批评者也指出了这一点），这里的右侧轴是……完全是虚构的。
GPT-2 在任何方面都与人类学龄前儿童完全不同。GPT-3 在大多数学术任务上都比小学生好得多，当然，在通过几次接触学习一项新技能方面，GPT-3 比小学生差得多。法学硕士在与我们交谈和互动时有时看起来很像人类，但从根本上讲，他们并不是很像人类；他们有不同的优势和不同的劣势，很难通过与人类的直接比较来捕捉他们的能力。
此外，我们真的不知道“自动化 AI 研究员 / 工程师”在这张图上属于什么位置。它需要的进步和从 GPT-3 到 GPT-4 一样多吗？是两倍吗？它需要的进步是否和从 GPT-3 到 GPT-4 时没有特别发生的进步一样多？为什么把它放在比 GPT-4 高出六个数量级而不是五个、七个或十个数量级的位置？
人工智能安全研究员兼倡导者 Eliezer Yudkowsky 回应Aschenbrenner：“到 2027 年实现 AGI 是可行的……因为我们太无知，无法排除它……因为我们不知道该图的 y 轴上它与人类水平的研究还有多远的距离。”
我对这种立场非常赞同。由于我们对大规模 LLM 能够解决哪些问题知之甚少，因此在看到它们之前，我们无法自信地宣布它们能够做什么的严格限制。但这也意味着我们无法自信地宣布它们将拥有的能力。
预测很难——尤其是关于未来的预测
预测尚不存在的技术的能力是极其困难的。过去几年里，大多数从事这项工作的人都遭遇了挫败。因此，我最尊重的研究人员和思想家往往会强调各种可能性。
也许，随着我们继续扩展模型，我们在 GPT-3 和 GPT-4 之间看到的一般推理的巨大改进将会持续下去。也许不会，但我们仍将看到人工智能模型有效能力的巨大改进，因为我们使用它们的方式有所改进：找出管理幻觉的系统，交叉检查模型结果，以及更好地调整模型以给我们提供有用的答案。
也许我们会构建以 LLM 为组成部分的通用智能系统。又或许 OpenAI 备受期待的 GPT-5 会让人大失所望，从而打消人工智能的炒作泡沫，让研究人员去弄清楚在短期内没有巨大改进的情况下，可以构建哪些具有商业价值的系统。
至关重要的是，你不需要相信 AGI 很可能在 2027 年到来，但相信这种可能性及其相关的政策影响值得认真对待。我认为，阿申布伦纳概述的场景的大致轮廓——一家人工智能公司开发出一种人工智能系统，可用于积极地进一步自动化内部人工智能研究，从而导致一个世界，在这个世界中，少数人可以操纵大量人工智能助手和仆人，以无法进行太多监督的速度进行改变世界的项目——是一种真实而可怕的可能性。许多人正在花费数百亿美元尽快实现这个世界，他们中的许多人认为它就在不远处。
即使我们认为那些在人工智能领域处于领先地位的人过于自信，这也值得进行实质性的对话和实质性的政策回应。马库斯在谈到阿申布伦纳时写道——我同意——“如果你读过他的手稿，请读一读他对我们的准备不足的担忧，而不是他耸人听闻的时间表。问题是，无论我们有多少时间，我们都应该担心。”
但如果我们坦诚地面对我们所知道的甚少，并将这种困惑作为动力，更好地衡量和预测我们在人工智能方面所关心的问题，那么对话将会更顺畅，政策回应也会更适应情况。
韭菜热线原创版权所有，发布者：风生水起，转载请注明出处：https://www.9crx.com/84698.html
