为什么硅谷的人工智能预言感觉像是重新包装的宗教

假设我告诉你，十年后，你所知道的世界将会终结。你将生活在一个天堂里。你不会生病，不会衰老，也不会死亡。永生将属于你！更好的是，你的思想将幸福地摆脱不确定性——你将获得完美的知识。哦，你将不再被困在地球上。相反，你可以生活在天堂。

如果我告诉你这一切，你会认为我是宗教传教士还是人工智能研究员？

任何一个都是一个相当可靠的猜测。

你越听硅谷关于人工智能的讨论，你就越能听到宗教的回声。这是因为建造超级智能机器的兴奋感很大程度上可以归结为重复使用的宗教思想。大多数构建人工智能的世俗技术专家并没有认识到这一点。

这些技术专家建议通过将我们的思想上传到云端来欺骗死亡，这样我们就可以永远以数字方式生活。他们将人工智能视为一种决策代理，可以用数学确定性判断什么是最佳的，什么不是。他们设想通用人工智能（AGI）——一种可以在许多领域与人类解决问题的能力相匹配的假设系统——如果进展顺利，就可以保证人类的救赎，即使进展不好，也意味着厄运。

这些愿景几乎与基督教末世论的愿景相同，基督教末世论是处理“末日”或人类最终命运的神学分支。

基督教末世论告诉我们，我们都在走向“最后四件事”：死亡、审判、天堂或地狱。尽管迄今为止所有活着的人都已经死了，但在基督第二次降临后，我们将复活，并找到我们将永远生活在哪里。我们的灵魂将面临最后的审判，上帝的照顾，完美的决策者。如果进展顺利，这将保证我们天堂，但如果进展糟糕，我们就会地狱。

五年前，当我开始参加硅谷的会议并第一次开始注意到宗教谈话和人工智能谈话之间的相似之处时，我认为有一个简单的心理学解释。两者都是对人类核心焦虑的回应：我们的死亡；判断我们做对还是错的困难；我们生命的意义和在这个宇宙或下一个宇宙中的最终位置是不可知的。宗教思想家和人工智能思想家只是偶然发现了困扰我们所有人的问题的类似答案。

所以我很惊讶地发现这种联系更加深入。

曼哈顿学院宗教研究教授、《人工智能启示录》一书的作者罗伯特·杰拉奇 ( Robert Geraci)表示：“宗教与技术的交织已有数百年历史，尽管有人会告诉你，科学是价值中立的，并且与宗教等事物无关。” 。“这根本不是真的。这从来都不是真的。”

事实上，追踪宗教思想影响的历史学家认为，我们可以从中世纪的基督教神学家到文艺复兴时期的经验主义之父，再到未来学家雷·库兹韦尔，再到他在硅谷影响的科技巨头。

偶尔，那里的人仍然隐约感觉到其中的相似之处。人工智能安全公司 Anthropic 的联合创始人杰克·克拉克 (Jack Clark) 今年 3 月在 Twitter 上沉思道：“有时候，我认为对通用人工智能 (AGI) 的狂热热情大多源于在世俗文化中长大的人们的宗教冲动。”

不过，大多数人物都将 AGI 视为一种技术末世论——从 ChatGPT 制造商 OpenAI 的首席执行官萨姆·奥尔特曼 (Sam Altman) 到想要将大脑与计算机连接起来的埃隆·马斯克 (Elon Musk)——都用世俗语言表达了他们的想法。他们要么没有意识到，要么不愿意承认，他们所推销的愿景的力量很大程度上来自于它融入了古老的宗教观念。

但重要的是要知道这些想法从何而来。并不是因为“宗教”在某种程度上带有贬义；而是因为“宗教”一词带有贬义。仅仅因为想法是宗教性的并不意味着它们有问题（事实往往相反）。相反，我们应该了解这些思想的历史——比如，虚拟来世作为一种救赎模式，或者道德进步被理解为技术进步——这样我们就可以看到它们并不是一成不变或不可避免的；相反，它们并不是一成不变的。某些人在某些时候想出它们来达到某些目的，但是如果我们想要的话，还有其他的想法。我们不必陷入单一故事的危险之中。

伦敦玛丽女王大学研究军事人工智能伦理的政治理论家埃尔克·施瓦茨 ( Elke Schwarz)表示：“我们必须谨慎对待我们所相信的叙述。” “每当我们谈论宗教事物时，都会涉及到一些神圣的东西。拥有神圣的东西可能会造成伤害，因为如果某样东西是神圣的，就值得为之做最坏的事情。”

人工智能的理念一直带有浓厚的宗教色彩

在塑造了西方的亚伯拉罕宗教中，一切都归咎于耻辱。

还记得创世记中发生的事情吗？当亚当和夏娃吃了知识树上的果子时，上帝将他们逐出伊甸园，并谴责他们遭受血肉生物的所有侮辱：辛劳和痛苦，出生和死亡。人类在失宠之后就不再一样了。在犯罪之前，我们是按照上帝形象创造的完美生物；现在我们都是可怜的肉袋。

但在中世纪，基督教思想家提出了一种激进的想法，正如历史学家大卫·诺布尔在他的《技术宗教》一书中解释的那样。如果科技可以帮助我们将人类恢复到亚当堕落前的完美状态呢？

例如，颇具影响力的九世纪哲学家约翰·斯科特斯·埃留根纳（John Scotus Eriugena）坚持认为，亚当按照上帝的形象被塑造的部分意义在于，他是一个创造者、一个制造者。因此，如果我们想让人类恢复到亚当堕落之前的上帝般的完美状态，我们就必须依靠自己的这一方面。埃留根纳写道，“机械艺术”（又名技术）是“人类与神的联系，他们的修炼是救赎的手段”。

这个想法在中世纪的修道院中兴起，“ora et Labora”（祈祷和工作）的座右铭开始流传。即使在所谓的黑暗时代，其中一些修道院也成为了工程的温床，产生了诸如第一个已知的潮汐动力水车和冲击钻井等发明。天主教徒以创新者而闻名。迄今为止，工程师的宗教信仰中有四位守护神。有人说天主教会是中世纪的硅谷，这是有原因的：正如我在2018 年《大西洋月刊》的一篇文章。

这不是为了技术而技术，也不是为了利润而技术。相反，技术进步是道德进步的代名词。通过恢复人类最初的完美，我们可以迎来神的国度。正如诺布尔所写，“技术已经被等同于超越，前所未有地与基督教的救赎理念联系在一起。”

中世纪对技术进步与道德进步的认同塑造了一代又一代的基督教思想家，直至进入现代。培根的两个例子说明了同样的核心信念——科技将实现救赎——如何影响宗教传统主义者和那些采用科学世界观的人。

13 世纪，炼金术士罗杰·培根从圣经预言中汲取灵感，试图创造出一种长生不老药，可以实现像使徒保罗所描述的复活那样的效果。培根希望这种长生不老药不仅能赋予人类永生，还能赋予人类神奇的能力，比如以思想的速度旅行。然后在 16 世纪，弗朗西斯·培根（没有亲属关系）出现了。从表面上看，他似乎与他的前任非常不同——他批评炼金术，认为它不科学——但他预言，有一天我们会利用科技来克服我们的死亡， “为了造物主的荣耀和人类财产的救济”。

到了文艺复兴时期，欧洲人敢于梦想，我们可以按照上帝的形象重塑自己，不仅可以慢慢走向不朽，而且可以从无生命的物质中创造意识。

施瓦茨指出：“创造新生命的可能性是除了战胜死亡之外的终极力量。”

基督教工程师创造了自动机——木制机器人——可以四处走动并口中祈祷。据传穆斯林创造了可以像神谕一样说话的机械头。犹太民间故事流传着拉比通过以神奇的方式排列语言，使被称为傀儡的粘土人物栩栩如生的故事。在故事中，傀儡有时会通过拯救犹太社区免遭迫害来提供救赎。但其他时候，傀儡会变得失控，杀人并利用其力量进行邪恶。

如果这一切听起来非常熟悉——那么，应该如此。傀儡的想法已在有关人工智能风险的著作中被引用，例如数学家和哲学家 Norbert Wiener 于1964 年出版的《God & Golem, Inc.》一书。今天，你在技术专家发布的大量公开信中听到了同样的焦虑，警告通用人工智能将给我们带来拯救或毁灭。

读到这些陈述，你可能会问：如果通用人工智能既威胁着末日，又承诺拯救，那我们为什么还要创造通用人工智能呢？为什么不把我们自己限制在创造更窄的人工智能——它已经可以在治疗疾病等应用中创造奇迹——并坚持一段时间呢？

为了找到这个问题的答案，请跟我一起回顾一下历史，我们将开始了解最近兴起的三个相互交织的运动如何塑造了硅谷对人工智能的愿景。

输入超人类主义、有效利他主义和长期主义

许多人认为，当查尔斯·达尔文 (Charles Darwin) 于 1859 年发表进化论时，所有宗教思想家立即将其视为一种可怕的异端威胁，认为人类是上帝最神圣的创造物。但一些基督教思想家将其视为古老精神预言的华丽新装。毕竟，宗教观念永远不会真正消失。他们只是穿上新衣服。

一个典型的例子是法国耶稣会神父皮埃尔·德日进 (Pierre Teilhard de Chardin)，他也在 1900 年代初研究过古生物学。他相信，人类进化在科技的推动下，实际上是实现上帝王国的工具，而人类和机器的融合将导致智能的爆炸，他将其称为“欧米茄点”。我们的意识将成为“超意识状态”，我们与神圣融合并成为一个新物种。

德哈德影响了他的朋友朱利安·赫胥黎（Julian Huxley），一位进化生物学家，同时担任英国人文主义协会和英国优生学协会的主席，正如作者梅根·奥吉布林（Meghan O’Gieblyn）在她 2021 年出版的《上帝、人类、动物、机器》一书中所记载的那样。正是赫胥黎推广了德哈德的思想，即我们应该利用技术来进化我们的物种，并将其称为“超人类主义”。

这反过来又影响了未来学家雷·库兹韦尔（Ray Kurzweil），他做出了与德哈德基本相同的预测：我们正在接近人类智能与机器智能融合的时代，人类智能将变得异常强大。只是库兹韦尔没有将其称为欧米茄点，而是将其重新命名为“奇点”。

库兹韦尔在其 1999 年全国畅销书《时代》中写道：“人类及其创造的计算技术将能够解决古老的问题……并将能够在后生物时代的未来改变死亡的本质。”精神机器。（那里有强烈的新约氛围。根据启示录：“不再有死亡，也不再有哀恸、哭号、疼痛，因为以前的事都过去了。”）

库兹韦尔已经意识到了精神上的相似之处，那些围绕崇拜人工智能或利用人工智能推动人类走向虔诚而形成明确宗教运动的人也是如此，从马丁·罗斯布拉特的 Terasem 运动到摩门教超人类主义协会，再到安东尼·莱万多夫斯基的短命之路未来的教堂。但许多其他人，例如牛津哲学家尼克·博斯特罗姆，坚持认为与宗教不同，超人类主义依赖于“批判理性和我们现有的最佳科学证据”。

如今，超人类主义有一个兄弟姐妹，另一个诞生于牛津并在硅谷火爆的运动：有效利他主义（EA），其目的是找出如何为大多数人做最好的事情。有效的利他主义者还表示，他们的方法植根于世俗的理性和证据。

然而，EA 实际上在很多方面反映了宗教：功能上（它汇集了一个围绕道德生活的共同愿景而建立的社区）、结构上（它有先知领袖、经典文本、假期和仪式的等级制度）和美学上（它提倡什一奉献并支持禁欲主义）。对于我们的目的而言，最重要的是，它提供了一种末世论。

EA 的末世论以最具争议性的理念——长期主义的形式出现，马斯克将其描述为“与我的哲学非常吻合”。它认为，帮助大多数人的最佳方式是专注于确保人类能够在遥远的未来（例如数百万年后）生存，因为未来可能存在比现在更多的数十亿人——假设我们的物种不会首先灭绝。

从这里我们开始得到关于为什么技术专家致力于构建 AGI 的问题的答案。

人工智能的进步是道德的进步

对于有效的利他主义者和长期主义者来说，仅仅坚持狭隘的人工智能并不是一个选择。以牛津哲学家威尔·麦克阿斯基尔（Will MacAskill）为例，他被称为有效利他主义和长期主义的“不情愿的先知”。在他 2022 年出版的《我们欠未来什么》一书中，他解释了为什么他认为技术进步停滞不前是不可接受的。他写道：“一段时期的停滞可能会增加灭绝和永久崩溃的风险。”

他引用了他的同事托比·奥德（Toby Ord）的话，他估计下个世纪因流氓人工智能和人为设计的流行病等风险导致人类灭绝的可能性是六分之一——俄罗斯轮盘赌。EA 的另一位同行霍尔顿·卡诺夫斯基 ( Holden Karnofsky)同样认为，我们正生活在“历史的枢纽”或“最重要的世纪”——人类历史上的一个奇特时刻，我们要么能够以前所未有的方式繁荣，要么实现我们自己的灭绝。麦克阿斯基尔和马斯克一样，在他的书中建议，避免灭绝的一个好方法是在其他星球上定居，这样我们就不会把所有的鸡蛋都放在一个篮子里。

但这只是麦克阿斯基尔“太空定居的道德理由”的一半。另一半是我们应该努力使未来的人类文明尽可能伟大和乌托邦。正如麦克阿斯基尔的牛津同事博斯特罗姆所说， “宇宙的殖民化”将为我们提供足够的空间和资源来对人类幸福生活进行大量的数字模拟。空间越大，（数字）人类就越快乐！这就是绝大多数道德价值所在：不是在地球上的现在，而是在天堂的未来……抱歉，我的意思是“虚拟的来世”。

当我们把所有这些想法放在一起并总结时，我们得到了这个基本命题：

1. 在我们所知的生命结束之前，我们可能没有多少时间了。
2. 所以我们需要把赌注押在可以拯救我们的东西上。
3. 由于赌注如此之高，我们应该加大赌注并全力以赴。

任何宗教学生都会立即认识到它的本质：世界末日逻辑。

超人类主义者、有效的利他主义者和长期主义者继承了这样的观点：末日即将来临，技术进步是我们道德进步的最佳机会。对于按照这种逻辑运作的人来说，追求通用人工智能似乎是很自然的事情。尽管他们将通用人工智能视为存在的首要风险，但他们认为，鉴于它有潜力将人类从不稳定的地球青春期（这肯定会随时结束！）并进入繁荣的星际成年期，我们不能不建造它。这么多快乐的人，这么多道德价值！）。当然，我们应该在技术上前进，因为这意味着在道德上前进！

但这有理由和证据吗？或者它植根于教条？

这里隐藏的前提是技术决定论，以及地缘政治。即使你和我没有创造出强大的通用人工智能，人们的想法是，其他人或其他国家也会——那么为什么要阻止我们参与这一行动呢？OpenAI 的 Altman 体现了科技将不可避免地向前发展的信念。2017 年，他在博客中写道，“除非我们先毁灭自己，否则超人人工智能将会出现。” 为什么？“正如我们所知，如果物理定律不阻止，科学进步最终会发生。”

我们学到了吗？我没有看到任何证据表明任何可以发明的东西必然会被发明。（正如 AI Impacts 首席研究员 Katja Grace 令人难忘地写道，“想象一下一台向你眼睛里喷屎的机器。我们可以在技术上做到这一点，但可能没有人建造过那台机器。”）当人们在以下情况下更倾向于追求创新：有非常强大的经济、社会或意识形态压力推动他们这样做。

在席卷硅谷的通用人工智能热潮中，重复出现的宗教思想——披着超人类主义、有效利他主义和长期主义的外衣——带来了社会和意识形态压力。至于经济、盈利压力，这在硅谷始终存在。

根据路透社/益普索5 月份的民意调查，现在，61% 的美国人认为人工智能可能威胁人类文明，而福音派基督徒中这种信念尤其强烈。对于宗教研究学者杰拉奇来说，这并不奇怪。他指出，世界末日逻辑“在美国新教基督教中非常、非常、非常强大”——目前十分之四的美国成年人相信人类正生活在末世。

不幸的是，世界末日逻辑往往会滋生危险的狂热。在中世纪，当假弥赛亚出现时，人们放弃了世俗财产来追随他们的先知。如今，随着 AGI 末日的讨论充斥媒体，真正的信徒纷纷从大学退学，转而从事人工智能安全方面的工作。厄运或救赎、天堂或地狱的逻辑促使人们承担巨大的风险——加大赌注并全力以赴。

在去年接受我采访时，麦克阿斯基尔否认极端赌博。他告诉我，他想象某个类型的硅谷科技兄弟，认为有 5% 的可能性会死于某种 AGI 灾难，而 AGI 有 10% 的可能性会迎来一个幸福的乌托邦，他们会愿意接受这些可能性，并冲上前去。构建通用人工智能。

“我不想让这样的人来建设通用人工智能，因为他们对道德问题没有反应，”麦克阿斯基尔告诉我。“也许这意味着我们必须推迟奇点的出现，以使其更安全。也许这意味着它不会在我的一生中出现。这将是一个巨大的牺牲。”

当麦克阿斯基尔告诉我这件事时，我脑海中浮现出摩西的身影，他眺望着应许之地，但知道自己无法到达。长期主义的愿景似乎要求他有一种残酷的信念：你个人不会得救，但你的精神后代会。

我们需要决定这是否是我们想要的救赎类型

相信技术可以从根本上改善人类的命运并没有本质上的错误。从很多方面来看，它显然已经做到了。

“技术不是问题，”方济会修女伊利亚·德里奥 ( Ilia Delio)告诉我，她拥有两个博士学位，也是维拉诺瓦大学的神学教授。事实上，德里奥对这样的想法感到满意：我们已经处于进化的新阶段，从智人转变为“技术智人”。她认为我们应该持开放态度，在科技的帮助下积极进化我们的物种。

但她也明确表示，我们需要明确哪些价值观正在塑造我们的技术，“以便我们能够有目的地开发技术，并遵守道德界限”，她说。否则，“技术是盲目的，而且存在潜在危险。”

杰拉奇同意。“如果硅谷有很多人说，‘嘿，我喜欢这项技术，因为它会让我永生’，那就有点可怕了，”他告诉我。“但如果有人说，‘我支持这项技术，因为我认为我们能够用它来解决世界饥饿问题’——这是两种截然不同的动机。它将影响您尝试设计的产品类型、您正在设计的人群以及您尝试在周围世界部署产品的方式。”

在深思熟虑地决定哪些价值观能够推动科技发展的过程中，还需要敏锐地意识到谁拥有决定权。根据施瓦茨的说法，人工智能的建筑师向我们灌输了人工智能必要技术进步的愿景，并将自己定位为唯一的专家，这使他们变得非常强大——可以说比我们民选官员更强大。

“发展通用人工智能是一种自然法的想法变成了一种秩序原则，而这种秩序原则是政治性的。它赋予了一些人政治权力，而赋予了大多数其他人更少的权力，”施瓦茨说。“对我来说，‘我们必须对 AGI 非常小心’而不是说‘我们不需要 AGI，这不在讨论范围之内’这很奇怪。” 但我们已经到了权力被巩固的地步，我们甚至没有机会集体建议不应该追求通用人工智能。”

我们之所以走到这一步，很大程度上是因为，在过去的千年里，西方陷入了单一故事的危险之中：这个故事将技术进步与我们从中世纪宗教思想家那里继承来的道德进步等同起来。

“这是我们唯一的叙述，”德里奥说。这种叙述使我们倾向于听从技术专家（他们在过去也是精神权威）的产品价值观和假设。

“什么是替代方案？如果另一种说法是，‘活着的活力本身就是目标’”，那么我们可能对技术有完全不同的渴望，德里奥补充道。“但我们没有这样的叙述！我们的主导叙事是创造、发明、制造，并让这些改变我们。”

我们需要决定我们想要什么样的拯救。如果我们通过超越地球极限和肉袋死亡率的愿景来激发对人工智能的热情，那将创造一种社会成果。但如果我们致力于利用技术来改善这个世界和这些机构的福祉，我们就能得到不同的结果。正如诺布尔所说，我们可以“开始将我们惊人的能力用于更加世俗和人道的目标。”