人类如何在 AGI 出现后生存下来

我们离创造 AGI 越来越近了——AGI 是一种能够在人类水平甚至更高水平上解决各种任务的人工智能。但人类真的准备好迎接这种可能如此深刻地改变世界的技术了吗？我们能与 AGI 共存吗？还是说与这种超级智能的相遇会是我们犯下的最后一个错误？

让我们探讨一下科学家和企业家今天正在考虑的情景，并试图理解：如果 AGI 成为现实，人类生存的机会有多大？

乐观态度（60–80％的生存机会）

乐观主义者认为，AGI 可以且应该在严格控制下开发，只要采取正确的预防措施，这种智能就可以成为人类的盟友，帮助解决从气候变化到贫困等全球问题。像吴恩达这样的狂热者在他的文章中人工智能现在能做什么和不能做什么认为 AGI 是实现科学、技术和医学突破的一种方式，并认为人类可以保证 AGI 的安全。吴恩达还建议，我们可以通过限制 AGI 的物理影响来控制 AGI 的目标，就像我们对狭义 AI 系统所做的那样。

然而，这些乐观的观点也有弱点。规模较小但功能强大的人工智能系统的经验表明，人们尚未完全相信自己有能力控制人工智能的目标。如果 AGI 学会改变自己的算法，可能会导致无法预测的结果。在这种情况下，我们的选择是什么——无条件地服从系统还是不断争夺控制权？

中等现实主义观点（50–60％的生存机会）

哲学家尼克·博斯特罗姆是超级智能：路径、危险、策略主张对 AGI 的前景持更温和的看法。他认为，人类生存的机会很大程度上取决于国际合作和严格的安全措施。博斯特罗姆坚信，世界必须做好准备，团结在一个共同的目标周围：控制 AGI 的发展，并将相关风险降至最低。

但这种合作在实践中会是什么样子呢？剑桥大学生存风险研究中心（CSER）认为只有制定国际标准和统一的人工智能治理政策，我们才能避免各国竞相开发 AGI，并降低不受控制发展的可能性。想象一下，如果各国开始竞相开发 AGI 以确保主导地位。这只会增加其中一方为了快速见效而削弱安全措施的可能性。

问题是，我们在核军备竞赛中已经看到了类似的情况。各国之间的政治分歧和相互不信任可能会阻碍全球就 AGI 安全达成共识。而且，即使各国同意，他们是否准备好对此类系统所需的长期监控？

悲观观点（生存几率为 10–30%）

埃隆·马斯克等悲观主义者认为，在 AGI 诞生后，人类生存的机会仍然低得惊人。早在 2014 年，马斯克警告AGI 可能对人类构成“生存威胁”。尤瓦尔·诺亚·哈拉里对控制超级人工智能系统所面临的挑战表示担忧，这些系统可能会追求自己的目标，可能对人类的利益漠不关心甚至充满敌意。在他的书中未来简史哈拉瑞讨论了人工智能系统发展目标与人类价值观不一致的可能性，从而导致意想不到的、潜在的危险后果。

这种情景表明，我们陷入了“生存陷阱”，我们的未来道路取决于 AGI 的决策。悲观主义者认为，如果 AGI 达到超级智能水平并开始自主优化其目标，它可能会认为人类是不必要的，甚至是障碍。AGI 不可预测的行为仍然是一个主要问题：我们根本不知道这样的系统在现实世界中会如何表现，如果它开始对人类构成威胁，我们可能无法及时干预。

在 人工智能是全球风险的积极和消极因素埃利泽·尤德科夫斯基 (Eliezer Yudkowsky) 探讨了先进人工智能发展带来的潜在危险。他警告说，超级智能人工智能可能会采取与人类利益相悖的目标，从而导致其行为既不可预测，又可能对人类构成危险。尤德科夫斯基强调，尽管人工智能对人类没有爱或恨的感觉，但它仍可能利用人类作为实现其目标的资源。他强调，创建“友好人工智能”至关重要，以防止人工智能可能对人类构成严重威胁的情况。

人类生存的四个关键因素

如果 AGI 成为现实，什么会影响我们的生存机会？让我们来看看人工智能安全和道德领域的顶尖专家确定的四个基本因素。

1. AGI 的准备速度和质量

   
   

   斯图尔特·阿姆斯特朗安全的通用人工智能强调，任何安全措施都必须领先于 AGI 的潜在能力。他的警告很明确：如果 AGI 在没有有效控制的情况下发展到完全自主，那么一旦出现威胁，人类可能没有时间阻止它。阿姆斯特朗认为，开发有效的控制方法和保护系统不仅是可取的，而且是必要的。如果没有这些，人类就有可能面临可能对人类安全构成致命威胁的自主 AGI。

   
   

2. 道德与目标设定

   
   

   在适合人类斯图尔特·罗素 (Stuart Russell) 提出了一个同样重要的问题：我们如何将人类价值观嵌入 AGI 系统？他坚持认为，我们不能让人工智能自行决定什么是重要的，因为 AGI 可能会以完全意想不到的方式解释人类设定的目标。罗素认为，如果没有坚实的道德基础和对人类利益的保护，AGI 可能会做出不可预测的行为。最终，这意味着任何 AGI 系统都必须基于不仅反映技术目标而且反映对人类福祉至关重要的基本原则的价值观。

   
   

3. 全球合作

   
   

   在人工智能治理：研究议程艾伦·达福强调了国际协议和标准的重要性，以防止各国争夺 AGI 主导地位，因为每个国家都会寻求获得优势。达福断言，只有通过国际标准，我们才能最大限度地降低有人为了速度或竞争优势而损害安全的风险。AGI 竞赛可能会带来灾难性的后果，达福认为，只有各国联合起来才能防止这种情况发生，制定安全标准，保障我们的未来。

   
   

4. 控制和隔离技术

   
   

   尼克·博斯特罗姆超级智能：路径、危险、策略进一步阐述了这一观点，强调需要对 AGI 进行遏制和“限制”，以防止其直接与世界互动。Bostrom 警告说，如果 AGI 能够不受限制地访问资源，其自主行动可能会失控。他提出了隔离概念，即 AGI 无法绕过预设的限制，实际上是将其“限制”在一个受控系统中。他认为，如果所有其他方法都失败了，这种隔离可以作为保护我们的最后一道屏障。

   
   

因此，创建 AGI 的想法提出了人类从未面临过的深刻问题：我们如何与一种在思维、适应能力甚至生存技能上可能超越我们的智能共存？答案不仅在于技术，还在于我们如何管理这种智能以及我们在全球范围内合作的能力。

如今，乐观主义者认为 AGI 是一种可以帮助解决世界最大挑战的工具。他们指出，狭义人工智能已经在医学、科学和气候研究等领域帮助人类。但我们是否应该相信我们能永远控制这项技术？如果 AGI 变得真正独立，能够自行学习并改变目标，它可能会超越我们试图设定的界限。在这种情况下，我们曾经认为有用和安全的一切都可能成为威胁。

一些专家倡导的全球合作理念也面临诸多挑战。人类能否克服政治和经济差异，为 AGI 制定统一的安全原则和标准？历史表明，各国很少在影响其安全和主权的问题上进行深入合作。20 世纪核武器的发展就是一个典型例子。但对于 AGI 来说，错误或延迟可能会更具破坏性，因为这项技术有可能在各个方面超越人类的控制。

如果悲观主义者是对的呢？这就是最大的生存风险所在，这是埃隆·马斯克和尤瓦尔·诺亚·哈拉里等人所担心的。想象一下，一个系统决定人类生命只是方程式中的一个变量，它可以为了“更合理”的道路而改变甚至消除它。如果这样的系统认为它的存在和目标比我们的更重要，我们生存的机会就会很渺茫。具有讽刺意味的是，旨在帮助我们解决复杂问题的 AGI 可能会成为我们生存的最大威胁。

对于人类来说，这条道路需要更高层次的责任感和远见。我们会成为那些认识到创造 AGI 的后果并制定严格安全措施、为共同利益引导其发展的人吗？还是骄傲和不愿遵守共同规则会导致我们创造出一种没有回头路的技术？要回答这些问题，我们不仅需要技术突破，还需要深入了解智能系统的概念、它的价值观和原则、它在我们社会中的地位以及我们在它的世界中的地位。

无论结果如何，AGI 很可能是人类历史上最伟大的考验之一。其结果的责任落在我们所有人身上：科学家、政策制定者、哲学家，以及每一位在认可和支持安全未来努力方面发挥作用的公民。