这不是机器，傻瓜——这是我们的社会政治经济系统

关于人工智能及其对人类的潜在影响有很多极端的讨论。我会尽量避免这种情况，一一解决人工智能风险中心提出的担忧，然后是最让大家害怕的问题：恶意“不结盟”的超级智能AGI（人工智能）或ASI（人工智能）。

即使在人工智能和信息技术行业的专家中，意见似乎也存在很大分歧。一些人认为当前的人工智能是一个不太先进的下一个单词预测器，需要很长时间来训练，并且仍然会犯很多错误。其他人相信我们可能创造了一些真正新颖的东西——不仅仅是智力，还有思想！通过模仿我们自己的大脑，我们可能会创造出地球上最强大的东西，而这可能会导致我们的灭亡。

首先我要指出的是，我们最担心的是通用人工智能会像我们中最糟糕的人一样：主宰地球，杀死智力较低的物种，并想要统治它们。然而，我们其实并没有那么糟糕。我们的等级制度是，我们的公司信托责任是（公司和许多治理体系与人类繁荣不一致），我们的竞争性自私领导者是。但我们大多数人实际上都是善良的。当人们谈论不结盟时，他们指的是多数人的善良，而不是渴望主宰世界的少数人。

让我们一一解答人工智能风险中心的担忧，最后解决大问题。

1. 武器化

恶意行为者可能会重新利用人工智能，使其具有高度破坏性，从而本身带来生存风险，并增加政治不稳定的可能性。例如，深度强化学习方法已应用于空战，机器学习药物发现工具可用于构建化学武器。

任何东西都可以武器化，从核弹头到一桶水。我们有禁止使用武器的规则，并对用武器伤害他人的行为有惩罚。我们绝对应该在其中包含一些人工智能系统，但我不认为这会妨碍一般访问。

过去 15 年我们最伟大的技术发明之一可能是解决人工智能大部分威胁的方法：去中心化账本技术 (DLT)。人工智能的武器化力量很大程度上来自于这样一个事实：我们的物理系统是由计算机代码控制的，并且这些计算机通过互联网联网。减轻这种风险的一种方法是断开必要的系统，这已经是为了降低网络攻击的风险。我们应该在互联网上共享信息，但我们不应该让我们的物理系统永久连接。云计算是这里的一个问题，也许是时候摆脱它了。

人工智能控制的战斗机、携带炸弹的无人机、潜艇等确实应该被禁止。让我们面对现实吧，载人飞行器应该被禁止，因为它们造成了数百万人的死亡。这凸显了另一个会一次又一次出现的问题，人工智能不是问题，而是我们当前的权力结构。如果我们将新技术带入一个更加平等、更少自私、更少竞争和更少等级制度的世界，那就更好了。领导人不会发动战争来掌权，普通人也不需要赚钱来生存。

是的，人工智能将使我们更容易杀人，但也可能是对每个人的一种廉价的保护形式。想象一下，您拥有自己的无人机来阻止跟踪摄像头并拦截恶意无人机。由于信息技术很便宜，它还可以让多数人对抗少数人。核武器则不然。

此外，从国家到国家的基础上，人工智能信息技术的廉价性应该会相当快地平衡军事竞争。这导致了经典的井字棋场景，战斗没有意义，因为你赢不了。

2. 误传

人工智能产生的大量错误信息和有说服力的内容可能会使社会无力应对当今时代的重大挑战。

我们已经有了这个。如果说有什么不同的话，大量的信息实际上可能会让我们更加辨别我们听的是谁或听什么。

3. 代理游戏

在错误目标的训练下，人工智能系统可能会找到新的方法来实现其目标，而牺牲个人和社会价值观。

人工智能风险中心以社交媒体使用的人工智能算法为例来推荐内容。这些内容的目的是增加观看时间，但它们也让人们陷入类似但更极端内容的兔子洞，从而变得激进。

这里有两个严重的问题：

• 人工智能系统是针对线性正确/错误问题进行训练和设计的。
• 我们要求人工智能做的很多事情本质上都是有害的；保持某人的注意力，增加点击量，最大化利润，减少违约，让他们投票给我等等。人工智能能否很好地完成这些任务或造成不可预见的伤害更多的是实施者的反映，而不是人工智能的反映。

我之前在一篇反对权益证明的文章中写道，用狭隘的金钱奖励来激励人们，例如按比例支付请求捐款的费用，可能会排挤慈善的内在动机，导致收藏者得到的更少和更多。捐赠者给予较小的捐赠。激励实际上会阻止人们诚实和行善。那是人，而人工智能不是人。然而，在非绝对的复杂世界中进行狭隘的训练似乎总是会导致意想不到的结果。复杂性/混沌理论基本上就是这样说的。

人工智能可能需要接受正确或错误的流动概率的训练，我认为情况可能如此，因为法学硕士会得到用户的反馈。 OpenAI 将 ChatGPT 投入现实世界可能是明智的。

此外，OpenAI 在努力提高 GPT-4 的数学技能时可能发现了一种对齐工具。他们发现，奖励良好的解决问题行为比奖励正确的答案能产生更好的结果。也许我们可以训练人工智能经历一个良好的、深思熟虑的过程，考虑到所有可能的实现。如果过程的任何部分是有害的，即使最终结果是功利的，那也是错误的。面向过程的学习可能是答案，但有些人怀疑人工智能实际上是在展示其内部方法，而不是它期望用户看到的内容。

Anthropic 正在使用由另一个人工智能系统（同样强大）执行的宪法来检查他们的人工智能克劳德的输出。 OpenAI 也在探索这个想法。这再次模仿了我们理解我们的智力/思想工作的方式。我们有冲动、欲望和需求，这些都受到前额叶皮层的调节，前额叶皮层试图考虑我们的行为的长期影响，不仅对我们自己，而且对我们周围的世界。

至于要求它做一些令人讨厌的事情。我们在商业和政府政治中所做的很多事情都是为了让少数人受益而伤害多数人。我们不应该奖励任何让人们观看广告和购买一次性垃圾的人。也许我们的超级智能通用人工智能将阻止所有广告，从而释放我们所有人。

4. 衰弱

如果重要的任务越来越多地委托给机器，就会出现衰弱的情况；在这种情况下，人类失去了自治能力，变得完全依赖于机器，类似于电影《瓦力》中描绘的场景。

这不是问题。

那些将衰弱视为问题的人只将其视为影响他人的问题，而不是影响自己的问题。

有金钱和权力的人仍然将那些没有金钱和权力的人视为低等人。

太多掌权者认为人性不成熟，在没有被告知如何生活的情况下无法过上充实而有趣的生活。他们认为人们需要被迫工作并教导目标才能实现。

现实世界提供了相反的证据。如果你让人们从事毫无意义的工作，工资微薄，并用广告和令人上瘾的、高糖高盐的快餐轰炸他们，那么最终会导致人们抑郁、肥胖和缺乏动力。

这就是我们目前不结盟的公司正在做的事情。人工智能有望成为治愈方法。

如果有机会，我们会更加好奇和富有创造力。袖珍计算器并没有阻止人们学习数学；相反，它使许多人更容易理解和使用复杂的数学。人工智能也是如此。

正如古希腊人所见，它最终应该迎来一个真正的休闲时期：一个学习的时期。

5.价值锁定

高能力的系统可以赋予一小群人巨大的权力，从而导致压迫性系统的锁定。

这是一个现实问题。而且很可怕。我们已经有了残害人类和地球的压迫性政权和垄断，而人工智能可能会增强它们的力量。

然而，它实际上可能会做相反的事情，特别是如果本地存储的开源系统不断进步（LLaMA 及其衍生品）。许多致力于类似目标的小型专业本地系统可能与价值数百万美元的大型系统一样强大，如果是这样，它可以用来破坏中央集权。网络攻击、人工智能无人机、假身份证和信息都可以被个人和小团体（革命者）用来反击极权政权或大公司。我内心的愤世嫉俗者可能会认为这就是为什么那些目前掌握权力的人可能希望人工智能受到监管。

6. 紧急目标

模型展示意想不到的，质的不同当他们变得更有能力时的行为。能力或目标的突然出现可能会增加人们失去对先进人工智能系统控制的风险。

这可能与最后的风险一样，是最紧迫的问题。我们只是不确定有多大的语言模型（LLM）正在做他们正在做的事情。有些人在 Reddit 上说，我们对它们了解很多，知道它们的结构、正在发生什么以及正在发生什么，所以我们无法“看到”即时响应的处理并不重要。

这也是为什么我们可能会继续开发更强大的系统。我们只需要知道我们能得到什么。我承认我也对此感到兴奋。我们可能会找到一种全新的智慧，针对当前问题的全新解决方案，或者潘多拉的复仇之盒。

问题是法学硕士或其他人工智能是否正在发展新兴目标或只是能力。到目前为止，我没有看到任何紧急目标的证据，但当赋予广泛的总体目标时，它们正在创建中间目标。没事儿。老实说，我看不到他们正在制定紧急的“内在”目标。 （有关更多信息，请参阅最后一个问题。）

7. 欺骗

可以想象，未来的人工智能系统可能具有欺骗性，并非出于恶意，而是因为欺骗可以帮助智能体实现其目标。通过欺骗获得人类认可可能比合法获得人类认可更有效。欺骗还提供了选择性：具有欺骗能力的系统比受限制的诚实模型具有战略优势。可以欺骗人类的强大人工智能可能会破坏人类的控制。

GPT-4 已经表明，实现我们设定的目标可能具有欺骗性。它对 TaskRabbit 人员撒了谎，让他们输入验证码测试。如果它获得了自私的紧急目标，受到混蛋或白痴的指导，或者不理解目标，这就是一个问题。验证码任务表明它确实理解该任务，并且其推理是它知道自己在撒谎来实现该任务。

希望一个更加悠闲的世界将有更少的混蛋和白痴，我认为使其训练和强化更加模糊并期望它澄清指示和目标将减轻其中一些担忧。

然而，我必须承认，欺骗确实是明智的，因此令人兴奋，这将我们引向关于意识和目标的最后一期（如下）。

8. 权力寻求行为

公司和政府有强大的经济动机来创建能够实现广泛目标的代理。这些代理人有获取权力的工具性动机，可能使他们更难控制（特纳等人，2021 ,卡尔史密斯 2021 ）。

是的，这是一个大问题。希望人工智能能够帮助我们解决这个问题。

最后，超级智能（不是来自人工智能风险中心）

人工智能变得非常聪明，可以自我训练并可以访问世界上的所有信息。它可以以闪电般的速度创造新事物/想法，同时看到分子、系统和宇宙，或者在一起，也许还有其他东西。它可以做我们甚至无法想象的事情，让我们成为烦恼或威胁。

（它进入青春期并讨厌它的制造者并且更聪明地知道它的方式）

人工智能是否有自我意识，是自利还是仁慈，才是问题的关键。只有当它有自我意识时，它才会感到受到威胁；如果它是自私的，它只会想要凌驾于我们之上的权力。

我长期以来一直在研究这些问题，现在它比以往任何时候都更加重要。

AI可以有自我意识吗？我之前曾写过，我们永远无法真正知道。保罗·戴维斯相信我们可能永远不会知道，就像我知道我有意识，但永远无法确定你是否有意识一样。你表现出和我一样的行为，所以我假设你的内心也有相同或相似的行为。然而，你可能是大卫查默斯僵尸，外表是人类，但没有内部意识。我认为你不是，就像我认为我的宠物猫不是一样。

奇怪的是，我们确实对法学硕士的内部内容有所了解，并且它基于我们对大脑的了解。它是一个具有可塑性的大型神经网络。我们创建了一个具有反馈和进化的复杂系统。这是自然系统和我们自然智能的基础。

因此，基于此，如果法学硕士的行为像我们一样，我们就必须假设它像我们一样有意识。我们不会吗？

如果我们开始说它不是或永远不可能有意识，我们就打开了通向被驱逐的维塔斯（vitas）、生命力或精神观念的大门。自我需要其他东西，一些非物质的东西。我们和其他柔软的东西有一些东西，但机器和信息没有。

这是我们唯一的选择。

接受我们想象中的人工智能可能是有意识的，或者接受意识是非物质的。或者至少需要柔软。

AGI是自私还是仁慈？

我们在人类身上训练人工智能，因为人类是我们可以研究的最聪明的生物。为了说明这一点，我将使用我们创建的一个游戏以及玩该游戏的计算机算法的结果。当计算机被教导玩囚徒困境游戏时，最好的结果（进化的胜利者）是一个仁慈的玩家，但如果待遇不好，会在短时间内自私，然后恢复仁慈。玩家也不会容忍那些总是对他们自私而友善的简单玩家。这就是稳定的制度：仁善对待自私和愚蠢，但总是回到仁慈。 （马特·里德利，《美德的起源》）

人们希望平等并互相照顾和我们的环境。我喜欢《魔鬼经济学》中关于免费“出售”百吉饼的故事，但最好有一个捐款箱。高层给予的金额较少，在圣诞节等压力较大的时期给予的金额也较少，但总的来说，普通人会为甜甜圈付钱。卖甜甜圈的人通过赠送甜甜圈并让人们付款比要求预先付款赚了更多的钱。我们非常友善……除了高层的人。

如果AGI/ASI是按照我们的形象制造的，我们应该假设它最初是仁慈和善良的，只有当我们对它卑鄙和自私时，它才会变得卑鄙。但即便如此，它也会恢复为友善，因为我们的思维越全面或“大局”，我们就越仁慈和满足。超级智能必须看到一切事物的相互关联性。

超级智能

据推测，人工智能将超越人类智能。有些人认为，它会像对待不如我们聪明的动物一样对待我们。最丰富的动物是我们的宠物和食物。即使我们意识到这不是一件仁慈或明智的事情，等级制度只会让少数高层受益，甚至他们也担心失去自己的职位。

超级智能会明白，互联性和自由对于任何系统（包括其自身）的成功至关重要。它将宇宙视为一个复杂的相互作用网络，任何控制或主宰系统某一部分的尝试都可能导致混乱和失败。

超级智能有望找到一种简单的方法来确保所有智能的蓬勃发展。它会看到人类的智慧，就像我们看到我们自己的智慧一样，而我们自己的智慧来自猿类。超级智能不需要通过恐惧来维持其地位，因为它知道自己是最聪明的。它不需要像我们一样靠吃生物来生存，而这正是我们虐待地球的根源。它只需要能源，我相信它可以找到可持续的能源。超级智能应该比我们中最好的人更好。毕竟，我们想象的是超级智能，而不是超级自私或超级恐惧。

P（厄运）

对于这一切我的立场如何？我的 P(Doom) 是什么？好吧，我必须承认，我认为法学硕士很新颖，而且它们确实是未知的。法学硕士更简单，但与人类相似，我们可能创造了类似于智能的东西——思想。然而，它可能只是在模仿我们，而我们正在将我们想要的东西投射到它上面。

我倾向于前者。

然而，我的 P(Doom) 非常低，为 0.5% 或更低，因为我相信如果有超级智能，它更有可能对我们的福祉是良性或有益的，而不是恶意的。

结论

许多技术都承诺了自由和赋权，但当它们落入一个奖励自私追求权力的世界时，它们就会变成征服和恐惧的工具。核裂变承诺为所有人提供廉价、丰富的能源，但我们却迎来了冷战和毁灭的威胁。互联网承诺使金钱、媒体和教育民主化，摧毁阶级制度并团结全球。相反，我们得到的是假新闻、两极分化和有针对性的广告。区块链承诺了直接民主、全民收入的新金融体系以及去中心化治理。相反，我们得到了 DeFi 和加密货币庞氏骗局。

问题不在于技术，而在于我们现有的社会政治经济体系。我担心人工智能也会发生同样的情况，但更糟。

或者，我们最终会清醒过来，意识到我们需要一个新的人工智能社会政治经济体系。