哦 AGI，你能感觉到我吗？

在最近与通用人工智能 (AGI) 领域一些著名研究人员的对话中，我们讨论了在气候变化问题上，AGI 是一种帮助还是一种复杂化。我们对 IPCC 报告越过 1.5C 线的时间有多快进行了一些讨论。作为记录，它最快可以在 18 年后到来— 当当今新生儿的父母可能希望送他们的孩子上大学时。

问题是与气候有关的问题太多了，无法分类。这不仅仅是我们无法避免超过 1.5C 的事实。也是那个我们已经消灭了昆虫的数量.这是一大群金丝雀中的另一只金丝雀，它们在我们为自己挖掘的煤矿中腹胀。所以，我们真的需要一些帮助。我同事的立场是 AGI 会提供帮助。我的立场是，一个普遍智能的代理将是自主的。它的自主性将是我们认为它具有普遍智能的关键测试之一。毕竟，这是我们对自己进行的测试。但是自主代理需要动力来帮助我们。

如果减排承诺是某种替代品，我们似乎缺乏自救的动力。至于 AGI 对人类有同情心或同理心，甚至只是对人类的重视足以伸出援手，我提醒你，普通人的这些品质，当它们存在时，植根于感觉，而不是我们的计算能力或我们的智慧。有很多非常聪明的人，他们在历史上没有表现出一丝一毫的同情心或同理心，他们对社会和人类历史的影响是传说和噩梦。从开膛手杰克到波尔布特，这样的例子不胜枚举，令人毛骨悚然。

人的感情深深植根于人体形态学和人体生物学

甚至像鲁米的马斯纳维这样的崇高文本也将人类欲望的语言转化为人类爱的语言。许多人认为它是一种爱的语言，但它实际上是一种专门为人类表达爱的方式。它不太可能对 Alpha Centaurans 或宇宙中进化的其他智能有用，除非作为理解人类及其与爱的关系的工具。我们不能指望植根于完全不同的形态学且几乎没有生物学的原始计算能力会对人类经验有任何形式的理解或共鸣。

正如我们的历史，甚至是最近和最近的历史所表明的那样，同情心——在词源上：相同的感觉或感觉——对于人类来说往往很难相互发展。

冲进美国国会大厦的 MAGA 共和党人对他们伤残或杀害的军官有同情心吗？杀死乔治·弗洛伊德的警官或旁观的警官对眼前的这个人有同情心吗？为什么植根于完全不同的形态而没有像我们的生物学要求那样的智能会对人类产生同情心？

人的感情深深植根于人体形态学和人体生物学。甚至像鲁米的马斯纳维这样的崇高文本也将人类欲望的语言转化为人类爱的语言。

这就是为什么我使用引入一种新蜘蛛的比喻——具有计划和适应能力的智能蜘蛛——作为 AGI 可能结果的代表。这是更好的结果之一。更糟糕的结果始于 AGI 的军事用途出错，或者人类缺乏同情心或彻头彻尾的恶毒，并向自主智能代理灌输暴力和恶毒的动机或倾向。

即使是最简单的反馈系统，现代人类也很难理解——这是有充分理由的。它们非常复杂，尤其是那些太常见的具有拓扑传递性的。 （对于外行来说，这意味着输入的微小差异可能会导致任意大的输出差异的系统。）原始预测能力，甚至是通用计算能力，都无法与此功能相提并论。见证ChatGPT的“幻觉”。从将物种引入不适合药物的级联副作用的生态位的灾难到我们对气候的影响，一切都构成了我们无法用我们的智慧掌握复杂系统的压倒性证据。当我们确实做对了——这不是偶然的——它来自于我们智慧以外的其他地方。

例如，有证据表明，我们称之为他人有意识行为的意识和体验并非植根于智力，而是植根于感受，这一证据相当令人信服。著名研究员 Mark Solms 在, 给出了证据的总结。无脑儿童——缺少新皮质——仍然被描述和体验为有意识的。同时，大脑中一个2立方厘米的小区域被损坏与没有人在家100%相关，个人没有意识。大脑中的这个区域通常与情感处理有关。

有证据表明，我们称之为意识和体验的其他人的有意识行为并非植根于智力，而是植根于感受，这一证据相当令人信服。

我们不能指望 AGI 对我们有感情

如果这些代理不表现出类似人类情感的东西，我们就不能期望达到可识别的人类水平 AGI (HLAGI)，但这些植根于人类形态学和人类生物学。完全不同的体现将导致完全不同的智能。但是完全不同的智能是拓扑传递的，也就是混沌动力系统。就像一个不适合生态位的物种一样，它会对我们的环境产生影响，而这在历史上是我们难以预测的。因此，期望 HLAGI 能够帮助应对气候变化是令人沮丧的天真。它更有可能使已经很棘手的问题复杂化。

如果有一个人拥有一种不可思议的能力，可以想象出具有任何完整性或真实性的替代世界，那就是弗兰克赫伯特。我提醒你，沙丘是在 AGI 错误自行解决后的一段时间内设置的。这很可能是一个过于乐观的观点。更有可能的是，费米悖论可以用智力试图自我复制从而消灭自身的极端倾向来解释。根据Robin Hanson 的贪婪外星人假说，在不了解具身作用的情况下回避这种复制智能的驱动力可能是智能生存必须克服的艰难步骤之一。

主图由 Milad Fakurian 和 Unsplash 提供