这就是为什么 GPT 模型听起来像人类

“注意力”并不是您所需要的全部。

所以，没有人知道人工智能为什么起作用，对吧？

是和否。

根本问题是我们对人类大脑的奥秘还没有发现太多。

然而，变形金刚和人类对自然语言的反应惊人地相似。

让我们解释一下为什么。

在 Transformer 中存储信息表示

我们使用从多个单词或标记的输入生成的向量来为转换器创建嵌入。

因此，信息 - 存储为矢量。

让我们考虑代表性。这种表征嵌入比注意力发挥了更重要的作用。必须首先达到可解码或可行形式的表示！

你可能在想，这与像GPT-4这样的转换器在整个互联网上接受训练时所能做的一切有什么关系？

信息由注意力点积和数学处理结合原始数据的上下文含义和表示进行编码。

所以我们有一个存储在 Transformer 中的数据表示。

秘密酱汁

所有神经网络都根据通用逼近定理解决问题。

对于那些不知道通用逼近是什么的人，我们可以将通用逼近器定义为将指定输入高精度转换为指定输出的任何过程 - 它逼近输入集和输出集之间的函数.该功能有一个形式。但是我们不需要知道形式，因为只要有足够的数据，神经网络就可以为我们逼近任何函数。

作用是什么？这是我们要解决的问题。

神经网络可以通过其处理算法逼近任何函数。任何功能 - 如此通用。

架构不同——算法不同——模型不同——但基本原理是相同的。

这就是为什么当神经网络有足够的数据、被赋予合适的任务并以正确的方式进行调整时，它们就会工作，这是一种随着时间的推移你会变得更好的艺术。

在这个 LLM 中，狗的基本代表是什么？

肯定有一个，实际上有很多。

可能是一只狗的x向量、 y上下文值和z位置参数，以及原始数据流架构的正确路径。

我们只是没有深入探讨，因为这对我们的目的来说是不必要的。

该系统工作。

这对我们来说已经足够了。

因此，该系统是一个黑匣子。

但是，大脑如何存储数据？

就像以前一样——我们不知道确切的细节。

当我们的大脑被创建时，它们会创建外部对象、概念和实体的内部表示。有点像孩子长大了。

例如，狗的概念可能涉及x 个神经元、 y 个突触和z 个架构，以及神经元之间一组动态不断演变的原始数据传输路径。

逼近定理显然适用于我们的大脑。

同样的原则在起作用。

只是这些嵌入是自然产生的。

具有超低电能的神经元、轴突和树突家族。

不同的形式。不同的功能。但是最后的结果是一样的。

该系统工作。

这对我们来说已经足够了。

我们还能说我们知道什么？

只有我们可以凭经验观察到的。

又是一个黑盒子。

那么，为什么它们在自然语言方面如此相似？

我们已尝试通过对互联网上以数字形式收集的所有数据进行非常复杂的处理过程，尽可能地模拟 AGI。世界上所有的数据。

就序列-序列模型和自然语言任务而言，我想说我们已经成功了。

我们已经模拟了我们的大脑如何通过大量极其昂贵和系统的艰苦工作来理解和处理信息。

我不开心。

其实我很害怕。

如果这是 ChatGPT 可以做的——

那么，GPT-4会实现什么？

微软的软件工程师已经在 GPT-4 模型中发现了几个感知时刻。

他们甚至就这一发现发表了一篇论文——

新闻页面：

https://www.microsoft.com/en-us/research/publication/sparks-of-artificial-general-intelligence-early-experiments-with-gpt-4/

研究论文：

我们在这里冒着很大的风险。

当杰弗里·辛顿 (Geoffrey Hinton) 辞去研究职位时，我意识到事情真的变得一团糟。

金钱助长一切。

任何控制措施都无法阻止中国和美国以利润为中心的公司。

我们希望未来一切顺利。

人工智能决策者必须将道德置于利润之上。

但是企业家什么时候这样做过？

结论

Hinton 说了一些不可思议的话。

“我突然改变了对这些东西是否会比我们更聪明的看法。我认为他们现在已经很接近了，将来他们会比我们聪明得多。我们如何生存？

但就目前而言，没有人能阻止它。

最后，让我们向 ChatGPT 提出一个有趣的问题。

我：

你将如何实现 AGI？

聊天GPT：

实现通用人工智能 (AGI) 是一项重大挑战，需要跨多个科学和工程学科取得重大进展。虽然 AGI 的确切路径仍然是一个争论和探索的主题，但我可以为您提供研究人员正在研究的一些关键领域的更详细解释：

1. 认知架构：开发可以模仿人类智能的认知架构是 AGI 的一个基本方面。这涉及了解人脑的结构和功能以及设计捕捉这些过程的计算模型。研究人员从神经科学、认知心理学和认知科学中汲取灵感，构建可以支持高级推理、感知、记忆、学习和决策的架构。

   
   

2. 机器学习和深度神经网络：机器学习，尤其是深度学习，在最近的 AI 进步中发挥了重要作用。深度神经网络在图像识别和自然语言处理等感知任务中取得了显着的成功。为了向 AGI 迈进，研究人员正在探索通过提高深度学习的泛化能力、可解释性以及处理有限数据和复杂推理的能力来增强深度学习能力的方法。

   
   

3. 强化学习和主动学习：强化学习是 AGI 关注的另一个关键领域。它涉及培训代理人与他们的环境互动并从反复试验中学习。强化学习技术与主动学习相结合，主动学习涉及主动选择信息丰富的训练样本，可以帮助智能体更有效地探索环境并从中学习。开发可以从不同数据源中学习并将知识推广到新情况的算法对于实现 AGI 至关重要。

   
   

4. 认知机器人和具身智能：真正的 AGI 需要的不仅仅是处理信息；它需要与物理世界进行交互。认知机器人旨在整合机器人的感知、认知和行动，使它们能够以与人类类似的方式学习和推理世界。具身智能研究探索代理人如何通过与环境的互动、利用感觉运动技能和身体经验来开发智能。

   
   

5. 符号推理和知识表示： AGI 系统应该能够进行符号推理和操纵复杂的知识表示。符号推理涉及使用逻辑规则、推理机制和结构化知识表示来执行抽象推理和解决问题的任务。将符号推理与统计方法（例如神经网络）相结合，是一个活跃的研究领域，可以实现更强大、更灵活的推理能力。

   
   

6. 迁移学习和元学习： AGI 系统应该具备将在一个领域中学到的知识和技能迁移到新的和不熟悉的领域的能力。迁移学习技术旨在利用现有知识来加速相关任务或领域的学习。元学习，或学习学习，侧重于开发可以学习如何有效学习、快速适应新情况和有限数据任务的模型。

   
   

7. 数据和计算资源： AGI 开发需要大量高质量的数据来训练模型。跨多个领域访问不同的数据集对于获取人类知识的广度和深度至关重要。此外，AGI 开发需要大量计算资源来训练和运行复杂模型。硬件的进步，例如专用人工智能芯片和分布式计算系统，可以显着加速 AGI 研究。

   
   

8. 伦理、安全和可解释性：随着 AGI 的进步，解决伦理问题、制定稳健的安全措施并确保 AGI 系统的透明度和可解释性至关重要。研究人员正在探索使人工智能系统更加透明、可解释和负责的方法，以降低风险并使人类用户能够理解和信任他们的行为。

   
   

9. 协作和跨学科研究：实现 AGI 需要来自各个领域的专家之间的协作，包括 AI、神经科学、心理学、哲学等。鼓励跨学科研究和知识共享可以为开发 AGI 带来新的见解和创新方法。

   
   

重要的是要注意，虽然在这些领域中的每一个领域都取得了进展，但实现 AGI 仍然是一个开放式的问题，没有明确的完成时间表。这是一个复杂的长期目标，需要不断的研究、探索和迭代。

求主怜悯我们大家！