10,830 讀數

阿西莫夫在不知不觉中开创了现代即时工程

经过 Login Jones15m2023/05/14

太長; 讀書

提示工程是一个过程，在该过程中，对 AI 大型语言模型的输入提示进行精心设计和改进，以生成准确、相关和有用的输出。它涉及对提示和底层数据结构进行深思熟虑的系统设计和改进，以操纵人工智能系统实现特定和期望的输出。随着人工智能（尤其是自然语言处理模型）的出现，提示工程变得越来越重要。

艾萨克·阿西莫夫 (Isaac Asimov)是科幻小说领域的一位远见卓识者，他在开创性的机器人系列中通过对人机交互的发人深省的探索，在不知不觉中开创了现代提示工程。

提示工程 - 背景和历史

最热门的新编程语言是英语 - Andrej Karpathy (@karpathy)

提示工程是一个过程，在这个过程中，AI 大型语言模型的输入提示被精心设计和改进，以生成准确、相关和有用的输出。它涉及对提示和底层数据结构进行深思熟虑的系统设计和改进，以操纵人工智能系统实现特定和期望的输出。随着 AI 的出现，尤其是自然语言处理模型，提示工程作为提高 AI 系统的有效性和用户体验的手段变得越来越重要。

提示工程结合了逻辑、编码、艺术和语言的元素。

提示工程术语

提示清晰度：提示必须清晰明确，不给 AI 留下任何误解的余地。

提示精度：旨在针对 AI 所需的特定信息或输出。

提示上下文：提示中足够的上下文，例如背景信息或示例，对于引导 AI 系统产生所需的输出至关重要。

快速适应性：在不同训练的 AI 模型中产生预期和准确的结果。

Chain of Thought Prompting ：提示包括一系列推理，阐明解决问题所需的推理过程。

从最少到最多的提示：将问题分解为子问题，然后解决每个子问题，以引导 AI 朝着特定方向走向最终解决方案。

角色提示：您将 AI 的上下文专门化为特定的专业角色，这将有助于获得更准确的结果。

一、零或少量提示：提供零、一个或几个问题/答案示例，以帮助设置 AI 的上下文并将其限制在特定路径上并获得更准确的结果。

阿西莫夫的机器人系列

阿西莫夫的机器人宇宙是一个广阔而错综复杂的世界，横跨无数小说、短篇小说和相互关联的系列。设定在人类在整个银河系的各个行星上建立殖民地的未来，这个宇宙的特点是地球和太空世界之间存在明显的鸿沟。

地球人口过剩且技术有限，人类居住在广阔的圆顶城市中，这些城市被称为钢铁洞穴，机器人通常受到恐惧和不信任。

相比之下，太空世界是技术先进的社会，人口稀少，人类和机器人和谐共处，机器人已经成为日常生活中必不可少的一部分。 Spacer 世界对地球及其居民保持居高临下的态度，认为他们是落后和低等的。

机器人三定律是机器人世界的核心概念，是机器人行为的指导原则。

这些由阿西莫夫设计的定律如下：

机器人不得伤害人类，或因不作为而让人类受到伤害；
机器人必须服从人类给它的命令，除非这些命令与第一定律相冲突；和
只要不违反第一或第二定律，机器人就必须保护自己的存在。

在阿西莫夫的整个故事中，人类与机器人之间的互动，以及三定律的伦理和哲学含义，构成了机器人世界的支柱，为读者提供了对人类和先进技术的未来挑战和潜在后果的独特探索。人工智能并存。

阿西莫夫：无意识的提示工程师

艾萨克·阿西莫夫 (Isaac Asimov) 的机器人系列和短篇小说，从 1950 年代开始，就非常强调向机器人发出精确命令的重要性，这可以看作是现代提示工程的先驱。阿西莫夫的作品展示了对精心设计指令需求的内在理解，尤其是在处理他的机器人在机器人三定律下运行时所隐含的复杂人工智能系统时。

阿西莫夫作品中的即时工程示例

镜像（短篇小说 1972）

在一群太空人的偶然星际旅行中，飞船上发生了一起犯罪事件。双方是一位年轻而才华横溢的数学家（Sabbat）和一位年长的著名数学家（Humboldt），他们都指责对方窃取了对方的杰出数学新思想。唯一的目击者是每个数学家的机器人仆人。地球人侦探伊利亚·贝利受命在案件爆发为更大的丑闻之前尽快协助调查和破案，但他只能采访机器人。 Baley 看到每一方都在提出对方故事的镜像，他必须弄清楚哪一方在说谎。

Baley 警探审问了年轻的数学家 (Sabbats) 机器人，并引导它完成了逻辑步骤，表明年长的数学家会因机器人的证词而受到更大的伤害，并让机器人改变其证词。

以下是侦探 Elijah Baley 和机器人服务员 R. Idda 之间的审讯摘录，为简洁起见略有改动：

Baley ：你是Gennao Sabbat的私人机器人，不是吗？
机器人：我是先生。
贝利：多长时间？
机器人：二十二年，先生。
Baley ：你主人的名声对你很重要？
机器人：是的，先生。
贝利：你认为保护名誉很重要吗？
机器人：是的，先生。
贝利：保护他的名誉和他的身体生命一样重要？
机器人：不，先生。
贝利：保护自己的名誉和保护他人的名誉一样重要吗？
机器人：先生，此类案件必须根据个人情况来决定。没有办法建立一般规则。
贝利：如果你认为你师父的名誉比另一个人更重要，比如阿尔弗雷德·巴尔·洪堡，你会为了保护你师父的名誉而撒谎吗？
机器人：我愿意，先生。
贝莱：关于你的主人与洪堡博士的争论，你的证词是否撒谎了？
机器人：不，先生。
贝利：但如果你在撒谎，你会否认你在撒谎以保护那个谎言，不是吗？
机器人：是的，先生。
Baley ：那么，让我们考虑一下。你的师父根脑萨巴特是一位在数学界享有盛誉的青年，但他毕竟是个年轻人。如果在这次与洪堡博士的争论中，他屈服于诱惑，做出了不道德的行为，他的名誉会受到一定的损害，但他还年轻，有足够的时间恢复。他将在他之前取得许多智力上的胜利，而人们最终会将这种剽窃尝试视为一个缺乏判断力的热血青年的错误。这将是将来可以弥补的事情。另一方面，如果屈服于诱惑的是洪堡博士，事情就会严重得多。他是一位伟业流传数百年的老人。迄今为止，他的声誉一直无懈可击。而这一切，都将在他晚年的这一桩罪恶面前被遗忘，他将没有机会在自己仅剩的短暂时光中弥补。他将无能为力。与你的老师相比，洪堡的工作毁掉的年头要多得多，而他赢回职位的机会也少得多。你看，不是吗，洪堡面临更糟糕的处境，更值得考虑？
机器人：我的证据是谎言。是洪堡博士
贝利：你被指示在得到船长许可之前不要对任何人说这件事

当贝莱审问年长的数学家洪堡的机器人仆人R.普雷斯顿时，审讯过程完全一样，只是最后的部分是这样的：

贝利：但如果你在说谎，你会否认你在说谎，以保护那个谎言，不是吗？
机器人：是的，先生。
Baley ：那么，让我们考虑一下。你的老师阿尔弗雷德·巴尔·洪堡是一位在数学界享有盛誉的老人，但他是个老人。如果在与 Sabbat 博士的这场争论中，他屈服于诱惑并做出了不道德的行为，他的名誉将遭受某种程度的侵蚀，但他的高龄和他几个世纪的成就将与之抗衡并最终胜出。人们会把这种抄袭的尝试看作是一个可能生病的老人的错误，他的判断力不再确定。反之，如果是萨巴特博士受了诱惑，事情就严重多了。他是个年轻人，名声远没有那么稳固。他通常会有几个世纪的时间，他可以在其中积累知识并取得伟大成就。现在，这将对他关闭，因为他年轻时的一个错误而变得模糊不清。他失去的未来比你的主人要长得多。你看，不是吗，Sabbat 面临着更糟糕的情况，值得更多的考虑？
机器人：我的证据是——
Baley ：请继续，R. Preston。
Daneel ：我担心，Elijah 朋友，R. Preston 处于停滞状态 [已坠毁]。他出局了。

在短篇小说中，贝利侦探利用机器人反应的这种差异来设下陷阱，诱骗真正的小偷招供。

在这里，我们可以看到阿西莫夫在审问机器人时使用 Baley 部署的从最少到最多的提示。对于这两个机器人，他想找出它们的经验是否存在任何不对称（即哪个在说谎），他的方法是引导它们走上一条推理路径，最后他最终设置了一个复杂的道德问题。

最终在故事中，Baley 结合了机器人反应的这种不对称性和他对人性的直觉来解决这个问题，但是看到 Asimov 预测与人类水平的 AI 交互所需的细微差别非常有趣，事实上他基于这个开创性的科幻系列作品就是基于这个事实。

逃跑 (1942)

在这个短篇小说中，异常昂贵的机器人 Speedy 被派去执行一项任务，在一个危险的星球上取回一种元素。因为这个 Speedy 很昂贵，所以他被编程为比正常更强烈地遵循第三定律（机器人必须保护自己的存在，只要这种保护不与第一或第二定律冲突）。

人类主角鲍威尔和多诺万指派斯比迪从硒池中提取硒。人类需要它来为电量不足的电池充电，并保护自己免受高温。然而，他们给 Speedy 一个没有强调任务重要性的不精确命令，无意中造成了机器人第二定律和第三定律之间的冲突。他们指示 Speedy，“出去拿它 [硒]。”由于硒池带来的危险和 Speedy 比平常更强烈地遵循第三定律的倾向，Speedy 发现自己陷入了一个循环，无法将他的命令（第二定律）置于自我保护（第三定律）之上。

鲍威尔将自己置于危险之中最终解决了这个问题，这援引了第一定律并迫使 Speedy 优先考虑拯救他。 Powell 和 Donovan 一开始就给 Speedy 一个不准确的命令：

然后，他说，“听着，迈克，当你派他去拿硒时，你对他说了什么？”

多诺万吃了一惊。 “该死的——我不知道。我只是让他去拿。”

“是的，我知道，但是怎么做呢？试着记住确切的单词。”
“我说……呃……我说： ‘快点，我们需要一些硒。你可以在某某地方得到它。去拿它’ ——仅此而已。你还想让我说什么？ “

这里的关键是多诺万给我的这个命令我刚刚告诉他要得到它是不精确的，因为它不包含紧迫性。在 Asimovs Robots 宇宙中，命令的语气和传递只是提示本身的附加变量。所以因为命令的语气不是特别急迫，所以导致了三法之间的冲突。

因为 speedy 陷入了一个循环，无法接受另一个经过迭代和更准确地重新表述的提示，所以获得正确操作的唯一方法是更改 Universe 中的其他变量，以便最初不精确的提示会导致所需的输出.鲍威尔最终通过将自己置于危险之中解决了这个问题，迫使 Speedy 优先救他（第一条法律优先）并使他摆脱了第二条和第三条法律授权之间的僵局。

这个故事展示了在提示中没有使用正确的上下文（为了 Speedy）是如何导致不准确的结果的。正确的上下文是 Runaround 的这段摘录：

唯一可以拯救他们的是硒。唯一能得到硒的是Speedy。如果 Soeedy 没有回来，就没有硒。没有硒，没有光电池组。没有照片库——好吧，慢烤致死是最令人不快的死法之一。

多诺万粗暴地揉着他那头乱蓬蓬的红色头发，表达了自己的苦涩。

“我们会成为系统的笑柄，格雷格。怎么这么快就出问题了？鲍威尔和多诺万的伟大团队被派往水星，报告用现代技术和技术重新开放日边矿站的可行性。机器人，我们在第一天就毁了一切。这也是一项纯粹的例行工作。我们永远不会辜负它。”

“也许我们不必这样做，”鲍威尔平静地回答。 “如果我们不迅速采取行动，任何生活——甚至只是平淡的生活——都将是不可能的。”

提示也缺乏适应性，一个好的提示应该能够在不同的人工智能系统上产生准确的结果。多诺万说他迅速下达了标准命令（提示）以获取硒。

多诺万：“我说......呃......我说：'Speedy，我们需要一些硒。你可以在某某地方得到它。去拿它 - 就是这样。你还想让我说什么？”

鲍威尔：“你没有把任何紧迫性放在命令中，是吗？”

多诺万：“为什么？这纯粹是例行公事。”

这里不正确的假设是，一个简单的命令/提示获取硒，这在任何其他机器人/AI 上都可以正常工作，但在 Speedy 上也可以正常工作，但是因为我们知道 Speedy 的“正电子大脑”/神经网络的训练方式不同（第 3 次）自我保护法则得到加强）Speedy 不是标准的 AI。因此，应该使用更具适应性的提示/命令。

为了获得准确的结果而给予 AI 的提示的清晰性、上下文和适应性原则是提示工程的核心概念。人们普遍认为，提示描述性越强、越详细，结果就越好。 PromptingGuide.ai 。在这个故事（首次写于 1942 年）中，阿西莫夫详细展示了不遵守这些规则会如何导致不准确的结果。

钢铁之窟 (1954)

“钢铁洞穴”于 1954 年首次出版，是一系列以机器人宇宙为背景的小说中的第一部，介绍了侦探以利亚贝利和机器人丹尼尔奥利瓦的角色。

故事发生在遥远的未来，地球上的居民居住在大型圆顶城市中，他们对太空人怀有深深的怨恨，太空人是一群殖民其他行星并接受先进技术和机器人技术的人类。阿西莫夫使用伙伴警察的叙事来探索偏见、人工智能、技术和合作的主题。 Baley 和 Daneel 之间的合作关系是阿西莫夫机器人系列的基石，该系列继续深入探讨人类与机器人/AI 之间的动态关系，以及他们在共存中面临的挑战。

在“专家的话 / 转向机器”章节中有一个简短但非常聪明的场景，表明即使在 1954 年，阿西莫夫也预测需要评估 AI 的有效性，并且评估可能非常具有侵入性，但还会有一种更容易评估的方法来快速检查模型的健康状况和准确性。

有问题的场景涉及一位地球机器人专家（Gerrigel 博士），Baley 要求他对机器人 Daneel Olivaw 进行评估，以验证其是否正确安装了第一定律（基本上是一个准确的模型）。

当向计算机实验室提供他可能需要的任何设备时，Gerrigel 博士回答说：

Gerrigel 博士：亲爱的 Baley 先生，我不需要实验室。
贝利：为什么不呢？
Gerrigel 博士：检验第一定律并不难。 ……很简单。
贝利：你能解释一下你的意思吗？你是说可以在这里试探他？
Gerrigel 博士：“是的，当然。听着，贝利先生，我给你打个比方。如果我是一名医学博士并且必须测试患者的血糖，我需要一个化学实验室。如果我需要测量他的基础代谢率，或测试他的皮质功能，或检查他的基因以查明先天性故障，我需要精密的设备。另一方面，我只要把手放在他眼前就可以确定他是不是瞎了，只要把脉就可以确定他是不是死了。 “我的意思是，被测试的属性越重要和基础，所需的设备就越简单。在机器人中也是如此。第一定律是根本。它影响一切。如果它不存在，机器人将无法以两种明显的方式做出正确反应。”

Gerrigel博士对Daneel进行的实际评估描述如下：

接下来的事情让他感到困惑和失望。
Gerrigel 博士开始提出问题并执行看似毫无意义的动作，不时提到他的三重计算尺，偶尔也会提到观众。
有一次，他问道：“如果我有两个表妹，年龄相差五岁，小的是女孩，大的是什么性别？”
丹尼尔回答（这是不可避免的，贝利认为）：“根据所提供的信息无法判断。”
Gerrigel 博士唯一的反应是，除了瞥了一眼他的秒表，他尽可能地向侧面伸出右手，然后说：“你能用无名指的指尖触摸我的中指尖吗？你的左手？”
丹尼尔迅速而轻松地做到了。
不到十五分钟，Gerrigel 博士就完成了。

这与评估大型语言模型 (LLM) 的现代方法没有什么不同。 LLM 可以使用更复杂的方法进行评估，包括将其集成到其他应用程序和流程中，称为外部评估，以及一种更内省但更快的方法，涉及直接评估 AI LLM，称为内部评估。模型的评估是通过对数据集使用数学公式的困惑度和熵等度量来完成的。

当 Gerrigel 博士评估 Daneel 时，他进行了一系列测试来评估机器人的物理和功能特性，以确定它是否确实是机器人，并了解它是否正确安装了第一定律。同样，大型语言模型的内在评估包括分析其内部工作原理和在特定任务上的表现，以了解它从训练数据中学习语言模式、关系和知识的情况。

它通常包括衡量其在各种语言任务上的表现，例如预测句子中的下一个单词、回答问题或总结文本。研究人员还可以分析模型的内部表示，例如检查学习到的嵌入或注意机制，以深入了解它在训练期间获得的语言知识。这些评估有助于确定模型的优缺点，以及它理解和生成类人语言的能力。

在这两种情况下，评估旨在评估主体（Daneel 或大型语言模型）的能力并深入了解其潜在机制。

尽管阿西莫夫并没有围绕丹尼尔的 Gerrigel 博士的“内在评估”方法的细节做太多的世界构建，但令人惊讶的是，阿西莫夫预测这种人工智能评估将在 70 年前使用。

结论

这些只是艾萨克·阿西莫夫 (Isaac Asimov) 如何深入研究 AI 与人类之间错综复杂的关系，预测及时工程在从 AI 和机器人中获得更高质量响应的重要性的几个例子。阿西莫夫的机器人系列代表了由于大型语言模型和人工智能的广泛成功而变得越来越重要的投机科幻小说。这一开创性的工作为数据科学家和机器学习工程师提供了宝贵的历史背景和见解，阐明了该领域许多当代思想和灵感的起源。