3,083 讀數

AI幻觉可以停止吗？看看 3 种方法

经过 DataStax6m2023/10/19

太長; 讀書

检查三种阻止法学硕士产生幻觉的方法：检索增强生成（RAG）、推理和迭代查询。

如今，大型语言模型已经变得极其强大；他们可以帮助我们解答一些最棘手的问题。但它们也可能让我们误入歧途：它们容易产生幻觉，这意味着它们给出的答案看似正确，但实际上并非如此。

法学硕士当他们遇到不属于其训练数据集的查询时，或者当他们的训练数据集包含错误信息时，他们会产生幻觉（当法学硕士接受互联网数据培训时，可能会发生这种情况，众所周知，互联网数据并不总是可信的））。法学硕士也没有记忆力。最后，“微调”通常被认为是通过根据新数据重新训练模型来减少幻觉的一种方法，但它也有其缺点。

在这里，我们将介绍三种阻止法学硕士产生幻觉的方法：检索增强生成（RAG）、推理和迭代查询。

检索增强生成

和抹布，一个查询进入知识库（在本例中，是一个矢量数据库）作为语义向量——一串数字。然后，该模型使用以下方法从数据库中检索类似文档矢量搜索，寻找向量与查询向量接近的文档。

一旦检索到相关文档，法学硕士就会使用查询以及这些文档来总结用户的响应。这样，模型不必仅仅依赖其内部知识，而是可以在正确的时间访问您提供的任何数据。从某种意义上说，它为法学硕士提供了其自身所不具备的“长期记忆”。该模型可以通过包含矢量数据库中存储的专有数据来提供更准确且适合上下文的响应。

另一种 RAG 方法结合了事实检查。法学硕士会被提示提供答案，然后根据矢量数据库中的数据进行事实检查和审查。从矢量数据库中生成查询的答案，然后法学硕士反过来使用该答案作为提示来辨别它是否与事实相关。

推理

法学硕士在很多事情上都非常擅长。由于“变形金刚”的进步，它们可以预测句子中的下一个单词，“变形金刚”通过对输入数据的不同部分给予不同程度的关注，改变了机器理解人类语言的方式。法学硕士还擅长将大量信息归纳为非常简洁的答案，并从大量文本中查找和提取您正在寻找的内容。令人惊讶的是，LLMS 还可以规划——他们可以真正收集数据并为您规划旅行。

也许更令人惊讶的是，法学硕士可以以几乎像人类一样的方式使用推理来得出答案。因为人们可以推理，所以他们不需要大量数据来做出预测或决策。推理还可以帮助法学硕士避免产生幻觉。这方面的一个例子是“链式思维提示”。

该方法有助于模型将多步骤问题分解为中间步骤。通过思想链提示，法学硕士可以解决标准提示方法无法解决的复杂推理问题（要深入了解，请查看博客文章语言模型通过思维链进行推理来自谷歌）。

如果你给法学硕士提出一个复杂的数学问题，它可能会出错。但如果你向法学硕士提供问题以及解决问题的方法，它就能给出准确的答案，并分享答案背后的原因。矢量数据库是此方法的关键部分，因为它提供了与此类似的问题的示例，并用示例填充提示。

更好的是，一旦您有了问题和答案，您可以将其存储回矢量数据库中，以进一步提高生成式 AI 应用程序的准确性和实用性。

您还可以了解许多其他推理进步，包括思想之树,从最少到最多,自我一致性，和指令调优。

迭代查询

帮助减少 LLM 幻觉的第三种方法是交互式查询。在这种情况下，人工智能代理会调解在法学硕士和向量数据库之间来回移动的呼叫。这可以迭代发生多次，以获得最佳答案。这种前瞻性主动检索生成的一个例子，也称为 FLARE。

您提出一个问题，查询您的知识库以获取更多类似的问题。您会收到一系列类似的问题。然后，您用所有问题查询向量数据库，总结答案，并检查答案是否看起来不错且合理。如果没有出现，请重复这些步骤，直到出现为止。

其他高级交互式查询方法包括自动GPT ,微软贾维斯，和独奏表演提示。

有许多工具可以帮助您进行代理编排。浪链是一个很好的例子，可以帮助您协调法学硕士和矢量数据库之间的调用。它本质上自动化了大部分管理任务以及与法学硕士的交互，并提供对内存、基于向量的相似性搜索、高级提示模板抽象以及大量其他功能的支持。它还帮助和支持先进的提示技术，如思维链和 FLARE。

另一个这样的工具是卡西欧，它是由 DataStax 开发的，作为我们 Astra DB 矢量数据库之上的抽象，其理念是使数据和内存成为一流的公民生成式人工智能。 CassIO 是一个 Python 库，通过抽象访问数据库的过程（包括其数据库），使 Cassandra 与生成式人工智能和其他机器学习工作负载无缝集成。矢量搜索功能，并提供一组即用型工具，最大限度地减少对额外代码的需求。

综合起来：SkyPoint AI

SkyPoint人工智能是一家专门为养老和生活行业提供数据、分析和人工智能服务的 SaaS 提供商。该公司利用生成式人工智能来实现老年人、护理人员和软件系统之间自然直观的交互。通过简化复杂的应用程序并优化用户体验， SkyPoint AI 为老年人和护理人员提供支持轻松获取信息和见解，这有助于加强护理。

该公司从各种结构化和非结构化数据中提取数据，为诸如“目前有多少居民正在享受医疗保险？”等提示提供人工智能生成的答案。 SkyPoint 首席执行官蒂森·马修最近告诉我。他说，这有助于护理人员根据准确的数据快速做出明智的决策。

然而，马修说，达到这一点是一个过程。他的团队首先采用了标准的法学硕士课程，并使用 SkyPoint 数据对其进行了微调。 “它带来了灾难性的结果——甚至是随机的单词，”他说。 SkyPoint 可以处理理解和创建提示的问题，但它需要人工智能技术堆栈来大规模生成准确的答案。

SkyPoint 最终构建了一个系统，该系统从运营商和提供商处获取结构化数据，例如电子医疗记录和工资数据。这存储在列式数据库中； RAG用于查询它。非结构化数据，例如政策、程序以及国家法规，存储在矢量数据库中： DataStax Astra 数据库。

蒂森举了一个例子：如果居民变得施虐怎么办？ Astra DB 提供了一个根据国家法规和用户上下文以及各种不同文档和信息组合而成的答案向量嵌入，采用高级护理机构工作人员易于理解的自然语言，

“这些是必须正确的具体答案，”蒂森说。 “组织依靠这些信息为其社区和业务做出明智的决策。”