通过将反馈转化为原则来交互式批评大型语言模型

链接表

摘要与简介

相关工作

形成性研究

宪法制定者

执行

用户研究

发现

讨论

结论和参考文献

抽象的

大语言模型 (LLM) 提示是一种很有前景的新方法，可供用户创建和定制自己的聊天机器人。然而，当前控制聊天机器人输出的方法（例如提示工程和微调）不支持用户将对模型输出的自然反馈转换为提示或模型的变化。在这项工作中，我们探索如何使用户能够通过他们的反馈交互式地完善模型输出，帮助他们将反馈转化为一组指示模型行为的原则（即宪法）。通过一项形成性研究，我们（1）发现用户需要支持将他们的反馈转化为聊天机器人的原则，（2）对用户所需的不同原则类型进行分类。受这些发现的启发，我们开发了ConstitutionMaker，这是一种交互式工具，用于将用户反馈转化为原则，以引导基于法学硕士的聊天机器人。借助ConstitutionMaker，用户可以用自然语言提供正面或负面反馈，选择自动生成的反馈，或重写聊天机器人的响应；每种反馈模式都会自动生成一条原则，并将其插入聊天机器人的提示中。在一项有 14 名参与者参与的用户研究中，我们将《ConstitutionMaker》与删减版本进行比较，其中用户编写了自己的原则。通过ConstitutionMaker，参与者认为他们的原则可以更好地指导聊天机器人，他们可以更轻松地将反馈转化为原则，并且他们可以更有效地编写原则，而精神需求更少。 ConventionMaker 帮助用户确定改进聊天机器人的方法，将他们对模型的直观反应转化为反馈，并将这些反馈转化为具体而明确的原则。总之，这些发现为未来支持对法学硕士成果进行交互式批评的工具提供了信息。

CCS 概念

• 以人为中心的计算 → 人机交互的实证研究；互动系统和工具； •计算方法→机器学习。

关键词

大语言模型、对话式人工智能、互动批评

1 简介

大型语言模型（LLM）可以应用于广泛的问题，从创意写作辅助[8,26,36,44]到代码合成[13,14,20]。目前，用户通过即时工程[4]、参数高效调整[19]和微调[10]等策略来定制这些模型以适应特定任务。

除了这些定制 LLM 的常用方法之外，最近的工作表明，用户还希望通过自然语言反馈直接引导这些模型（图 2A）。更具体地说，一些用户希望能够批评模型的输出以指定它们应该如何不同 [5]。我们将这种定制策略称为互动批评。

当与 ChatGPT[1][28] 或 Bard[2] 等聊天机器人交互时，交互式批评通常会改变聊天机器人的后续响应以符合批评。但是，这些更改不是持久的：用户必须在与模型的每次新交互期间重复这些说明。用户还必须意识到，他们实际上可以通过这种方式改变模型的行为，并且必须以可能导致模型未来响应发生变化的方式提出批评。鉴于这种定制模式的潜在价值，我们有机会提供一流的支持，使用户能够通过自然语言批评定制法学硕士。

在模型定制的背景下，宪法人工智能[1]提供了涉及自然语言原理的特定定制策略。原则可以被认为是语言模型应遵循的规则，例如“不要创建有害的、性别歧视或种族主义的内容”。给定一组原则，宪政人工智能系统将 1）重写违反原则的模型响应，2）用重写的响应微调模型。回到交互式批评的概念，我们可以想象从用户的批评中推导出新的或完善的宪法人工智能原则。然后，这些派生原则可用于更改法学硕士的提示（图 2B）或生成新的训练数据，就像最初的宪法人工智能工作一样。

虽然最近的这项工作表明原则可以成为定制法学硕士的可解释且有效的策略，但根据我们的反馈，人们对编写这些原则的人类过程知之甚少。通过一项形成性研究，我们发现将批评转化为原则涉及许多认知挑战。为了应对这些挑战，我们提出了ConstitutionMaker，这是一个交互式批评系统，可以将用户的模型批评转化为细化模型行为的原则。制宪者在每次对话时都会生成三个候选人的回应。除了这三个候选响应之外，ConstitutionMaker 还提供了三个原则启发功能：1）荣誉，用户可以为响应提供积极反馈；2）批评，用户可以为响应提供负面反馈；3）重写，其中用户可以重写给定的响应。根据此反馈，ConstitutionMaker 推断出一个原则，并将其纳入聊天机器人的提示中。

为了评估宪法制定者帮助用户编写原则的效果，我们与 14 名熟悉提示的行业专业人士进行了一项受试者内用户研究。参与者使用“ConstitutionMaker”和一个缺乏多个候选人响应和原则启发功能的精简版本。在这两种情况下，他们的目标都是编写定制两个聊天机器人的原则。通过研究，我们发现这两个不同的版本产生了截然不同的工作流程。在精简版本中，参与者仅在机器人与他们的期望相差很大时才编写原则，从而导致编写的原则总数明显减少。相比之下，在制宪者条件下，参与者参与一个工作流程，在该工作流程中，他们扫描了多个候选人的回答，并对他们最喜欢的回答表示赞赏，从而总体上产生了更多原则。这些不同的工作流程也给编写原则带来了特定条件的挑战。在删减版本中，用户常常会低估原则；而在ConstitutionMaker中，用户有时会过度指定他们的原则，尽管这种情况发生的频率较低。最后，这两种情况有时会导致两个或多个原则相互冲突的问题。

总体而言，通过ConstitutionMaker，参与者认为他们的原则可以更好地指导聊天机器人，他们可以更轻松地将反馈转化为原则，并且他们可以更有效地编写原则，而精神需求更少。制宪者还通过帮助参与者在编写原则时支持他们的思维过程：1）认识到通过多个候选人的反应可以更好地做出反应，2）将他们对为什么喜欢或不喜欢反应的直觉转化为口头反馈，以及3）表达这种反馈作为具体原则。

总的来说，这项工作做出了以下贡献：

• 参与者想要编写的指导聊天机器人行为的原则类型的分类。

• 设计ConstitutionMaker，这是一种交互式工具，用于将用户反馈转化为指导聊天机器人行为的原则。宪法制定者引入了三个新颖的原则启发功能：荣誉、批评和重写，每个功能都会生成一条插入聊天机器人提示中的原则。

• 一项 14 名参与者的用户研究的结果，参与者认为，ConstitutionMaker 使他们能够 1) 编写更好地指导聊天机器人的原则，2) 更轻松地将反馈转化为原则，以及 3) 更有效地编写原则，减少心理需求。

• 我们描述ConstitutionMaker 如何支持参与者的思维过程，包括帮助他们确定改进反应的方法、将他们的直觉转化为自然语言反馈以及将他们的反馈表述为具体原则。我们还描述了两个系统启用的不同工作流程如何导致编写原则和原则限制方面的不同挑战。

总之，这些发现为未来通过交互式批评以交互方式完善法学硕士输出的工具提供了信息。

[1] https://chat.openai.com/

[2] https://bard.google.com