피드백을 원칙으로 변환하여 대규모 언어 모델을 대화형으로 비판

링크 테이블

개요 및 소개

관련된 일

형성 연구

헌법 제정자

구현

사용자 연구

결과

논의

결론 및 참고자료

추상적인

LLM(대형 언어 모델) 프롬프트는 사용자가 자신만의 챗봇을 만들고 맞춤 설정할 수 있는 유망한 새로운 접근 방식입니다. 그러나 프롬프트 엔지니어링 및 미세 조정과 같은 챗봇의 출력을 조정하는 현재 방법은 사용자가 모델 출력에 대한 자연스러운 피드백을 프롬프트 또는 모델의 변경 사항으로 변환하는 것을 지원하지 않습니다. 이 작업에서 우리는 사용자가 자신의 피드백을 모델의 동작을 지시하는 일련의 원칙(즉 구성)으로 변환하도록 지원하여 사용자가 피드백을 통해 모델 출력을 대화형으로 개선할 수 있도록 하는 방법을 탐구합니다. 형성 연구를 통해 우리는 (1) 사용자가 자신의 피드백을 챗봇의 원칙으로 변환하는 데 지원이 필요하다는 것을 발견했고 (2) 사용자가 원하는 다양한 원칙 유형을 분류했습니다. 이러한 연구 결과에 영감을 받아 우리는 LLM 기반 챗봇을 조종하기 위해 사용자 피드백을 원칙으로 변환하는 대화형 도구인 ConstitutionMaker를 개발했습니다. ConstitutionMaker를 사용하면 사용자는 자연어로 긍정적이거나 부정적인 피드백을 제공하거나, 자동 생성된 피드백을 선택하거나, 챗봇의 응답을 다시 작성할 수 있습니다. 각 피드백 모드는 챗봇의 프롬프트에 삽입되는 원칙을 자동으로 생성합니다. 14명의 참가자를 대상으로 한 사용자 연구에서 우리는 ConstitutionMaker를 사용자가 자신의 원칙을 작성하는 제거된 버전과 비교했습니다. ConstitutionMaker를 통해 참가자들은 자신의 원칙이 챗봇을 더 잘 안내할 수 있고, 피드백을 원칙으로 더 쉽게 변환할 수 있으며, 정신적인 노력을 덜 들이고 원칙을 보다 효율적으로 작성할 수 있다고 느꼈습니다. ConstitutionMaker는 사용자가 챗봇을 개선하는 방법을 식별하고, 모델에 대한 직관적인 응답을 피드백으로 공식화하고, 이 피드백을 구체적이고 명확한 원칙으로 변환하는 데 도움을 주었습니다. 이러한 결과는 LLM 결과물의 대화형 비평을 지원하는 미래 도구에 대한 정보를 제공합니다.

CCS 개념

• 인간 중심 컴퓨팅 → HCI에 대한 실증적 연구; 대화형 시스템 및 도구 • 컴퓨팅 방법론 → 기계 학습.

키워드

대규모 언어 모델, 대화형 AI, 대화형 비평

1. 소개

LLM(대형 언어 모델)은 창의적인 글쓰기 지원[8, 26, 36, 44]부터 코드 합성[13, 14, 20]에 이르기까지 광범위한 문제에 적용될 수 있습니다. 사용자는 현재 신속한 엔지니어링[4], 매개변수 효율적인 조정[19] 및 미세 조정[10]과 같은 전략을 통해 이러한 모델을 특정 작업에 맞게 사용자 정의합니다.

LLM을 사용자 정의하기 위한 이러한 일반적인 방법 외에도 최근 연구에 따르면 사용자는 자연어 피드백을 통해 이러한 모델을 직접 조종하고 싶어하는 것으로 나타났습니다(그림 2A). 보다 구체적으로 일부 사용자는 모델의 출력을 비판하여 모델의 출력이 어떻게 달라야 하는지를 지정할 수 있기를 원합니다[5]. 우리는 이러한 맞춤화 전략을 대화형 비평이라고 부릅니다.

ChatGPT[1] [28] 또는 Bard[2]와 같은 챗봇과 상호 작용할 때 대화형 비평은 비평에 맞게 챗봇의 후속 응답을 변경하는 경우가 많습니다. 그러나 이러한 변경 사항은 영구적이지 않습니다. 사용자는 모델과 새로운 상호 작용을 할 때마다 이러한 지침을 반복해야 합니다. 또한 사용자는 실제로 이러한 방식으로 모델의 동작을 변경할 수 있다는 점을 인식해야 하며 모델의 향후 응답에 변화를 가져올 수 있는 방식으로 비판을 공식화해야 합니다. 이러한 사용자 정의 모드의 잠재적 가치를 고려할 때 사용자가 자연어 비평을 통해 LLM을 사용자 정의할 수 있도록 하는 일류 지원을 제공할 수 있는 기회가 있습니다.

모델 맞춤화의 맥락에서 Constitutional AI[1]는 자연어 원리를 포함하는 구체적인 맞춤화 전략을 제공합니다. 원칙은 “해롭거나 성차별적이거나 인종차별적인 콘텐츠를 만들지 마세요”와 같이 언어 모델이 따라야 하는 규칙으로 생각할 수 있습니다. 일련의 원칙이 주어지면 헌법 AI 시스템은 1) 원칙을 위반하는 모델 응답을 다시 작성하고 2) 다시 작성된 응답으로 모델을 미세 조정합니다. 대화형 비평이라는 개념으로 돌아가서, 사용자의 비평에서 새롭거나 세련된 헌법적 AI 원칙을 도출하는 것을 상상할 수 있습니다. 이렇게 파생된 원리는 원래 Constitutional AI 작업에서와 같이 LLM의 프롬프트(그림 2B)를 변경하거나 새로운 훈련 데이터를 생성하는 데 사용될 수 있습니다.

이 최근 연구에서는 원칙이 LLM을 맞춤화하는 설명 가능하고 효과적인 전략이 될 수 있음을 보여 주었지만 피드백을 통해 이러한 원칙을 작성하는 인간 프로세스에 대해서는 알려진 바가 거의 없습니다. 형성 연구를 통해 우리는 비평을 원칙으로 전환하는 데 많은 인지적 어려움이 있음을 발견했습니다. 이러한 과제를 해결하기 위해 우리는 사용자의 모델 비평을 모델의 동작을 개선하는 원칙으로 변환하는 대화형 비평 시스템인 ConstitutionMaker를 제시합니다. ConstitutionMaker는 각 대화 차례마다 세 가지 후보 응답을 생성합니다. 이 세 가지 후보 응답 외에도 ConstitutionMaker는 세 가지 원칙 도출 기능을 제공합니다. 1) 사용자가 응답에 대해 긍정적인 피드백을 제공할 수 있는 칭찬, 2) 사용자가 응답에 대해 부정적인 피드백을 제공할 수 있는 비판, 3) 재작성 사용자는 주어진 응답을 다시 작성할 수 있습니다. 이 피드백에서 ConstitutionMaker는 챗봇의 프롬프트에 통합되는 원칙을 추론합니다.

ConstitutionMaker가 사용자가 원칙을 작성하는 데 얼마나 도움이 되는지 평가하기 위해 프롬프트에 익숙한 업계 전문가 14명을 대상으로 주제 내 사용자 연구를 실시했습니다. 참가자들은 ConstitutionMaker와 다중 후보 응답 및 원칙 도출 기능이 부족한 제거 버전을 사용했습니다. 두 경우 모두 목표는 두 개의 챗봇을 사용자 정의하는 원칙을 작성하는 것이었습니다. 연구를 통해 우리는 두 가지 다른 버전이 매우 다른 작업 흐름을 생성한다는 것을 발견했습니다. 제거된 버전을 사용하면 참가자는 봇이 기대에서 상당히 벗어날 때만 원칙을 작성하여 전체적으로 작성되는 원칙의 수가 훨씬 적습니다. 이와 대조적으로 ConstitutionMaker 조건에서 참가자들은 여러 후보 응답을 스캔하고 가장 좋아하는 응답에 칭찬을 하여 전체적으로 더 많은 원칙을 도출하는 워크플로에 참여했습니다. 이러한 다양한 작업 흐름으로 인해 원칙 작성 시 조건별 문제도 발생했습니다. 제거된 버전을 사용하면 사용자는 원칙을 과소 명시하는 경우가 많습니다. 반면 ConstitutionMaker에서는 사용자가 원칙을 과도하게 지정하는 경우가 있었지만 이러한 경우는 자주 발생하지 않았습니다. 마지막으로, 두 가지 조건 모두 때로는 두 개 이상의 원칙이 서로 충돌하는 문제로 이어질 수 있습니다.

전반적으로 ConstitutionMaker를 사용하여 참가자들은 자신의 원칙이 챗봇을 더 잘 안내할 수 있고, 피드백을 원칙으로 더 쉽게 변환할 수 있으며, 정신적인 노력을 덜 하면서 원칙을 보다 효율적으로 작성할 수 있다고 느꼈습니다. ConstitutionMaker는 또한 참가자들이 1) 여러 후보 응답을 통해 응답이 더 나아질 수 있는 방법을 인식하고, 2) 응답을 좋아하거나 싫어하는 이유에 대한 직관을 구두 피드백으로 변환하고, 3) 이 피드백을 표현하도록 도움으로써 원칙을 작성하면서 그들의 사고 과정을 지원했습니다. 구체적인 원칙으로.

전체적으로 이 작업은 다음과 같은 기여를 합니다.

• 참가자가 챗봇 행동을 조종하기 위해 작성하려는 원칙의 종류를 분류합니다.

• 사용자 피드백을 챗봇 동작을 조종하는 원칙으로 변환하는 대화형 도구인 ConstitutionMaker의 설계. ConstitutionMaker는 칭찬, 비평, 재작성의 세 가지 새로운 원리 유도 기능을 도입합니다. 각 기능은 챗봇의 프롬프트에 삽입되는 원리를 생성합니다.

• 참가자 14명이 참여한 사용자 연구에서 얻은 결과에 따르면 참가자들은 ConstitutionMaker를 통해 1) 챗봇을 더 잘 안내하는 원칙을 작성하고, 2) 피드백을 보다 쉽게 원칙으로 변환하고, 3) 정신적인 노력을 덜 하면서 원칙을 보다 효율적으로 작성할 수 있다고 느꼈습니다. .

• 우리는 ConstitutionMaker가 응답을 개선하는 방법을 식별하고 직관을 자연어 피드백으로 변환하고 피드백을 특정 원칙으로 표현하는 것을 포함하여 참가자의 사고 과정을 어떻게 지원했는지 설명합니다. 또한 두 시스템을 통해 구현된 서로 다른 워크플로우로 인해 작성 원칙과 원칙의 한계가 어떻게 다른 문제로 이어졌는지 설명합니다.

이러한 결과는 대화형 비평을 통해 LLM 결과를 대화형으로 개선하기 위한 미래 도구에 대한 정보를 제공합니다.

[1] https://chat.openai.com/

[2] https://bard.google.com