AI 피드백을 통한 품질 다양성(QDAIF): 자율적인 AI 창의성을 향한 발걸음

링크 표

개요 및 소개

배경 및 관련 작업

접근하다

문예 창작 분야 실험

토론 및 결론

A 부록

추상적인

많은 텍스트 생성 문제에서 사용자는 단일 응답뿐만 아니라 선택할 수 있는 다양한 고품질 출력을 선호할 수 있습니다. 품질 다양성(QD) 검색 알고리즘은 후보자 모집단을 지속적으로 개선하고 다양화하여 이러한 결과를 목표로 합니다. 그러나 QD를 창의적 글쓰기와 같은 질적 영역에 적용하는 것은 품질과 다양성의 척도를 알고리즘적으로 지정하는 것이 어렵기 때문에 제한되었습니다. 흥미롭게도 최근 언어 모델(LM)의 개발로 인해 AI 피드백을 통한 검색 안내가 가능해졌으며, LM은 텍스트의 질적 측면을 평가하기 위해 자연어로 메시지를 표시합니다. 이러한 개발을 활용하여 QDAIF(Quality-Diversity through AI Feedback)를 도입합니다. 여기서 진화 알고리즘은 LM을 적용하여 변형을 생성하고 후보 텍스트의 품질과 다양성을 평가합니다. 창의적 글쓰기 도메인을 평가할 때 QDAIF는 QD가 아닌 컨트롤보다 고품질 샘플로 지정된 검색 공간을 더 많이 다루고 있습니다. 또한, QDAIF가 생성한 창의적 텍스트에 대한 인간의 평가는 AI와 인간의 평가 사이의 합리적인 합의를 검증합니다. 따라서 우리의 결과는 창의적이고 독창적인 솔루션에 대한 개방형 검색을 안내하는 AI 피드백의 잠재력을 강조하여 많은 도메인과 양식에 일반화되는 레시피를 제공합니다. 이러한 방식으로 QDAIF는 인간 사회의 혁신 역량을 뒷받침하는 핵심 기술 중 하나인 AI 시스템을 독립적으로 검색, 다양화, 평가 및 개선할 수 있는 단계로 나아가고 있습니다.[1]

1. 소개

인간의 혁신은 창의성을 창출하는 능력일 뿐만 아니라 새로운 아이디어와 인공물의 주관적 품질을 평가하는 능력도 포함합니다. 훌륭한 아이디어는 전체적으로 한꺼번에 생성되는 경우가 거의 없으며 오히려 다양한 정교화 및 수정 체인을 통해 점차적으로 나타납니다(Stanley & Lehman, 2015). 이러한 아이디어 트리를 성공적으로 탐색하려면 제작자는 체인의 어느 단계를 더 추구할 가치가 있는지 평가해야 하며, 이는 특히 예술적 또는 문학적 차원의 영역에서 매우 주관적일 수 있는 질문입니다.

지금까지는 AI가 후보자를 제공할 수 있다고 해도 이렇게 주관적인 평가를 할 수 있다는 희망은 확고하게 인간에게 있었다. 그러나 최근 새롭게 떠오르는 기초 모델 기술(Bommasani et al., 2021)은 이제 평가가 부분적으로 주관적인 경우에도 모델이 평가자 역할을 할 수 있음을 의미합니다(Madaan et al., 2023). 이러한 방식으로 처음으로 다양한 흥미로운 아티팩트 세트를 반환하는 전체 아이디어 프로세스가 원칙적으로 자동화될 수 있습니다. 이 프로세스는 LM이 완전히 자체적으로 실행할 수는 없지만 미묘한 방식으로 모델 호출과 검색 알고리즘을 함께 연결해야 합니다. 이 백서에서는 이러한 잠재력을 달성하기 위한 한 가지 방법을 강조합니다. 즉, LM을 품질 다양성(QD) 분야와 결합하는 것입니다(Mouret & Clune, 2015). 이는 디자인 공간에 걸쳐 고품질 솔루션을 생성하는 검색 프로세스를 설계하는 방법에 중점을 둡니다. .

QD 알고리즘의 주요 통찰력은 고품질의 다양한 응답을 명시적으로 유지하고 찾는 것입니다. 일반적으로 이러한 검색 알고리즘에는 의미 있는 변형을 생성하는 방법뿐만 아니라 다양성과 품질에 대한 직접 설계된 측정이 필요합니다. 그러나 가장 흥미롭고 복잡한 영역에는 거의 항상 주관적이거나 알고리즘으로 지정하기 어려운 성능, 다양성 및 변형 개념이 포함됩니다. LM을 통해 변형을 생성하고(Lehman et al., 2022; Meyerson et al., 2023) LM을 통해 잠재적 솔루션의 품질을 평가하는 작업을 확장하면(Ahn et al., 2022), LM을 평가에도 사용할 수 있음을 보여줍니다. 다양성의 질적인 측면. 이러한 방식으로 LM은 QD 검색의 세 가지 주요 요소를 인스턴스화할 수 있으며 이를 통해 지속적인 LM 발전의 뒤를 잇는 강력하고 새로운 QD 알고리즘을 활성화할 수 있습니다. 이를 AI 피드백을 통한 품질 다양성(QDAIF)이라고 합니다. 이러한 QDAIF는 모델 미세 조정이 필요 없이 보다 직관적인 다양성 측정을 통해 LM 프롬프트에 대한 다양한 고품질 응답을 탐색하고 반환할 수 있습니다(물론 LM이 미세 조정을 생성하여 자체 개선하는 데에도 사용될 수 있음). 데이터(Lehman et al., 2022; Chen et al., 2023)), 생성된 데이터를 통해 AI 생성 알고리즘을 향한 자체 선별된 효과적인 학습 환경에 대한 흥미로운 방향(Clune, 2019)).

우리는 의견 쓰기, 단편 소설, 시 등 세 가지 창의적 글쓰기 영역에 걸쳐 QDAIF를 평가합니다. 이러한 창의적인 영역에서 사용자는 선택하거나 영감을 받을 수 있는 다양한 이야기나 시를 보는 것을 즐기는 경우가 많습니다. 정량적 결과에 따르면 QDAIF는 기존 기준보다 훨씬 뛰어난 성능을 나타냅니다. 또한 인간의 평가를 통해 인간과 AI가 생성한 피드백 사이의 강력한 일치를 관찰하여 AI 피드백이 근거가 있고 해당 방법이 실제로 작동할 수 있다는 경험적 증거를 제공합니다(즉, 인간이 측정한 대로 향상된 품질과 다양성을 제공합니다). 전반적으로 QDAIF는 문화와 과학을 창조할 수 있는 인간의 핵심 능력 중 하나인 독립적으로 검색하고 혁신할 수 있는 AI 모델에 한 걸음 더 다가가도록 해줍니다(Stanley et al., 2017).

[1] 프로젝트 페이지: https://qdaif.github.io/