LLM을 위한 구문 오류가 없고 일반화 가능한 도구 사용: 관련 작업

링크 표

• 초록 및 소개
• 관련된 일
• ToolDec: 유한 상태 디코딩을 통한 LLM 도구 사용
• 실험: ToolDec은 구문 오류를 제거합니다
• 실험: ToolDec은 일반화 가능한 도구 선택을 가능하게 합니다
• 결론 및 참고자료
• 부록

2. 관련 업무

도구를 사용하기 위해 언어 모델을 미세 조정합니다. 인터리브 텍스트 및 도구 사용이 포함된 데이터가 있는 도구를 사용하도록 언어 모델을 미세 조정할 수 있습니다. 이전 연구에서는 언어 모델이 검색 모듈(Borgeaud et al., 2022; Guu et al., 2020) 또는 검색 엔진(Nakano et al., 2021)과 같은 단일 도구를 미세 조정하여 사용하도록 했습니다. 여러 도구를 사용하는 도구 증강 언어 모델의 최근 발전(Schick et al., 2023; Parisi et al., 2022)은 또한 QA 모델, 번역 모델, 계산기 및 검색 엔진을 포함한 도구를 사용하도록 언어 모델을 미세 조정합니다. ToolkenGPT(Hao et al., 2023)는 도구를 나타내기 위해 여러 특수 토큰을 사용할 것을 제안하고 새로운 도구 채택이 더 효율적일 수 있도록 토큰의 임베딩만 조정합니다. 그러나 도구 사용을 위한 미세 조정 접근 방식에는 여전히 새로운 데이터가 필요하며 모델을 새로운 도구에 적용하기 위한 추가 미세 조정이 필요합니다. 유한 상태 디코딩과 이전 두 패러다임의 차이점을 표 1에 나열합니다.

도구 사용을 위한 상황 내 학습. 언어 모델은 상황 내 예제(Brown et al., 2020)를 통해 학습하고 지침(Ouyang et al., 2022)을 따를 수 있습니다. 이를 통해 간단히 도구 설명을 프롬프트에 넣고 언어 모델에 해당 도구를 사용하도록 요청하는 것이 가능해졌습니다. 최근 연구에서는 이러한 가능성을 사용하여 신경 모델(Shen et al., 2023), RESTful API(Qin et al., 2023; Song et al., 2023), 프로그램 해석기(Chen et al., 2022; Gao et al. ., 2023) 및 문제 해결을 위한 기타 다양한 도구를 제공합니다. 상황 내 학습에는 새로운 도구를 사용하기 위해 추가 모델 조정이 필요하지 않습니다. 그러나 새로운 도구에 대한 설명과 문서화는 여전히 프롬프트에 있어야 하므로 계산 비용이 증가하고 모델이 실제로 작업을 추론하는 데 필요한 컨텍스트 예산이 제한됩니다.

제한된 디코딩 및 유한 상태 기계. 이전의 제한된 디코딩 방법은 주로 어휘 제약 조건에 중점을 둡니다(Anderson et al., 2017). 유한 상태 기계(Anderson et al., 2017)를 사용하여 어휘적으로 제한된 디코딩의 대규모 검색 공간을 줄이고 유사한 후보를 그룹화하고(Hokamp & Liu, 2017) 더 나은 검색 알고리즘(Miao et al., 2019; Lu et al. al., 2022; 그러나 어휘 제약 조건은 도구 호출을 규제할 만큼 표현력이 충분하지 않습니다. 유한 상태 기계는 자연어의 소프트 제약 조건을 처리하기 위해 가중치를 부여하고 확률론적이어야 하지만(Eisner, 2002; Rastogi et al., 2016), 구문 도구 호출에 대한 제약 조건은 FSM에 훨씬 쉬운 하드 제약 조건입니다. 그러므로 우리는 유효한 도구 호출의 구문적 제약을 충족시키기 위해 TOOLDEC을 제안합니다.