저자:  (1) Kexun Zhang, UC Santa Barbara 및 균등 기여;  (2) Hongqiao Chen, Northwood 고등학교 및 균등 기여;  (3) 카네기멜론대학교 레이 리(Lei Li);  (4) 윌리엄 양 왕(UC Santa Barbara).  링크 표   초록 및 소개   관련된 일   ToolDec: 유한 상태 디코딩을 통한 LLM 도구 사용   실험: ToolDec은 구문 오류를 제거합니다   실험: ToolDec은 일반화 가능한 도구 선택을 가능하게 합니다   결론 및 참고자료   부록  2. 관련 업무    인터리브 텍스트 및 도구 사용이 포함된 데이터가 있는 도구를 사용하도록 언어 모델을 미세 조정할 수 있습니다. 이전 연구에서는 언어 모델이 검색 모듈(Borgeaud et al., 2022; Guu et al., 2020) 또는 검색 엔진(Nakano et al., 2021)과 같은 단일 도구를 미세 조정하여 사용하도록 했습니다. 여러 도구를 사용하는 도구 증강 언어 모델의 최근 발전(Schick et al., 2023; Parisi et al., 2022)은 또한 QA 모델, 번역 모델, 계산기 및 검색 엔진을 포함한 도구를 사용하도록 언어 모델을 미세 조정합니다. ToolkenGPT(Hao et al., 2023)는 도구를 나타내기 위해 여러 특수 토큰을 사용할 것을 제안하고 새로운 도구 채택이 더 효율적일 수 있도록 토큰의 임베딩만 조정합니다. 그러나 도구 사용을 위한 미세 조정 접근 방식에는 여전히 새로운 데이터가 필요하며 모델을 새로운 도구에 적용하기 위한 추가 미세 조정이 필요합니다. 유한 상태 디코딩과 이전 두 패러다임의 차이점을 표 1에 나열합니다. 도구를 사용하기 위해 언어 모델을 미세 조정합니다.    언어 모델은 상황 내 예제(Brown et al., 2020)를 통해 학습하고 지침(Ouyang et al., 2022)을 따를 수 있습니다. 이를 통해 간단히 도구 설명을 프롬프트에 넣고 언어 모델에 해당 도구를 사용하도록 요청하는 것이 가능해졌습니다. 최근 연구에서는 이러한 가능성을 사용하여 신경 모델(Shen et al., 2023), RESTful API(Qin et al., 2023; Song et al., 2023), 프로그램 해석기(Chen et al., 2022; Gao et al. ., 2023) 및 문제 해결을 위한 기타 다양한 도구를 제공합니다. 상황 내 학습에는 새로운 도구를 사용하기 위해 추가 모델 조정이 필요하지 않습니다. 그러나 새로운 도구에 대한 설명과 문서화는 여전히 프롬프트에 있어야 하므로 계산 비용이 증가하고 모델이 실제로 작업을 추론하는 데 필요한 컨텍스트 예산이 제한됩니다. 도구 사용을 위한 상황 내 학습.    이전의 제한된 디코딩 방법은 주로 어휘 제약 조건에 중점을 둡니다(Anderson et al., 2017). 유한 상태 기계(Anderson et al., 2017)를 사용하여 어휘적으로 제한된 디코딩의 대규모 검색 공간을 줄이고 유사한 후보를 그룹화하고(Hokamp & Liu, 2017) 더 나은 검색 알고리즘(Miao et al., 2019; Lu et al. al., 2022; 그러나 어휘 제약 조건은 도구 호출을 규제할 만큼 표현력이 충분하지 않습니다. 유한 상태 기계는 자연어의 소프트 제약 조건을 처리하기 위해 가중치를 부여하고 확률론적이어야 하지만(Eisner, 2002; Rastogi et al., 2016), 구문 도구 호출에 대한 제약 조건은 FSM에 훨씬 쉬운 하드 제약 조건입니다. 그러므로 우리는 유효한 도구 호출의 구문적 제약을 충족시키기 위해 TOOLDEC을 제안합니다. 제한된 디코딩 및 유한 상태 기계.  이 문서는 CC 4.0 DEED 라이선스에 따라   있습니다. arxiv에서 볼 수

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

AI Models on HackerNoon

이 오디오는 이야기의 원래 언어로 제작되었습니다!

너무 오래; 읽다

Make resilience your competitive advantage

LLM을 위한 구문 오류가 없고 일반화 가능한 도구 사용: 관련 작업

About Author

코멘트

태그 걸기

이 기사는 다음에서 발표되었습니다.

Related Stories

보이지 않는 레이어: 사용자 인터뷰가 대체할 수 없는 자산인 이유

바다 항해: 데이터 레이크를 사용하여 프로덕션 등급 RAG 애플리케이션 개발

HackerNoon 글쓰기 대회에서 우승하고 싶으신가요? #crypto-api 대회 우승자들이 추천하는 내용은 다음과 같습니다.

디지털 유목민 들어보기: 태국의 새로운 DTV 비자에 대해 알아야 할 사항

보이지 않는 레이어: 사용자 인터뷰가 대체할 수 없는 자산인 이유

바다 항해: 데이터 레이크를 사용하여 프로덕션 등급 RAG 애플리케이션 개발

HackerNoon 글쓰기 대회에서 우승하고 싶으신가요? #crypto-api 대회 우승자들이 추천하는 내용은 다음과 같습니다.

디지털 유목민 들어보기: 태국의 새로운 DTV 비자에 대해 알아야 할 사항

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps