Autores:  (1) Kexun Zhang, UC Santa Bárbara e contribuição igual;  (2) Hongqiao Chen, Northwood High School e contribuição igual;  (3) Lei Li, Universidade Carnegie Mellon;  (4) William Yang Wang,UC Santa Bárbara.  Tabela de links   Resumo e introdução   Trabalho relatado   ToolDec: uso de ferramenta LLM via decodificação de estados finitos   Experiência: ToolDec elimina erros de sintaxe   Experiência: ToolDec permite seleção de ferramentas generalizáveis   Conclusão e Referências   Apêndice  2. TRABALHO RELACIONADO    Os modelos de linguagem podem ser ajustados para usar ferramentas com dados que contenham texto intercalado e uso de ferramentas. Estudos anteriores fazem com que os modelos de linguagem usem uma única ferramenta como um módulo de recuperação (Borgeaud et al., 2022; Guu et al., 2020) ou um mecanismo de busca (Nakano et al., 2021) por meio de ajuste fino. Avanços recentes em modelos de linguagem aumentada que usam múltiplas ferramentas (Schick et al., 2023; Parisi et al., 2022) também ajustam modelos de linguagem para usar ferramentas, incluindo modelos de controle de qualidade, modelos de tradução, calculadoras e mecanismos de pesquisa. ToolkenGPT (Hao et al., 2023) propõe o uso de vários tokens especiais para representar ferramentas e apenas ajusta os embeddings dos tokens para que a adoção de novas ferramentas possa ser mais eficiente. No entanto, as abordagens de ajuste fino para o uso de ferramentas ainda precisam de novos dados e ajustes extras para adaptar um modelo a novas ferramentas. Listamos as diferenças entre a decodificação de estado finito e os dois paradigmas anteriores na Tabela 1. Ajustando modelos de linguagem para usar ferramentas.    Os modelos de linguagem podem aprender com exemplos no contexto (Brown et al., 2020) e seguir instruções (Ouyang et al., 2022). Isso torna possível simplesmente colocar as descrições das ferramentas no prompt e solicitar aos modelos de linguagem que as utilizem. Trabalhos recentes têm utilizado essa possibilidade para utilizar modelos neurais (Shen et al., 2023), APIs RESTful (Qin et al., 2023; Song et al., 2023), intérpretes de programas (Chen et al., 2022; Gao et al., 2022; Gao et al., 2022). ., 2023) e muitas outras ferramentas para resolver problemas. A aprendizagem contextual não precisa de ajuste extra de modelo para usar novas ferramentas. No entanto, a descrição e documentação de novas ferramentas ainda precisam estar no prompt, o que aumenta o custo de cálculo e limita o orçamento de contexto para que o modelo realmente raciocine sobre a tarefa. Aprendizagem contextual para uso de ferramentas.    Os métodos anteriores de decodificação restrita concentram-se principalmente nas restrições lexicais (Anderson et al., 2017). Eles reduzem o grande espaço de busca de decodificação lexicalmente restrita com máquinas de estado finito (Anderson et al., 2017), agrupando candidatos semelhantes (Hokamp & Liu, 2017) e melhores algoritmos de busca (Miao et al., 2019; Lu et al., 2019; Lu et al., 2019; Lu et al., 2019; al., 2021; Entretanto, as restrições lexicais não são expressivas o suficiente para regular as chamadas de ferramentas. Embora as máquinas de estado finito tenham que ser ponderadas e probabilísticas para lidar com as restrições suaves na linguagem natural (Eisner, 2002; Rastogi et al., 2016), as restrições para chamadas de ferramentas sintáticas são restrições rígidas que são muito mais fáceis para os FSMs. Portanto, propomos o TOOLDEC para atender às restrições sintáticas de uma chamada de ferramenta válida. Decodificação restrita e máquinas de estado finito.  Este artigo está   sob licença CC 4.0 DEED. disponível no arxiv

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

AI Models on HackerNoon

Este áudio é produzido no idioma original da história!

Uso de ferramenta generalizável e livre de erros de sintaxe para LLMs: trabalho relacionado

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

Valhalla de Floki se junta como patrocinador associado da viagem da Índia ao Sri Lanka

Quer ganhar um concurso de redação do HackerNoon? Aqui está o que os vencedores do concurso #crypto-api recomendam

Como melhorar seu fluxo de trabalho em 10 vezes: 17 aplicativos essenciais

Uma breve introdução à teoria do cérebro de Boltzmann

Valhalla de Floki se junta como patrocinador associado da viagem da Índia ao Sri Lanka

Quer ganhar um concurso de redação do HackerNoon? Aqui está o que os vencedores do concurso #crypto-api recomendam

Como melhorar seu fluxo de trabalho em 10 vezes: 17 aplicativos essenciais

Uma breve introdução à teoria do cérebro de Boltzmann

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps