Uso de ferramenta generalizável e livre de erros de sintaxe para LLMs: conclusão e referências

Tabela de links

• Resumo e introdução
• Trabalho relatado
• ToolDec: uso de ferramenta LLM via decodificação de estados finitos
• Experiência: ToolDec elimina erros de sintaxe
• Experiência: ToolDec permite seleção de ferramentas generalizáveis
• Conclusão e Referências
• Apêndice

6. CONCLUSÃO

Este artigo apresenta o TOOLDEC, um novo algoritmo de decodificação projetado para aprimorar Large Language Models (LLMs), integrando ferramentas externas e garantindo que sua invocação seja livre de erros de sintaxe. TOOLDEC, guiado por uma máquina de estado finito construída a partir de documentação de ferramentas e assinaturas de API, representa com precisão a gramática das chamadas de ferramentas, abordando problemas predominantes como chamadas de ferramentas erradas e generalização deficiente para ferramentas invisíveis em modelos existentes.

Experimentos demonstram que o TOOLDEC elimina erros de sintaxe relacionados à ferramenta, melhora a precisão e economiza tempo de inferência em vários benchmarks. Ele também exibe a capacidade de generalizar para ferramentas invisíveis em vários domínios sem dados adicionais de ajuste fino. Os avanços da TOOLDEC abrem caminhos para pesquisa no desenvolvimento de modelos mais sofisticados, adaptáveis a uma gama mais ampla de ferramentas e aplicações sem dados de treinamento adicionais, levando a LLMs mais versáteis e robustos, capazes de resolver um espectro mais amplo de problemas complexos.

O sucesso do TOOLDEC na eliminação de erros de sintaxe pode inspirar pesquisas com foco na precisão semântica e na relevância contextual das chamadas de ferramentas. Isto pode levar a modelos que invocam, compreendem e aproveitam ferramentas de forma mais eficaz, melhorando as capacidades gerais de resolução de problemas dos LLMs.

REFERÊNCIAS

Peter Anderson, Basura Fernando, Mark Johnson e Stephen Gould. Legendagem guiada de imagens de vocabulário aberto com pesquisa de feixe restrita. Em Anais da Conferência de 2017 sobre Métodos Empíricos em Processamento de Linguagem Natural, pp. 936–945, Copenhague, Dinamarca, setembro de 2017. Association for Computational Linguistics. doi: 10.18653/v1/D17-1098. URL https://aclanthology.org/D17-1098.

Sebastian Borgeaud, Arthur Mensch, Jordan Hoffmann, Trevor Cai, Eliza Rutherford, Katie Millican, George Bm Van Den Driessche, Jean-Baptiste Lespiau, Bogdan Damoc, Aidan Clark, et al. Melhorar os modelos de linguagem recuperando trilhões de tokens. Na conferência internacional sobre aprendizado de máquina, pp. PMLR, 2022.

Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, e outros. Os modelos de linguagem são aprendizes rápidos. Avanços em sistemas de processamento de informação neural, 33:1877–1901, 2020.

Wenhu Chen, Xueguang Ma, Xinyi Wang e William W Cohen. Programa de estímulo de pensamentos: Separando a computação do raciocínio para tarefas de raciocínio numérico. Impressões eletrônicas arXiv, pp.

Jasão Eisner. Estimação de parâmetros para transdutores probabilísticos de estado finito. Nos Anais da 40ª Reunião Anual da Association for Computational Linguistics, pp. 1–8, 2002.

Eduardo Fredkin. Tente memória. Comunicações do ACM, 3(9):490–499, 1960.

Luyu Gao, Aman Madaan, Shuyan Zhou, Uri Alon, Pengfei Liu, Yiming Yang, Jamie Callan e Graham Neubig. Pal: Modelos de linguagem auxiliados por programa. Na Conferência Internacional sobre Aprendizado de Máquina, pp. PMLR, 2023.

Tanmay Gupta e Aniruddha Kembhavi. Programação visual: Raciocínio visual composicional sem treinamento. ArXiv, abs/2211.11559, 2022.

Kelvin Guu, Kenton Lee, Zora Tung, Panupong Pasupat e Mingwei Chang. Pré-treinamento do modelo de linguagem aumentada de recuperação. Na conferência internacional sobre aprendizado de máquina, pp. PMLR, 2020.

Shibo Hao, Tianyang Liu, Zhen Wang e Zhiting Hu. Toolkengpt: Aumentando modelos de linguagem congelada com ferramentas massivas por meio de incorporações de ferramentas. Pré-impressão do arXiv arXiv:2305.11554, 2023.

Chris Hokamp e Qun Liu. Decodificação lexicalmente restrita para geração de sequência usando pesquisa de feixe de grade. Em Anais da 55ª Reunião Anual da Association for Computational Linguistics (Volume 1: Long Papers), pp. 1535–1546, Vancouver, Canadá, julho de 2017. Association for Computational Linguistics. doi: 10.18653/v1/P17-1141. URL https://aclanthology.org/P17-1141.

Jan-Christoph Kalo e Leandra Fichtel. Kamel: Análise de conhecimento com entidades multitoken em modelos de linguagem. Construção automatizada de base de conhecimento, 2022.

Li Li, Wu Chou, Wei Zhou e Min Luo. Padrões de design e extensibilidade da API REST para aplicativos de rede. Transações IEEE sobre gerenciamento de redes e serviços, 13(1):154–167, 2016.

Ximing Lu, Peter West, Rowan Zellers, Ronan Le Bras, Chandra Bhagavatula e Yejin Choi. Decodificação neurológica: geração de texto neural (não) supervisionada com restrições lógicas de predicados. Nos Anais da Conferência de 2021 do Capítulo Norte-Americano da Association for Computational Linguistics: Human Language Technologies, pp.

Ximing Lu, Sean Welleck, Peter West, Liwei Jiang, Jungo Kasai, Daniel Khashabi, Ronan Le Bras, Lianhui Qin, Youngjae Yu, Rowan Zellers, e outros. Decodificação neurológica a * esque: geração de texto restrita com heurística antecipada. Nos Anais da Conferência de 2022 do Capítulo Norte-Americano da Association for Computational Linguistics: Human Language Technologies, pp.

Gregoire Mialon, Roberto Dess´ `ı, Maria Lomeli, Christoforos Nalmpantis, Ram Pasunuru, Roberta Raileanu, Baptiste Roziere, Timo Schick, Jane Dwivedi-Yu, Asli Celikyilmaz, et al. Modelos de linguagem `aumentados: uma pesquisa. Pré-impressão do arXiv arXiv:2302.07842, 2023.

Ning Miao, Hao Zhou, Lili Mou, Rui Yan e Lei Li. Cgmh: Geração de sentenças restritas por amostragem metrópole-hastings. Em Anais da Conferência AAAI sobre Inteligência Artificial, volume 33, pp. 6834–6842, 2019.

Reiichiro Nakano, Jacob Hilton, Suchir Balaji, Jeff Wu, Long Ouyang, Christina Kim, Christopher Hesse, Shantanu Jain, Vineet Kosaraju, William Saunders, e outros. Webgpt: resposta a perguntas assistida por navegador com feedback humano. Pré-impressão do arXiv arXiv:2112.09332, 2021.

Long Ouyang, Jeffrey Wu, Xu Jiang, Diogo Almeida, Carroll Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, e outros. Treinar modelos de linguagem para seguir instruções com feedback humano. Avanços em Sistemas de Processamento de Informação Neural, 35: 27730–27744, 2022.

Aaron Parisi, Yao Zhao e Noah Fiedel. Talm: Modelos de linguagem aumentada de ferramentas. Pré-impressão do arXiv arXiv:2205.12255, 2022.

Yujia Qin, Shihao Liang, Yining Ye, Kunlun Zhu, Lan Yan, Yaxi Lu, Yankai Lin, Xin Cong, Xiangru Tang, Bill Qian, e outros. Toolllm: Facilitando grandes modelos de linguagem para dominar mais de 16.000 APIs do mundo real. Pré-impressão do arXiv arXiv:2307.16789, 2023.

Pushpendre Rastogi, Ryan Cotterell e Jason Eisner. Ponderando transduções de estado finito com contexto neural. Dentro Anais da conferência de 2016 do capítulo norte-americano da Association for Computational Linguistics: tecnologias de linguagem humana, pp.

Timo Schick, Jane Dwivedi-Yu, Roberto Dess`ı, Roberta Raileanu, Maria Lomeli, Luke Zettlemoyer, Nicola Cancedda e Thomas Scialom. Toolformer: Os modelos de linguagem podem aprender sozinhos a usar ferramentas. Pré-impressão do arXiv arXiv:2302.04761, 2023.

Yongliang Shen, Kaitao Song, Xu Tan, Dongsheng Li, Weiming Lu e Yueting Zhuang. Hugginggpt: Resolvendo tarefas de IA com chatgpt e seus amigos no abraço, 2023.

Yifan Song, Weimin Xiong, Dawei Zhu, Wenhao Wu, Han Qian, Mingbo Song, Hailiang Huang, Cheng Li, Ke Wang, Rong Yao, Ye Tian e Sujian Li. Restgpt: Conectando grandes modelos de linguagem com APIs restful do mundo real, 2023.

Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothee´ Lacroix, Baptiste Roziere, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Arm-`mand Joulin, Edouard Grave e Guillaume Lample. Llama: Modelos de linguagem básicos abertos e eficientes, 2023.

Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan e Yuan Cao. React: Sinergizando raciocínio e atuação em modelos de linguagem, 2023.

Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric. P Xing, Hao Zhang, Joseph E. Gonzalez e Ion Stoica. Julgando llm-como-juiz com mt-bench e chatbot arena, 2023.