Auteurs:  (1) Kexun Zhang, UC Santa Barbara et contribution égale ;  (2) Hongqiao Chen, Northwood High School et contribution égale ;  (3) Lei Li, Université Carnegie Mellon ;  (4) William Yang Wang, UC Santa Barbara.  Tableau des liens   Résumé et introduction   Travaux connexes   ToolDec : utilisation de l'outil LLM via le décodage à états finis   Expérience : ToolDec élimine les erreurs de syntaxe   Expérience : ToolDec permet la sélection d'outils généralisables   Conclusion et références   annexe  6. CONCLUSION  Cet article présente TOOLDEC, un nouvel algorithme de décodage conçu pour améliorer les grands modèles linguistiques (LLM) en intégrant des outils externes et en garantissant que leur invocation est sans erreur de syntaxe. TOOLDEC, guidé par une machine à états finis construite à partir de la documentation des outils et des signatures API, représente avec précision la grammaire des appels d'outils, résolvant les problèmes courants tels que les appels d'outils erronés et la mauvaise généralisation aux outils invisibles dans les modèles existants.  Les expériences démontrent que TOOLDEC élimine les erreurs de syntaxe liées aux outils, améliore la précision et permet de gagner du temps d'inférence sur divers tests. Il présente également la capacité de généraliser à des outils inédits dans plusieurs domaines sans données de réglage supplémentaires. Les progrès réalisés par TOOLDEC ouvrent des voies de recherche dans le développement de modèles plus sophistiqués adaptables à une plus large gamme d'outils et d'applications sans données de formation supplémentaires, conduisant à des LLM plus polyvalents et plus robustes, capables de résoudre un spectre plus large de problèmes complexes.  Le succès de TOOLDEC dans l'élimination des erreurs de syntaxe peut inspirer des recherches axées sur l'exactitude sémantique et la pertinence contextuelle des appels d'outils. Cela peut conduire à des modèles qui invoquent, comprennent et exploitent les outils plus efficacement, améliorant ainsi les capacités globales de résolution de problèmes des LLM.  LES RÉFÉRENCES  Peter Anderson, Basura Fernando, Mark Johnson et Stephen Gould. Sous-titrage guidé d’images à vocabulaire ouvert avec recherche par faisceau contraint. Dans Actes de la conférence 2017 sur les méthodes empiriques dans le traitement du langage naturel, pp. 936-945, Copenhague, Danemark, septembre 2017. Association pour la linguistique computationnelle. est ce que je: 10.18653/v1/D17-1098. URL https://aclanthology.org/D17-1098.  Sebastian Borgeaud, Arthur Mensch, Jordan Hoffmann, Trevor Cai, Eliza Rutherford, Katie Millican, George Bm Van Den Driessche, Jean-Baptiste Lespiau, Bogdan Damoc, Aidan Clark, et al. Améliorer les modèles de langage en récupérant des milliards de jetons. Dans Conférence internationale sur l'apprentissage automatique, pp. 2206-2240. PMLR, 2022.  Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell et coll. Les modèles linguistiques sont des apprenants peu nombreux. Progrès des systèmes de traitement de l’information neuronale, 33 : 1877-1901, 2020.  Wenhu Chen, Xueguang Ma, Xinyi Wang et William W Cohen. Programme de réflexion : Démêler le calcul du raisonnement pour les tâches de raisonnement numérique. Tirages électroniques arXiv, pp. arXiv–2211, 2022.  Jason Eisner. Estimation des paramètres pour les transducteurs probabilistes à états finis. Dans Actes de la 40e réunion annuelle de l'Association for Computational Linguistics, pp. 1–8, 2002.  Edouard Fredkin. Essayez la mémoire. Communications de l'ACM, 3(9):490-499, 1960.  Luyu Gao, Aman Madaan, Shuyan Zhou, Uri Alon, Pengfei Liu, Yiming Yang, Jamie Callan et Graham Neubig. Pal : modèles de langage assistés par programme. Dans Conférence internationale sur l'apprentissage automatique, pp. 10764-10799. PMLR, 2023.  Tanmay Gupta et Aniruddha Kembhavi. Programmation visuelle : Raisonnement visuel compositionnel sans formation. ArXiv, abs/2211.11559, 2022.  Kelvin Guu, Kenton Lee, Zora Tung, Panupong Pasupat et Mingwei Chang. Pré-formation à la récupération du modèle de langage augmenté. Dans Conférence internationale sur l'apprentissage automatique, pp. 3929-3938. PMLR, 2020.  Shibo Hao, Tianyang Liu, Zhen Wang et Zhiting Hu. Toolkengpt : augmenter les modèles de langage figés avec des outils massifs via l'intégration d'outils. Préimpression arXiv arXiv :2305.11554, 2023.  Chris Hokamp et Qun Liu. Décodage lexicalement contraint pour la génération de séquences à l’aide d’une recherche par faisceau de grille. Dans Actes de la 55e réunion annuelle de l'Association for Computational Linguistics (Volume 1 : Long Papers), pp. 1535-1546, Vancouver, Canada, juillet 2017. Association for Computational Linguistics. est ce que je: 10.18653/v1/P17-1141. URL https://aclanthology.org/P17-1141.  Jan-Christoph Kalo et Leandra Fichtel. Kamel : Analyse des connaissances avec des entités multitoken dans des modèles de langage. Construction d'une base de connaissances automatisée, 2022.  Li Li, Wu Chou, Wei Zhou et Min Luo. Modèles de conception et extensibilité de l'API rest pour les applications réseau. Transactions IEEE sur la gestion des réseaux et des services, 13(1):154-167, 2016.  Ximing Lu, Peter West, Rowan Zellers, Ronan Le Bras, Chandra Bhagavatula et Yejin Choi. Décodage neurologique : génération de texte neuronal (non) supervisé avec contraintes logiques de prédicats. Dans Actes de la conférence 2021 de la section nord-américaine de l'Association for Computational Linguistics: Human Language Technologies, pp. 4288-4299, 2021.  Ximing Lu, Sean Welleck, Peter West, Liwei Jiang, Jungo Kasai, Daniel Khashabi, Ronan Le Bras, Lianhui Qin, Youngjae Yu, Rowan Zellers et al. Décodage neurologique a* esque : génération de texte contrainte avec heuristiques d'anticipation. Dans Actes de la conférence 2022 de la section nord-américaine de l'Association for Computational Linguistics : Human Language Technologies, pp. 780-799, 2022.  Grégoire Mialon, Roberto Dess ´ `ı, Maria Lomeli, Christoforos Nalmpantis, Ram Pasunuru, Roberta Raileanu, Baptiste Roziere, Timo Schick, Jane Dwivedi-Yu, Asli Celikyilmaz, et al. Modèles de langage augmentés : une enquête. Préimpression arXiv arXiv :2302.07842, 2023.  Ning Miao, Hao Zhou, Lili Mou, Rui Yan et Lei Li. Cgmh : Génération de phrases contraintes par échantillonnage de métropole-hastings. Dans Actes de la conférence AAAI sur l'intelligence artificielle, volume 33, pp. 6834-6842, 2019.  Reiichiro Nakano, Jacob Hilton, Suchir Balaji, Jeff Wu, Long Ouyang, Christina Kim, Christopher Hesse, Shantanu Jain, Vineet Kosaraju, William Saunders et al. Webgpt : réponse aux questions assistée par navigateur avec commentaires humains. Préimpression arXiv arXiv :2112.09332, 2021.  Long Ouyang, Jeffrey Wu, Xu Jiang, Diogo Almeida, Carroll Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray et al. Former des modèles de langage pour suivre les instructions avec des commentaires humains. Avancées dans les systèmes de traitement de l'information neuronale, 35 : 27730-27744, 2022.  Aaron Parisi, Yao Zhao et Noah Fiedel. Talm : outil de modèles de langage augmentés. Préimpression arXiv arXiv :2205.12255, 2022.  Yujia Qin, Shihao Liang, Yining Ye, Kunlun Zhu, Lan Yan, Yaxi Lu, Yankai Lin, Xin Cong, Xiangru Tang, Bill Qian et al. Toolllm : Faciliter de grands modèles de langage pour maîtriser plus de 16 000 API du monde réel. Préimpression arXiv arXiv :2307.16789, 2023.  Pushpendre Rastogi, Ryan Cotterell et Jason Eisner. Pondération des transductions à états finis avec un contexte neuronal. Dans Actes de la conférence 2016 de la section nord-américaine de l'Association for Computational Linguistics : technologies du langage humain, pp. 623-633, 2016.  Timo Schick, Jane Dwivedi-Yu, Roberto Dess`ı, Roberta Raileanu, Maria Lomeli, Luke Zettlemoyer, Nicola Cancedda et Thomas Scialom. Toolformer : les modèles de langage peuvent apprendre eux-mêmes à utiliser des outils. Préimpression arXiv arXiv :2302.04761, 2023.  Yongliang Shen, Kaitao Song, Xu Tan, Dongsheng Li, Weiming Lu et Yueting Zhuang. Hugginggpt : Résoudre des tâches d'IA avec chatgpt et ses amis en train de s'embrasser, 2023.  Yifan Song, Weimin Xiong, Dawei Zhu, Wenhao Wu, Han Qian, Mingbo Song, Hailiang Huang, Cheng Li, Ke Wang, Rong Yao, Ye Tian et Sujian Li. Restgpt : connexion de grands modèles de langage avec des API reposantes du monde réel, 2023.  Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée' Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurélien Rodriguez, Ar-'mand Joulin, Edouard Grave et Guillaume Lample. Llama : modèles de langage de base ouverts et efficaces, 2023.  Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan et Yuan Cao. React : Mettre en synergie le raisonnement et l'action dans les modèles de langage, 2023.  Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric. P Xing, Hao Zhang, Joseph E. Gonzalez et Ion Stoica. Juger le LLM-as-a-juge avec mt-bench et chatbot Arena, 2023.  Cet article est   sous licence CC 4.0 DEED. disponible sur arxiv

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

AI Models on HackerNoon

Cet audio est produit dans la langue originale de l'histoire !

Trop long; Pour lire

Make resilience your competitive advantage

Utilisation d'outils de syntaxe sans erreur et généralisables pour les LLM : conclusion et références

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

Guide de l'architecte pour créer une architecture de référence pour un datalake IA/ML

Naviguer sur les eaux : développer des applications RAG de qualité production avec des lacs de données

Appuyez pour gagner : Telegram pourrait intégrer les 10 prochains milliards d'utilisateurs de crypto avant Solana

Croissance des crypto-monnaies : créer des profils d'utilisateurs efficaces

Guide de l'architecte pour créer une architecture de référence pour un datalake IA/ML

Naviguer sur les eaux : développer des applications RAG de qualité production avec des lacs de données

Appuyez pour gagner : Telegram pourrait intégrer les 10 prochains milliards d'utilisateurs de crypto avant Solana

Croissance des crypto-monnaies : créer des profils d'utilisateurs efficaces

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps