Auteurs:  (1) Kexun Zhang, UC Santa Barbara et contribution égale ;  (2) Hongqiao Chen, Northwood High School et contribution égale ;  (3) Lei Li, Université Carnegie Mellon ;  (4) William Yang Wang, UC Santa Barbara.  Tableau des liens   Résumé et introduction   Travaux connexes   ToolDec : utilisation de l'outil LLM via le décodage à états finis   Expérience : ToolDec élimine les erreurs de syntaxe   Expérience : ToolDec permet la sélection d'outils généralisables   Conclusion et références   annexe  4. EXPÉRIENCE I : TOOLDEC ÉLIMINE LES ERREURS DE SYNTAXE  Dans cette section, nous montrons que TOOLDEC peut éliminer les erreurs de syntaxe lors de la génération d'appels d'outils. Nous sélectionnons deux références récentes, ToolLLM et ToolkenGPT, représentatives de l'apprentissage en contexte et du paradigme de réglage fin, pour mettre en valeur la capacité de TOOLDEC. Étant donné que les paramètres d'utilisation des outils pour les deux références sont différents et ne peuvent pas être appliqués l'un à l'autre, nous testons les performances de TOOLDEC séparément pour les deux références en utilisant les références des articles originaux. Grâce à des expériences approfondies, nous montrons que TOOLDEC peut éliminer complètement les erreurs syntaxiques, ce qui se traduit par une meilleure précision et un temps d'inférence plus court.  4.1 RÉFÉRENCES ET RÉFÉRENCES    ToolLLM est une approche d'apprentissage en contexte des modèles de langage augmentés par des outils. Il utilise un modèle LLaMA-7B adapté aux instructions (Touvron et al., 2023) pour utiliser les outils. Étant donné l’instruction en langage naturel d’une tâche dépendante d’un outil, un récupérateur d’API récupère d’abord un petit sous-ensemble de fonctions pertinentes. La description textuelle et le schéma de ces fonctions pertinentes sont mis à disposition dans le contexte. Ensuite, ToolLLM passe par un processus de raisonnement en plusieurs étapes en utilisant les fonctions pour produire une réponse finale. ToolLLM (Qin et al., 2023).  ToolLLM est évalué sur   un ensemble de données proposé dans le même article. ToolEval contient des tâches qui impliquent un ensemble massif (plus de 10 000) d'API REST accessibles au public. Nous utilisons les sous-ensembles les plus difficiles de ToolEval pour évaluer notre méthode : I2-Category et I3-Instruction. Ils contiennent des tâches qui nécessitent des outils complexes et invisibles de plusieurs catégories (telles que la géolocalisation, la date/heure et autres) pour être résolues. En moyenne, une tâche de catégorie I2 nécessite 6,76 outils et une tâche de catégorie I3 nécessite 8,24 outils. ToolEval a deux métriques principales :  mesure le pourcentage de tâches pour lesquelles le modèle atteint une réponse dans un certain nombre d'étapes de raisonnement.   utilise un évaluateur automatique alimenté par un LLM suivant un ensemble prédéfini de critères pour un meilleur chemin. Il compare la qualité et l'exactitude des réponses de base à la réponse de référence produite par ChatGPT. Qin et coll. (2023) constate que l'évaluateur automatique a une corrélation élevée de 75,8 % avec les annotateurs humains. Outre ces deux mesures, nous mesurons également   , la proportion de tâches comportant au moins une erreur liée aux outils. ToolEval,  Le taux de réussite Win Rate le taux d'erreur des outils    ToolkenGPT est une approche de réglage fin de l'utilisation des outils. ToolkenGPT représente chaque outil comme un jeton spécial et optimise uniquement l'intégration des jetons d'outils pour l'utilisation des outils. Lors de l'inférence, ToolkenGPT appelle un outil une fois que le jeton spécial correspondant est prédit. Lors d'un appel d'outil, il transmet les arguments en apprenant des démonstrations en contexte. ToolkenGPT utilise LLaMA-33B (Touvron et al., 2023) comme modèle de base.  ToolkenGPT (Hao et al., 2023).  4.2 INTÉGRATION DE TOOLDEC AUX MODÈLES DE BASE    À la suite de Qin et al. (2023), nous utilisons ReAct (Yao et al., 2023) pour planifier les appels d'outils de ToolLLM. Ceci est conforme au deuxième cas de commutation de mode de la section 3.2. Il y a trois parties dans le FSM pour ToolLLM. Tout d’abord, un format FSM qui applique la syntaxe « Pensée, Action, Action Entrée » de ReAct. Après avoir décodé « Action : », ce FSM passe à l'état initial du nom de fonction FSM, ce qui garantit qu'un nom de fonction décodé est toujours valide. Nous avons également construit un argument de fonction FSM basé sur JSON. Nous avons permis aux LLM de raisonner 5 étapes avant de devoir appeler l'action de fin pour être considérée comme « réussite ». OutilLLM+TOOLDEC.    Étant donné que ToolkenGPT utilise des jetons spéciaux pour appeler des outils, TOOLDEC n'est appliqué que pour garantir la syntaxe des arguments. Dans cette expérience, notre FSM garantit que chaque argument est un nombre valide et que les arguments sont séparés par des virgules. Cela garantit également que le nombre réel d’arguments transmis à une fonction correspond exactement au nombre dont elle a besoin. Nous avons comparé TOOLDEC à deux variantes de la ligne de base de Hao et al. (2023), un avec backtrace et un sans. Backtrace tente d'éviter les appels d'outil ayant échoué en permettant au LLM de revenir en arrière et d'essayer le prochain jeton probable, à la place de l'appel d'outil ayant échoué. Pour évaluer TOOLDEC, nous rapportons le temps d'inférence moyen par problème et les taux d'erreur des outils en plus de la précision. ToolkenGPT+TOOLDEC.  4.3 RÉSULTATS EXPÉRIMENTAUX    Le tableau 3 montre les performances de TOOLDEC sur ToolEval. TOOLDEC a atteint un taux de victoire de 55 % sur la catégorie I2 et de 60 % sur l'instruction I3. En remplacement de l'algorithme de décodage d'origine, TOOLDEC a éliminé les trois types d'erreurs liées aux outils et a obtenu le meilleur taux de victoire et de réussite, battant même ChatGPT. TOOLDEC améliore les outils d'apprentissage en contexte LLM.  Le taux d'erreur d'outil élevé des lignes de base suggère que même après le réglage fin des instructions, ToolLLM n'a toujours pas la capacité d'invoquer avec précision des outils externes à partir de la documentation de l'outil. Cette incapacité est plus évidente lorsqu'il existe une grande variété d'outils disponibles, comme dans I3-Instruction. De plus, ces erreurs ont eu un impact significatif sur la capacité du modèle à accomplir les tâches.   Nous présentons les taux d'erreur de chaque type d'erreur sur deux benchmarks dans la figure 4. Pour les ToolLLM, l'erreur de nom, c'est-à-dire l'appel d'un outil inexistant, était l'erreur syntaxique la plus courante dans un appel d'outil. TOOLDEC a complètement éliminé les trois erreurs.   L’hallucination du nom de fonction étant l’erreur liée à l’outil la plus répandue, une base de référence légèrement meilleure consistait à l’atténuer avec une correspondance floue par suffixe. Nous présentons les résultats de la ligne de base avec correspondance floue sous la forme ToolLLM + Fuzzy Matching, et sans sous la forme ToolLLM. Cette atténuation a augmenté le taux de réussite mais a eu peu d'impact sur le taux de réussite, comme le montre le tableau 3, car de mauvaises API pouvaient souvent être choisies lorsqu'un modèle était incapable d'appeler avec précision l'outil qu'il souhaitait. Dans l'ensemble, nos expériences sur ToolLLM démontrent que TOOLDEC est très efficace sur l'apprentissage en contexte des LLM. Grâce à la référence suivante, ToolkenGPT, nous montrons que TOOLDEC est également bénéfique pour les LLM d'outils affinés.    Le tableau 4 montre les résultats sur FuncQAmulti. Bien que ToolkenGPT élimine la possibilité d'appeler des noms d'outils inexistants en ajustant une intégration de jeton spéciale, il peut toujours souffrir d'autres erreurs syntaxiques, comme le démontre le taux d'erreur des outils de 27,9 %. En remplacement immédiat, TOOLDEC a augmenté la précision de ToolkenGPT tout en étant beaucoup plus rapide en inférence. Bien que ToolkenGPT + backtrace ait atteint une précision légèrement meilleure que TOOLDEC, il a fallu 2 fois plus de temps pour essayer différents outils. Notez que depuis que TOOLDEC a éliminé toutes les erreurs d’outil, aucun appel d’outil n’a échoué pour que le backtrace réessaye. Les résultats soulignent la pertinence des erreurs liées aux outils et l'applicabilité de TOOLDEC à la fois à l'apprentissage en contexte récent et au réglage fin des LLM augmentés par des outils. TOOLDEC améliore les LLM des outils de réglage fin.  Cet article est   sous licence CC 4.0 DEED. disponible sur arxiv

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

AI Models on HackerNoon

Cet audio est produit dans la langue originale de l'histoire !

Utilisation d'un outil sans erreur de syntaxe et généralisable pour les LLM : ToolDec élimine les erreurs de syntaxe

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

Valhalla de Floki se joint en tant que sponsor associé de la tournée indienne au Sri Lanka

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

Nomades numériques, écoutez : ce que vous devez savoir sur le nouveau visa DTV de la Thaïlande

Comment améliorer votre flux de travail par 10 : 17 applications essentielles

Valhalla de Floki se joint en tant que sponsor associé de la tournée indienne au Sri Lanka

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

Nomades numériques, écoutez : ce que vous devez savoir sur le nouveau visa DTV de la Thaïlande

Comment améliorer votre flux de travail par 10 : 17 applications essentielles

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps