paint-brush
Utilisation d'un outil de syntaxe sans erreur et généralisable pour les LLM : Annexepar@textmodels
148 lectures

Utilisation d'un outil de syntaxe sans erreur et généralisable pour les LLM : Annexe

Trop long; Pour lire

Les chercheurs proposent TOOLDEC, un décodage guidé par machine à états finis pour les LLM, réduisant les erreurs et améliorant l'utilisation des outils.
featured image - Utilisation d'un outil de syntaxe sans erreur et généralisable pour les LLM : Annexe
Writings, Papers and Blogs on Text Models HackerNoon profile picture
0-item

Auteurs:

(1) Kexun Zhang, UC Santa Barbara et contribution égale ;

(2) Hongqiao Chen, Northwood High School et contribution égale ;

(3) Lei Li, Université Carnegie Mellon ;

(4) William Yang Wang, UC Santa Barbara.

Tableau des liens

A. ANNEXE

A.1 PSEUDO-CODE DE L'ALGORITHME DE DÉCODAGE

A.2 GÉNÉRALISATION DU TOOLKENGPT À DE NOUVEAUX OUTILS INVISIBLES

Figure 6 : Une fois l'appel d'un outil commencé, TOOLDEC injecte une invite spéciale (texte bleu) dans le contexte pour générer le nom de l'outil.

A.3 EXEMPLES DE TOOLDEC ÉLIMINANT LES ERREURS LIÉES AUX OUTILS

Dans cette section, nous montrons des exemples de TOOLDEC empêchant les erreurs liées aux outils sur diverses lignes de base. Les lignes de base sont affichées dans la colonne de gauche et TOOLDEC est affiché à droite.





Figure 7 : TOOLDEC peut empêcher les erreurs de nom de fonction, les erreurs d'argument de fonction et la syntaxe ReAct non valide sur ToolLLM.


Figure 8 : TOOLDEC peut éliminer les erreurs courantes liées aux outils pour les modèles affinés.

A.4 EXEMPLES DE RELATIONS KAMEL

Tableau 6 : Exemples de relations KAMEL


Cet article est disponible sur arxiv sous licence CC 4.0 DEED.