Uso de herramientas generalizables y sin errores de sintaxis para LLM: resumen e introducción

Tabla de enlaces

• Resumen e introducción
• Trabajo relacionado
• ToolDec: uso de herramientas LLM mediante decodificación de estados finitos
• Experimento: ToolDec elimina los errores de sintaxis
• Experimento: ToolDec permite la selección de herramientas generalizable
• Conclusión y referencias
• Apéndice

ABSTRACTO

Los modelos de lenguajes grandes (LLM) han demostrado capacidades prometedoras en el uso de herramientas externas para resolver problemas complejos. Sin embargo, los enfoques existentes implican ajustar las demostraciones de herramientas, lo que no se generaliza a nuevas herramientas sin capacitación adicional, o proporcionar documentación de herramientas en contexto, limitando la cantidad de herramientas. Ambos enfoques suelen generar llamadas a herramientas sintácticamente no válidas. En este artículo, proponemos TOOLDEC, un algoritmo de decodificación guiado por máquina de estado finito para LLM aumentados por herramientas. TOOLDEC elimina los errores relacionados con las herramientas para cualquier LLM aumentado con herramientas al garantizar nombres de herramientas válidos y argumentos conformes al tipo. Además, TOOLDEC permite a LLM seleccionar herramientas de manera efectiva utilizando solo la información contenida en sus nombres, sin necesidad de ajustes ni documentación en contexto. Evaluamos múltiples métodos anteriores y sus versiones mejoradas con TOOLDEC en una variedad de tareas que involucran herramientas como funciones matemáticas, relaciones de gráficos de conocimiento y API RESTful complejas del mundo real. Nuestros experimentos muestran que TOOLDEC reduce los errores sintácticos a cero, logrando en consecuencia un rendimiento significativamente mejor y una aceleración de hasta el doble. También mostramos que TOOLDEC logra un rendimiento de generalización superior en herramientas invisibles, con un rendimiento hasta 8 veces mejor que las líneas base [1].

1. INTRODUCCIÓN

Aumentar los modelos de lenguajes grandes (LLM) con herramientas externas (Mialon et al., 2023) les permite resolver problemas complejos. Los LLM actuales pueden utilizar recuperadores (Shen et al., 2023; Gupta & Kembhavi, 2022; Schick et al., 2023), API RESTful (Qin et al., 2023; Song et al., 2023), intérpretes de programas (Chen et al., 2023) al., 2022; Gao et al., 2023) y varias otras herramientas. El rendimiento de un LLM mejorado con herramientas depende de su capacidad para tomar tres decisiones clave: cuándo utilizar una herramienta, qué herramienta utilizar y cómo invocar una herramienta. Los enfoques existentes aprenden a tomar estas decisiones mediante ajustes o aprendizaje en contexto.

Sin embargo, estos enfoques todavía generan llamadas de herramientas erróneas. Por ejemplo, el aprendizaje en contexto puede generar fácilmente nombres de herramientas inexistentes que no están en el inventario de herramientas porque las herramientas inexistentes también pueden parecer plausibles como el siguiente token (Song et al., 2023; Qin et al., 2023). . Los modelos ajustados, aunque normalmente llaman a las herramientas por los nombres correctos, a menudo pasan argumentos no válidos a las funciones correctas de la herramienta (Hao et al., 2023), tal como lo hace el aprendizaje en contexto. Además, los enfoques anteriores no se generalizan bien a herramientas invisibles. Los enfoques de ajuste necesitan datos de capacitación adicionales y ajustes adicionales para adoptar nuevas herramientas. Los enfoques de aprendizaje en contexto requieren documentación de la herramienta en las indicaciones.

Para abordar estos problemas, proponemos TOOLDEC, un algoritmo de decodificación guiado por una máquina de estados finitos (FSM) para garantizar que los LLM invoquen las herramientas correctamente. Nuestra idea principal es representar explícitamente los estados durante la decodificación LLM. Cada estado está asociado con un conjunto válido de tokens correspondientes a los nombres y argumentos de las herramientas. TOOLDEC pasa de un estado a otro a medida que avanza la decodificación. En cada paso de decodificación, TOOLDEC no toma muestras de todo el vocabulario del modelo de lenguaje. En cambio, toma muestras de un subconjunto de tokens permitidos por el estado actual. El FSM que brinda orientación a TOOLDEC se construye a partir de la documentación de la herramienta y la firma API para que la máquina represente con precisión la gramática de las llamadas a la herramienta. De esta manera TOOLDEC es capaz de generar siempre

llamadas a herramientas sintácticamente correctas. La Figura 1 ilustra que un LLM mejorado por TOOLDEC es capaz de generar la llamada de función correcta multiplicar con argumentos precisos (“3.14” y “123”) y, por lo tanto, la herramienta devuelve el resultado correcto. En el Apéndice A.3 se pueden encontrar más ejemplos que comparan TOOLDEC y otros LLM de herramientas.

Además, TOOLDEC se generaliza a nuevas herramientas que nunca antes aparecieron de manera mucho más eficiente. A diferencia de enfoques anteriores que requieren ajustes o descripciones en contexto de nuevas herramientas, TOOLDEC construye automáticamente una máquina de estados finitos a partir de la firma API de una herramienta (su nombre y tipos de argumentos) y la agrega al FSM existente. Luego, TOOLDEC puede llamar a nuevas herramientas sin realizar ajustes ni demostraciones en contexto. Si bien los modelos de lenguaje previamente entrenados pueden generar nombres de herramientas cuando se les solicita, a menudo alucinan nombres de herramientas plausibles que no están en el inventario. TOOLDEC no hace eso. En la Figura 1, tanto el producto como la multiplicación parecen plausibles para el escenario, pero sólo la multiplicación es una herramienta dada. Dado que TOOLDEC sólo llama a herramientas existentes, no alucinará con una herramienta plausible pero inexistente y puede confiar en los nombres de las herramientas para encontrar la herramienta adecuada.

Las contribuciones de este trabajo se pueden resumir de la siguiente manera:

• Proponemos TOOLDEC, un algoritmo de decodificación de estado finito para capacitar a los LLM para que utilicen las herramientas correctamente. TOOLDEC disfruta de dos ventajas: se garantiza que las llamadas a herramientas generadas serán sintácticamente correctas y se generaliza a herramientas invisibles de manera eficiente.

• Verificamos empíricamente el desempeño superior de TOOLDEC en comparación con líneas de base sólidas anteriores en cuatro conjuntos de datos diversos de diferentes dominios. Nuestros extensos experimentos muestran que TOOLDEC elimina todos los errores de sintaxis y nombres de herramientas alucinantes, lo que resulta en una mayor precisión y hasta un 50% menos de tiempo de inferencia. Nuestros resultados también indican que TOOLDEC es más de 8 veces mejor que las líneas de base en razonamiento matemático con 9 herramientas invisibles y 7 veces mejor que la respuesta a preguntas de conocimiento con 204 herramientas invisibles.

[1] Publicamos nuestro código y datos en https://github.com/chenhongqiao/tooldec.