Uso de herramientas generalizables y sin errores de sintaxis para LLM: trabajo relacionado

Tabla de enlaces

• Resumen e introducción
• Trabajo relacionado
• ToolDec: uso de herramientas LLM mediante decodificación de estados finitos
• Experimento: ToolDec elimina los errores de sintaxis
• Experimento: ToolDec permite la selección de herramientas generalizable
• Conclusión y referencias
• Apéndice

2. TRABAJO RELACIONADO

Ajustar los modelos de lenguaje para utilizar herramientas. Los modelos de lenguaje se pueden ajustar para usar herramientas con datos que contienen texto entrelazado y uso de herramientas. Estudios anteriores hacen que los modelos de lenguaje utilicen una única herramienta como un módulo de recuperación (Borgeaud et al., 2022; Guu et al., 2020) o un motor de búsqueda (Nakano et al., 2021) mediante ajustes. Los avances recientes en modelos de lenguaje mejorados con herramientas que utilizan múltiples herramientas (Schick et al., 2023; Parisi et al., 2022) también afinan los modelos de lenguaje para usar herramientas que incluyen modelos de control de calidad, modelos de traducción, calculadoras y motores de búsqueda. ToolkenGPT (Hao et al., 2023) propone utilizar varios tokens especiales para representar herramientas y solo ajusta las incrustaciones de los tokens para que la adopción de nuevas herramientas pueda ser más eficiente. Sin embargo, los enfoques de ajuste para el uso de herramientas aún necesitan nuevos datos y ajustes adicionales para adaptar un modelo a nuevas herramientas. Enumeramos las diferencias entre la decodificación de estados finitos y los dos paradigmas anteriores en la Tabla 1.

Aprendizaje en contexto para el uso de herramientas. Los modelos de lenguaje pueden aprender de ejemplos en contexto (Brown et al., 2020) y seguir instrucciones (Ouyang et al., 2022). Esto hace posible simplemente poner las descripciones de las herramientas en el mensaje y pedir a los modelos de lenguaje que las utilicen. Trabajos recientes han aprovechado esta posibilidad para utilizar modelos neuronales (Shen et al., 2023), API RESTful (Qin et al., 2023; Song et al., 2023), intérpretes de programas (Chen et al., 2022; Gao et al. ., 2023) y muchas otras herramientas para resolver problemas. El aprendizaje en contexto no necesita ajustes adicionales del modelo para utilizar nuevas herramientas. Sin embargo, la descripción y documentación de las nuevas herramientas aún deben estar en el mensaje, lo que aumenta el costo de cálculo y limita el presupuesto de contexto para que el modelo realmente razone sobre la tarea.

Decodificación restringida y máquinas de estados finitos. Los métodos de decodificación restringida anteriores se centran principalmente en restricciones léxicas (Anderson et al., 2017). Reducen el gran espacio de búsqueda de la decodificación léxicamente restringida con máquinas de estados finitos (Anderson et al., 2017), agrupan candidatos similares (Hokamp & Liu, 2017) y mejores algoritmos de búsqueda (Miao et al., 2019; Lu et otros, 2021; Sin embargo, las restricciones léxicas no son lo suficientemente expresivas para regular las llamadas a herramientas. Si bien las máquinas de estados finitos tienen que ser ponderadas y probabilísticas para lidiar con las restricciones suaves del lenguaje natural (Eisner, 2002; Rastogi et al., 2016), las restricciones para las llamadas a herramientas sintácticas son restricciones duras que son mucho más fáciles para los FSM. Por lo tanto, proponemos TOOLDEC para cumplir con las restricciones sintácticas de una llamada de herramienta válida.