Autores:  (1) Kexun Zhang, UC Santa Barbara y contribución de Equal;  (2) Hongqiao Chen, Escuela Secundaria Northwood y Contribución Igual;  (3) Lei Li, Universidad Carnegie Mellon;  (4) William Yang Wang, UC Santa Bárbara.  Tabla de enlaces   Resumen e introducción   Trabajo relacionado   ToolDec: uso de herramientas LLM mediante decodificación de estados finitos   Experimento: ToolDec elimina los errores de sintaxis   Experimento: ToolDec permite la selección de herramientas generalizable   Conclusión y referencias   Apéndice  2. TRABAJO RELACIONADO    Los modelos de lenguaje se pueden ajustar para usar herramientas con datos que contienen texto entrelazado y uso de herramientas. Estudios anteriores hacen que los modelos de lenguaje utilicen una única herramienta como un módulo de recuperación (Borgeaud et al., 2022; Guu et al., 2020) o un motor de búsqueda (Nakano et al., 2021) mediante ajustes. Los avances recientes en modelos de lenguaje mejorados con herramientas que utilizan múltiples herramientas (Schick et al., 2023; Parisi et al., 2022) también afinan los modelos de lenguaje para usar herramientas que incluyen modelos de control de calidad, modelos de traducción, calculadoras y motores de búsqueda. ToolkenGPT (Hao et al., 2023) propone utilizar varios tokens especiales para representar herramientas y solo ajusta las incrustaciones de los tokens para que la adopción de nuevas herramientas pueda ser más eficiente. Sin embargo, los enfoques de ajuste para el uso de herramientas aún necesitan nuevos datos y ajustes adicionales para adaptar un modelo a nuevas herramientas. Enumeramos las diferencias entre la decodificación de estados finitos y los dos paradigmas anteriores en la Tabla 1. Ajustar los modelos de lenguaje para utilizar herramientas.    Los modelos de lenguaje pueden aprender de ejemplos en contexto (Brown et al., 2020) y seguir instrucciones (Ouyang et al., 2022). Esto hace posible simplemente poner las descripciones de las herramientas en el mensaje y pedir a los modelos de lenguaje que las utilicen. Trabajos recientes han aprovechado esta posibilidad para utilizar modelos neuronales (Shen et al., 2023), API RESTful (Qin et al., 2023; Song et al., 2023), intérpretes de programas (Chen et al., 2022; Gao et al. ., 2023) y muchas otras herramientas para resolver problemas. El aprendizaje en contexto no necesita ajustes adicionales del modelo para utilizar nuevas herramientas. Sin embargo, la descripción y documentación de las nuevas herramientas aún deben estar en el mensaje, lo que aumenta el costo de cálculo y limita el presupuesto de contexto para que el modelo realmente razone sobre la tarea. Aprendizaje en contexto para el uso de herramientas.    Los métodos de decodificación restringida anteriores se centran principalmente en restricciones léxicas (Anderson et al., 2017). Reducen el gran espacio de búsqueda de la decodificación léxicamente restringida con máquinas de estados finitos (Anderson et al., 2017), agrupan candidatos similares (Hokamp & Liu, 2017) y mejores algoritmos de búsqueda (Miao et al., 2019; Lu et otros, 2021; Sin embargo, las restricciones léxicas no son lo suficientemente expresivas para regular las llamadas a herramientas. Si bien las máquinas de estados finitos tienen que ser ponderadas y probabilísticas para lidiar con las restricciones suaves del lenguaje natural (Eisner, 2002; Rastogi et al., 2016), las restricciones para las llamadas a herramientas sintácticas son restricciones duras que son mucho más fáciles para los FSM. Por lo tanto, proponemos TOOLDEC para cumplir con las restricciones sintácticas de una llamada de herramienta válida. Decodificación restringida y máquinas de estados finitos.  Este documento está   bajo licencia CC 4.0 DEED. disponible en arxiv

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

AI Models on HackerNoon

Este audio es producido en el idioma original de la historia!

Uso de herramientas generalizables y sin errores de sintaxis para LLM: trabajo relacionado

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Una breve introducción a la teoría del cerebro de Boltzmann

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

La fuga rápida del sistema Claude Sonnet 3.5: un análisis forense

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Una breve introducción a la teoría del cerebro de Boltzmann

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

La fuga rápida del sistema Claude Sonnet 3.5: un análisis forense

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps