Ajuste fino de LLaMA para la recuperación de texto en varias etapas

Tabla de enlaces

Resumen e introducción

Método

experimentos

Estudio y análisis de ablación

Trabajo relacionado

Conclusión, agradecimientos y referencias

Abstracto

La eficacia de la recuperación de textos en varias etapas se ha demostrado sólidamente desde antes de la era de los modelos de lenguaje previamente entrenados. Sin embargo, la mayoría de los estudios existentes utilizan modelos que son anteriores a los avances recientes en modelos de lenguajes grandes (LLM). Este estudio busca explorar las posibles mejoras que pueden aportar los LLM de última generación. Llevamos a cabo un estudio integral, ajustando el último modelo LLaMA como recuperador denso (RepLLaMA) y como reordenador puntual (RankLLaMA) tanto para la recuperación de pasajes como para la recuperación de documentos utilizando los conjuntos de datos de MS MARCO. Nuestros hallazgos demuestran que la efectividad de los modelos de lenguaje grandes supera a la de los modelos más pequeños. Además, dado que los LLM pueden manejar inherentemente contextos más largos, pueden representar documentos completos de manera integral, obviando la necesidad de estrategias tradicionales de segmentación y agrupación. Además, las evaluaciones de BEIR demuestran que nuestro oleoducto RepLLaMA-RankLLaMA exhibe una fuerte efectividad de tiro cero. Los puntos de control modelo de este estudio están disponibles en HuggingFace.1

1. Introducción

La recuperación de texto, que implica identificar y clasificar los documentos o fragmentos de texto más relevantes en respuesta a una consulta, es crucial en diversas tareas de comprensión del lenguaje de dominio abierto (Petroni et al., 2021), incluida la búsqueda web (Bajaj et al., 2016). respuesta a preguntas de dominio abierto (Chen et al., 2017) y verificación de hechos (Thorne et al., 2018). La recuperación también juega un papel importante en la mejora de la eficacia de los modelos de lenguaje grandes (LLM) en un proceso de recuperación de generación aumentada (RAG) (Lewis et al., 2020b; Shi et al., 2023). Este enfoque no solo mitiga las alucinaciones sino que también permite a los LLM acceder a conocimientos que no están capturados dentro de sus parámetros (Yang et al., 2023; Jiang et al., 2023).

Un proceso típico de recuperación de texto de varias etapas consta de un recuperador, diseñado para localizar eficientemente los k textos más relevantes de un corpus, y un reclasificador, que refina aún más el orden de los candidatos recuperados para mejorar la calidad de la salida (Nogueira y Cho, 2019). ). Tanto los recuperadores como los reclasificadores se han beneficiado significativamente de la llegada de modelos de lenguaje previamente entrenados basados en Transformers (Vaswani et al., 2017) como BERT (Devlin et al., 2019) y T5 (Raffel et al., 2020). Estos modelos están entrenados para codificar consultas y documentos en representaciones vectoriales para su recuperación (Karpukhin et al., 2020; Lin, 2021) o para calificar directamente la relevancia entre una consulta y un documento para reclasificarlo (Nogueira et al., 2019; Zhuang et otros, 2023).

Grandes modelos de lenguaje recientes con miles de millones de parámetros, ajustados para seguir instrucciones, como InstructGPT (Ouyang et al., 2022), GPT-4 (OpenAI, 2023) y LLaMA (Touvron et al., 2023a,b), han exhibido capacidades extraordinarias en muchas tareas de PNL, superando modelos de lenguaje previos más pequeños y previamente entrenados (Zhao et al., 2023). Para la recuperación, métodos recientes como LRL (Ma et al., 2023), RankGPT (Sun et al., 2023) y PRP (Qin et al., 2023) han explorado la posibilidad de incitar a los LLM a realizar una reclasificación de disparo cero utilizando pares o enfoques de lista. Estos métodos aprovechan los LLM al considerar la reclasificación como generación de texto.

Sin embargo, vemos una serie de problemas potenciales. En primer lugar, estos métodos no abordan todo el proceso de varias etapas, ya que resulta complicado convertir la recuperación de un corpus grande en una tarea de generación de texto. En segundo lugar, no aprovechan los datos etiquetados cuando están disponibles. Finalmente, estos reordenadores no son eficientes porque no admiten puntuación paralela y su diseño de decodificación de múltiples pasos los ralentiza.

Por lo tanto, sostenemos que ajustar los modelos de lenguaje grandes de última generación para que funcionen como recuperadores y reclasificadores puede generar una mayor efectividad que los modelos más pequeños anteriores. Este enfoque también puede utilizar de manera óptima los LLM dentro de procesos de múltiples etapas. Por lo tanto, estamos motivados a investigar la siguiente pregunta de investigación: ¿Cómo funcionan los modelos de lenguaje grandes de última generación cuando se ajustan específicamente para la recuperación de texto en varias etapas?

Nuestro estudio tiene como objetivo responder a esta pregunta mediante la realización de una investigación exhaustiva sobre el ajuste del último modelo LLaMA-2 (Touvron et al., 2023b), un modelo de lenguaje grande de código abierto y de última generación, como recuperador y un reranker, al que nos referimos como RepLLaMA y RankLLaMA, respectivamente. Específicamente, utilizamos los conjuntos de datos MS MARCO (Bajaj et al., 2016) y BEIR (Thakur et al., 2021) para nuestros experimentos. Nuestros hallazgos sugieren que los modelos de lenguaje grandes superan a los modelos más pequeños anteriores, logrando una efectividad de vanguardia tanto para la recuperación como para la reclasificación a través de un régimen de entrenamiento sencillo y exhibiendo una fuerte efectividad de tiro cero. Además, observamos que los LLM, que están inherentemente capacitados previamente en contextos más largos, demuestran potencial para representar documentos completos, eliminando así la necesidad de estrategias tradicionales de segmentación y agrupación para la recuperación de documentos.

1 https://huggingface.co/castorini