Os grandes modelos de linguaxe (LLM) son moi populares no mundo do software nestes días. introducen novos artigos, publicacións de blog, cursos e modelos de empresas líderes na nosa industria, como Meta, Huggingface, Microsoft, etc., o que require que seguamos as novas tecnoloxías de cerca. Decidimos escribir algúns artigos curtos e informativos para introducir estes temas e manternos actualizados sobre a última tecnoloxía. Crearemos unha serie de artigos sobre o tema que determinamos, con tres artigos diferentes que son útiles e se complementan. Os grandes modelos de linguaxe entraron en todos os aspectos das nosas vidas. Poderiamos dicir que revolucionaron o campo. Con todo, non son unha ferramenta tan suave como nos gusta chamarlles. Tamén ten unha desvantaxe importante: é fiel ao seu adestramento. Permanece fiel aos datos nos que foi adestrado. Non poden desviarse disto. Un modelo que completou o adestramento en novembro de 2022 non poderá dominar as noticias, as leis, os desenvolvementos tecnolóxicos etc., que xurdiron en xaneiro de 2023. Por exemplo, un modelo LLM que completou o adestramento e entrou en servizo en 2021 non pode responder a unha pregunta sobre a guerra ruso-ucraniana que comezou o 24 de febreiro de 2022. Isto é porque o seu desenvolvemento foi completado antes desa data. Por suposto, este problema non quedou sen resolver, e un novo produto, un novo sistema, foi introducido. O sistema RAG (Retrieval-Augmented Generation) xurdiu para proporcionarlle información actualizada sempre que o necesite. No resto do noso artigo, imos botar unha ollada máis de cerca tanto ao sistema creado co modelo LLM e o sistema RAG, un por un, para coñecelos. Acceso á información en modelos LLM O principio de traballo dos grandes modelos de linguaxe baséase nos datos aprendidos durante a formación, noutras palabras, coñecemento estático. Non teñen capacidade de extraer datos externos a través de ningún medio. Para dar un exemplo, considere un neno. Se cortamos a comunicación externa deste neno e ensinámoslle só inglés, non poderemos escoitar unha soa palabra chinesa deles. Isto é porque criamos un neno que é fluente en inglés, non en chinés. Ao cortar a súa conexión co mundo exterior, tamén limitamos a súa capacidade de aprender de fontes externas. Do mesmo xeito que este neno, os modelos de LLM tamén se infunden co coñecemento básico pero están pechados a datos externos. Outra característica dos modelos LLM é que son caixas negras. Estes modelos non son plenamente conscientes de por que realizan as operacións que realizan. Basan os seus cálculos exclusivamente en operacións matemáticas. Preguntando a calquera modelo LLM, "Por que deu esa resposta?" Probablemente está empuxándoo demasiado. Non responden a preguntas a través do razoamento ou da investigación. A palabra clave aquí é "por que?" Tamén podemos consideralo un bug nos modelos LLM. Para entender mellor esta estrutura, consideremos un exemplo do campo da saúde. Cando un usuario pregunta, "Teño dor na miña cara e ollos, e gota postnasal persistente. Que debo facer?", o modelo LLM podería responder, "A dor na miña cara e ollos, e gota postnasal poderían ser signos de sinusite. Por favor, consulte a un médico. A sinusite aguda é tratada con antibióticos. Ademais da medicación, pode usar sprays nasais como auga do mar ou salina para acougar os senos." Todo parece normal ata este punto. Pero se preguntamos ao modelo, "Por que deu esa resposta?" despois desta resposta, as cousas se complican. A razón pola que o modelo proporcionou esta resposta é porque as palabras "dor facial" e "drip nasal" frecuentemente apareceron xunto coa palabra "sinusite" nos datos de adestramento. Estes modelos prefiren almacenar información na súa memoria como un patrón estatístico. Porque non prefire almacenar información na súa memoria baseada en fontes, responde á pregunta e satisfai a maioría da xente de inmediato, pero cando as persoas de natureza máis investigativa preguntan ao modelo, "Por que deu esta resposta?", o modelo non produce ningunha resposta explicativa. RAG: Combinar LLMs con Sistemas de Retrieval Os sistemas RAG ofrecen innovacións en comparación cos sistemas construídos sobre modelos LLM puros. Un deles é que traballan con información dinámica, non con información estática como os modelos LLM. noutras palabras, tamén escanean fontes externas sen estar limitados aos datos nos que foron adestrados. O primeiro "r" en RAG significa recuperación. O papel do compoñente de recuperación é realizar operacións de busca. O xerador é o segundo compoñente principal, e a súa función é xerar a resposta correcta baseada nas devolucións de recuperación de datos. Neste artigo, imos tocar brevemente o principio de funcionamento de RAG: Retrieval escanea información de fontes externas e recupera documentos relevantes para a pregunta do usuario, dividíndoos en pequenas pezas chamadas "chunks". Vectoriza estes anacos e a pregunta do usuario e, a continuación, xera a resposta máis eficiente examinando a combinación entre eles. Esta tarefa de xerar a resposta é realizada por "Xeración". Debaterémola en detalle no seguinte artigo desta serie. Estes compoñentes básicos que compoñen os sistemas RAG fan que sexa unha estrutura máis forte. Impiden que estean atrapados en información estática como os modelos LLM puros. Os sistemas RAG ofrecen vantaxes significativas, especialmente en moitos campos que requiren información actualizada. Por exemplo, pode querer crear un modelo de médico no campo médico. Porque o seu modelo servirá a unha área vital, non terá información desactualizada ou incompleta. O mundo médico, ao igual que o sector de TI, está a desenvolverse todos os días, e están a ser presentados novos estudos. Polo tanto, espérase que o seu modelo domine mesmo os últimos estudos. En caso contrario, corre o risco de poñer en perigo a vida humana cun modelo enganoso. Nestes casos, os sistemas apoiados por RAG eliminan o problema da información desactualizada conectándose a bases de datos externas. A diferenza fundamental entre os sistemas RAG e os modelos LLM é a filosofía central de RAG: "Non almacenes información, accédelo cando o precises!"Mentres que os modelos de linguaxe pura almacenan información nas súas memorias e producen respostas despois de seren adestrados, os sistemas RAG acceden á información buscando e escaneando fóra cando o necesiten, de acordo coa súa filosofía. Do mesmo xeito que un humano busca a internet, isto supera unha das desvantaxes máis significativas dos modelos LLM puros: a súa dependencia da memoria. 
 
 
 
 
 
 O escenario: Usuario: "Cal é a taxa de inflación dos Estados Unidos de decembro de 2024?" LLM: "Segundo os datos de decembro de 2022, foi 6,5%." (Non unha resposta actualizada) O RAG: 
 
 
 Recibe datos de decembro de 2024 dunha fonte ou base de datos fiable (Banco Mundial, Economía Comercial, etc.). LLM usa estes datos e responde: "De acordo coa Economía Comercial, a inflación nos Estados Unidos para decembro de 2024 é anunciada como 2,9%". Scenario: User: "What is the United States' December 2024 inflation rate?" LLM: "According to December 2022 data, it was 6.5%." (Not an up-to-date answer) RAG: 
 
 
 Recibe datos de decembro de 2024 dunha fonte ou base de datos fiable (Banco Mundial, Economía Comercial, etc.). LLM usa estes datos e responde: "De acordo coa Economía Comercial, a inflación nos Estados Unidos para decembro de 2024 é anunciada como 2,9%". Comparemos brevemente o que discutimos ata agora e presentámolo na táboa de abaixo. 
 
 
 
 
 
 
 
 
 
 Features 
 LLM (static model) 
 RAG (retrieval-augmented generation) 
 
 
 
 
 Information 
 Limited to training data 
 Can pull real-time information from external sources 
 
 
 
 
 Current Level 
 Low 
 High 
 
 
 
 
 Transparency 
 The source of the decision cannot be disclosed (black box) 
 The source can be cited Información Limitado a datos de formación Pode extraer información en tempo real de fontes externas Nivel actual Baixa alta Transparencia A orixe da decisión non pode ser divulgada (caixa negra) A fonte pódese citar En conclusión, para resumir brevemente, mentres que os modelos de LLM están limitados aos datos sobre os que están adestrados, os sistemas RAG non só están construídos sobre un modelo específico de LLM e teñen coñecementos básicos, senón que tamén teñen a capacidade de extraer información en tempo real de fontes externas. Esta vantaxe asegura que estea sempre actualizado. Isto conclúe o primeiro artigo da nosa serie. No seguinte artigo, imos profundizar nos aspectos máis técnicos. Para os amigos que queren acceder ou examinar a práctica deste traballo, poden atopar as ligazóns ao reposo relevante que creei con Python e bibliotecas relacionadas na miña conta de GitHub ao final do artigo. Vémonos no seguinte artigo da serie. Xurxo Xurxo. Ler máis Tamén queremos recoñecer a contribución fundamental do artigo RAG 2020 de Facebook AI, que informou significativamente a perspectiva deste artigo. " Páxina de GitHub Proxecto RAG Chatbot PDF RAG Chatbot Proxecto

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

This story contains new, firsthand information uncovered by the writer.

Read My Stories

Este audio está producido na lingua orixinal da historia!

Os sistemas RAG rompen as barreiras dos modelos de linguaxe: aquí está como

About Author

COMENTARIOS

Etiquetas colgantes

ESTE ARTIGO FOI PRESENTADO EN

Related Stories

Coñece R Systems: HackerNoon empresa da semana

HackerNoon Decoded 2024: Celebrating Our Society Community!

HackerNoon Decoded 2024: Celebrating Our Tech Companies Community!

HackerNoon Decoded 2024: Celebrating Our Management Community!

Coñece R Systems: HackerNoon empresa da semana

HackerNoon Decoded 2024: Celebrating Our Society Community!

HackerNoon Decoded 2024: Celebrating Our Tech Companies Community!

HackerNoon Decoded 2024: Celebrating Our Management Community!

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps