Големи јазични модели (LLMs) се многу популарни во софтверскиот свет овие денови. Тие воведуваат нови статии, блогови, курсеви и модели од водечките компании во нашата индустрија, како што се Meta, Huggingface, Microsoft, итн., Што бара од нас да ги следиме новите технологии. Одлучивме да напишеме неколку кратки, информативни статии за да ги воведеме овие теми и да останеме во тек со најновата технологија. Ќе создадеме серија статии на темата што ја утврдивме, со три различни статии кои се корисни и се надополнуваат едни со други. Големите јазични модели влегоа во секој аспект на нашите животи. Можеме да кажеме дека го револуционизирале полето. Сепак, тие не се толку беспрекорно алатка како што сакаме да ги наречеме. Исто така има голем недостаток: Тој е верен на својата обука. Тој останува верен на податоците на кои беше обучен. Тие не можат да се отстапат од ова. Модел кој заврши обука во ноември 2022 година нема да може да ги совлада вестите, законите, технолошките случувања итн., кои се појавија во јануари 2023 година. На пример, модел на LLM кој заврши обука и влезе во служба во 2021 година не може да одговори на прашање за војната Русија-Украина која започна на 24 февруари 2022 година. Ова е затоа што неговиот развој беше завршен пред тој датум. Се разбира, овој проблем не беше оставен нерешен, и нов производ, нов систем, беше воведен. Системот RAG (Retrieval-Augmented Generation) се појави за да ви обезбеди со најновите информации секогаш кога ви треба. Во остатокот од нашиот напис, ајде да погледнеме поблиску и системот создаден со моделот LLM и системот RAG, еден по еден, за да ги запознаеме. Пристап до информации во LLM модели Принципот на работа на големите јазични модели се базира на податоците што се учат за време на обуката, со други зборови, статично знаење. Тие немаат способност да извлечат надворешни податоци преку какви било средства. За да дадете пример, размислете за дете. Ако ја прекинеме надворешната комуникација на ова дете и го научиме само англиски јазик, нема да можеме да слушнеме ниту еден кинески збор од нив. Ова е затоа што сме одгледале дете кое е течно на англиски, а не на кинески. Со прекинување на нивната врска со надворешниот свет, ние исто така ја ограничивме нивната способност да учат од надворешни извори. Исто како и ова дете, LLM моделите исто така се инфузирани со основно знаење, но се затворени за надворешни податоци. Друга карактеристика на LLM моделите е дека тие се црни кутии. Овие модели не се целосно свесни за тоа зошто ги извршуваат операциите што ги извршуваат. Тие ги базираат своите пресметки исклучиво на математички операции. Прашање на кој било LLM модел, "Зошто го дадовте тој одговор?" Веројатно го туркате премногу тешко. Тие не одговараат на прашања преку размислување или истражување. Клучниот збор тука е "зошто?" Можеме исто така да го сметаме за грешка во LLM моделите. За подобро да се разбере оваа структура, ајде да разгледаме пример од областа на здравствената заштита. Кога корисникот прашува, "Имам болка во лицето и очите и упорни пост-назални капки. Што треба да направам?", моделот на LLM може да одговори, "Болка во лицето и очите, и пост-назални капки може да бидат знаци на синузит. Ве молиме консултирајте се со лекар. Акутен синузит се третира со антибиотици. Покрај лекови, можете да користите назални спреј како морска вода или сол за да ги смирите синусите." Сè изгледа нормално до овој момент. Но, ако го прашаме моделот, "Зошто го дадовте тој одговор?" по овој одговор, работите стануваат комплицирани. Причината зошто моделот го дал овој одговор е затоа што зборовите "болка во лицето" и "капка во носот" често се појавуваат заедно со зборот "синузит" во податоците за обука. Овие модели претпочитаат да чуваат информации во својата меморија како статистички модел. Математичките изрази се важни за LLM моделите. Бидејќи не претпочита да складира информации во својата меморија врз основа на извори, тој одговара на прашањето и веднаш ги задоволува повеќето луѓе, но кога луѓето со повеќе истражувачки карактер го прашуваат моделот, "Зошто го дадовте овој одговор?", моделот не произведува никаков објаснувачки одговор. RAG: Комбинирање на LLMs со системи за враќање RAG системите нудат иновации во споредба со системите изградени на чисти LLM модели. Една од нив е дека тие работат со динамички информации, а не статични информации како LLM модели. Со други зборови, тие исто така скенираат надворешни извори без да бидат ограничени на податоците на кои биле обучени. Првото "r" во RAG е за пребарување. Улогата на компонентата за пребарување е да изврши операции за пребарување. Генераторот е втората главна компонента, а неговата улога е да го генерира точниот одговор врз основа на враќањата за враќање на податоците.Во оваа статија, накратко ќе се допреме до принципот на работа на RAG: Retrieval скенира информации од надворешни извори и ги презема документите релевантни за прашањето на корисникот со разбивање на мали парчиња наречени "chunks". Тоа ги векторизира овие парчиња и прашањето на корисникот, а потоа го генерира најефикасниот одговор со испитување на соодветноста помеѓу нив. Оваа задача за генерирање на одговорот е извршена од страна на "Генерација". Ние ќе го дискутираме во детали во следниот напис во оваа серија. Овие основни компоненти кои го сочинуваат системите на RAG го прават посилна структура. Тие ги спречуваат да бидат заглавени во статички информации како чисти модели на LLM. Системите на RAG нудат значајни предности, особено во многу области кои бараат ажурирани информации. На пример, може да сакате да креирате модел на лекар во медицинската област. Бидејќи вашиот модел ќе служи на витална област, нема да има застарени или нецелосни информации. Медицинскиот свет, исто како и ИТ секторот, се развива секој ден, а се изведуваат нови студии. Затоа, се очекува вашиот модел да ги совлада дури и најновите студии. Во спротивно, ризикувате да го загрозите човечкиот живот со погрешен модел. Во такви случаи, системите поддржани од RAG го елиминираат проблемот со застарените информации со поврзување со надворешни бази на податоци. Основната разлика помеѓу системите RAG и LLM моделите е основната филозофија на RAG: "Не чувајте информации, пристапувајте ги кога ви е потребно!" Додека чистите големи јазични модели чуваат информации во нивните сеќавања и произведуваат одговори по обуката, системите RAG пристапуваат до информации со пребарување и скенирање надвор кога им е потребно, во согласност со нивната филозофија. Исто како што човекот пребарува на интернет, ова го надминува еден од најзначајните недостатоци на чистите LLM модели: нивната зависност од меморија. 
 
 
 
 
 
 Сценариото е: Корисник: "Која е стапката на инфлација во САД во декември 2024?" LLM: "Според податоците од декември 2022 година, тоа беше 6.5%." (Не е ажуриран одговор) Раг : 
 
 
 Повлекува податоци од декември 2017 година од сигурен извор или база на податоци (Светска банка, трговска економија, итн.). LLM ги користи овие податоци и одговара: "Според трговската економија, инфлацијата во САД за декември 2024 година е најавена како 2,9%". Scenario: User: "What is the United States' December 2024 inflation rate?" LLM: "According to December 2022 data, it was 6.5%." (Not an up-to-date answer) RAG: 
 
 
 Повлекува податоци од декември 2017 година од сигурен извор или база на податоци (Светска банка, трговска економија, итн.). LLM ги користи овие податоци и одговара: "Според трговската економија, инфлацијата во САД за декември 2024 година е најавена како 2,9%". Ајде накратко да го споредиме она што го дискутиравме досега и да го презентираме во табелата подолу. 
 
 
 
 
 
 
 
 
 
 Features 
 LLM (static model) 
 RAG (retrieval-augmented generation) 
 
 
 
 
 Information 
 Limited to training data 
 Can pull real-time information from external sources 
 
 
 
 
 Current Level 
 Low 
 High 
 
 
 
 
 Transparency 
 The source of the decision cannot be disclosed (black box) 
 The source can be cited Информации Ограничени на податоци за обука Може да извлече информации во реално време од надворешни извори Сегашното ниво ниско Висока транспарентност Изворот на одлуката не може да се открие (црна кутија) Изворот може да се цитира Во заклучок, за да се сумира накратко, додека моделите на LLM се ограничени на податоците на кои се обучени, системите на RAG не се изградени само на специфичен модел на LLM и имаат основно знаење, туку имаат и способност да извлечат информации во реално време од надворешни извори. Оваа предност гарантира дека е секогаш актуелна. Ова го заклучува првиот напис во нашата серија. Во следната статија, ќе се нурнеме во повеќе технички аспекти. За пријателите кои сакаат да пристапат или да ја испитаат практиката на оваа работа, тие можат да најдат линкови до релевантната репо создадена со Python и сродните библиотеки во мојата GitHub сметка на крајот на статијата. Се надевам дека ќе се видиме во следната статија од серијата. Метин Јурдусевен Понатамошно читање Исто така би сакале да го признаеме фундаменталниот придонес на Раг-документот за 2020 година на Фејсбук за вештачка интелигенција, кој значително ја информираше перспективата на оваа статија. Исклучување на GitHub Мулти-модел RAG Chatbot проект Проектот RAG Chatbot

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

This story contains new, firsthand information uncovered by the writer.

Read My Stories

Ова аудио е произведено на оригиналниот јазик на приказната!

Системите на RAG ги кршат бариерите на јазичните модели: Еве како

About Author

КОМЕНТАРИ

ВИСЕТЕ ТАГОВИ

ОВОЈ СТАТИЈА БЕШЕ ПРЕТСТАВЕН ВО

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps