Жаңы тарых

LLM билим графиктерин өздөштүрүү: GraphRAGди 5 мүнөттүн ичинде куруп, ишке ашырыңыз

тарабынан Neo4j7m2024/10/18

өтө узун; Окуу

Neo4j LLM Knowledge Graph Builder структураланбаган текстти билим графигине айландыруу үчүн инновациялык колдонмо. Ал PDF файлдарын, веб баракчаларды жана YouTube видеолорун өзгөртүү үчүн ML моделдерин (LLMs: OpenAI, Gemini, Diffbot) колдонот. Бул мүмкүнчүлүк өзгөчө кызыктуу, анткени ал маалыматтар менен интуитивдик өз ара аракеттенүүгө мүмкүндүк берет, билим графиги менен сүйлөшүүгө окшош.

featured image - LLM билим графиктерин өздөштүрүү: GraphRAGди 5 мүнөттүн ичинде куруп, ишке ашырыңыз

LLM Knowledge Graph Builder - бул Neo4jдин GraphRAG экосистемалык куралдарынын бири, ал сизге структураланбаган маалыматтарды динамикалык билим графиктерине айландыруу мүмкүнчүлүгүн берет. Ал Retrieval-Augmented Generation (RAG) чатботу менен интеграцияланган, бул табигый тилде сурамжылоону жана берилиштериңизди түшүндүрүүчү түшүнүктөрдү берет.

GraphRAG менен баштаңыз: Neo4jдин экосистемалык куралдары

Neo4j LLM билим графигин куруучу деген эмне?

Neo4j LLM Knowledge Graph Builder - бул структураланбаган текстти кодсуз жана Cypherсиз билим графигине айландыруу үчүн инновациялык онлайн тиркеме. Ал ML моделдерин (LLMs: OpenAI, Gemini, Diffbot) колдонот.

Алдыңкы аягы - Needle Starter Kit'ибизге негизделген React тиркемеси, ал эми арткы жагы - Python FastAPI тиркемеси. Бул Neo4j LangChainге кошкон llm-graph-transformer модулун колдонот.

Колдонмо төрт жөнөкөй кадамдан кийин үзгүлтүксүз тажрыйбаны камсыз кылат:

Маалыматтарды кабыл алуу — ар кандай маалымат булактарын, анын ичинде PDF документтерин, Wikipedia баракчаларын, YouTube видеолорун жана башкаларды колдойт.
Объектти таануу — структураланбаган тексттен объекттерди жана мамилелерди аныктоо жана алуу үчүн LLMдерди колдонот.
Graph Construction — Neo4j графикалык мүмкүнчүлүктөрүн колдонуу менен таанылган объекттерди жана мамилелерди график форматына айлантат.
Колдонуучу интерфейси — Колдонуучулардын тиркеме менен иштешүүсү үчүн интуитивдик веб-интерфейсти камсыздайт, маалымат булактарын жүктөөнү, түзүлгөн графиктин визуализациясын жана RAG агенти менен өз ара аракеттенүүнү жеңилдетет. Бул мүмкүнчүлүк өзгөчө кызыктуу, анткени ал маалыматтар менен интуитивдик өз ара аракеттенүүгө мүмкүндүк берет, билим графиги менен сүйлөшүүгө окшош - эч кандай техникалык билим талап кылынбайт.

Келгиле, аны сынап көрөлү

Колдонмону Neo4j-хостинг чөйрөсүндө эч кандай кредиттик карталар талап кылынбастан жана LLM ачкычтары жок - сүрүлүүсүз камсыз кылабыз.

Же болбосо, аны жергиликтүү же чөйрөңүздө иштетүү үчүн, жалпыга ачык GitHub репосуна баш багыңыз жана биз бул постто карай турган кадам-кадам нускамаларды аткарыңыз.

LLM Knowledge Graph Builder программасын ачып колдонуудан мурун, келгиле, жаңы Neo4j маалымат базасын түзөлү. Бул үчүн, биз төмөнкү кадамдарды аткаруу менен акысыз AuraDB маалымат базасын колдоно алабыз:

Кириңиз же https://console.neo4j.io дарегинен аккаунт түзүңүз.
Instances астында жаңы AuraDB Free Database түзүңүз.
Каттоо маалыматтары файлын жүктөп алыңыз.
Мисал иштегенге чейин күтө туруңуз.

Эми бизде Neo4j маалымат базасы жана эсептик дайындарыбыз иштеп жаткандыктан, LLM Knowledge Graph Builder программасын ачып, жогорку оң бурчтагы Neo4jге туташууну чыкылдатыңыз.

Мурда жүктөлгөн эсептик дайындар файлын туташуу диалогуна таштаңыз. Бардык маалыматтар автоматтык түрдө толтурулушу керек. Же болбосо, баарын кол менен киргизсеңиз болот.

Билим графигин түзүү

Процесс структураланбаган маалыматтарыңыздын кабыл алынышы менен башталат, андан кийин негизги субъекттерди жана алардын мамилелерин аныктоо үчүн LLM аркылуу өткөрүлөт.

Сиз PDF жана башка файлдарды сол жактагы биринчи киргизүү аймагына сүйрөп барып таштай аласыз. Экинчи киргизүү сиз колдонгуңуз келген YouTube видеосуна шилтемени көчүрүп/чаптоого мүмкүндүк берет, ал эми үчүнчү киргизүү Wikipedia баракчасынын шилтемесин алат.

Бул мисал үчүн менде GraphACME деп аталган жеткирүү чынжырчасы жөнүндө бир нече PDF файлдарын, Forbes журналынын пресс макаласын жана Корпоративдик Туруктуулукту текшерүү Директивасы (CSDDD) жөнүндө YouTube видеосун , ошондой эле Википедиядан эки баракты жүктөйм: Корпоративдик туруктуулук боюнча Директива жана Бангладеш .

Файлдарды жүктөөдө, колдонмо LangChain Document Loaders жана YouTube талдоочуларынын жардамы менен жүктөлгөн булактарды графикте документ түйүндөрү катары сактайт. Бардык файлдар жүктөлгөндөн кийин, буга окшош нерсени көрүшүңүз керек:

Бизге азыр керек болгон нерсе - колдонуу үчүн моделди тандап, Графикти түзүү баскычын чыкылдатыңыз жана калганын сыйкырга калтырыңыз!

Эгерде сиз жөн гана файл тандоосун жараткыңыз келсе, анда алгач файлдарды тандап алсаңыз болот (таблицанын биринчи тилкесиндеги белги кутучасы менен) жана Графикти түзүү баскычын чыкылдатыңыз.

⚠️ Эскерте кетсек, эгер сиз алдын ала аныкталган же өзүңүздүн графикалык схемаңызды колдонгуңуз келсе, жогорку оң бурчтагы жөндөө сөлөкөтүн чыкылдатып, ылдый түшүүчү тизмеден алдын ала аныкталган схеманы тандап, өзүңүздүн схемаңызды жазуу менен колдонсоңуз болот. түйүн энбелгилерин жана мамилелерди аныктоо үчүн, учурдагы Neo4j маалымат базасынан учурдагы схеманы тартыңыз же текстти көчүрүңүз/коюңуз жана LLMден аны талдап, сунуш кылынган схеманы ойлоп табууну сураныңыз.

Ал файлдарыңызды иштеп чыгып, Билим Графыңызды түзүп жатканда, капоттун астында эмне болуп жатканын кыскача айтып берейин:

Мазмуну бөлүктөргө бөлүнөт.
Бөлүктөр графикте сакталат жана өркүндөтүлгөн RAG үлгүлөрү үчүн документ түйүнүнө жана бири-бирине туташтырылат.
Абдан окшош бөлүктөр К-Эң жакынкы кошуналар графигин түзүү үчүн ОКШОШ мамиле менен байланышкан.
Жалгаштыруулар эсептелинет жана бөлүктөрдө жана вектордук индексте сакталат.
llm-график-трансформатор же дифбот-график-трансформатор колдонуу менен тексттен объекттер жана мамилелер чыгарылат.
Объекттер графикте сакталат жана баштапкы бөлүктөргө туташтырылат.

Өзүңүздүн билим графигин изилдеңиз

Документиңизден алынган маалымат графикалык форматка түзүлөт, анда объекттер түйүнгө айланат, ал эми мамилелер бул түйүндөрдү бириктирген четтерге айланат. Neo4jди колдонуунун кооздугу анын бул татаал маалымат тармактарын эффективдүү сактоо жана суроо жөндөмдүүлүгүндө жатат, бул түзүлгөн билим графигин дароо ар кандай колдонмолор үчүн пайдалуу кылат.

Маалыматтарыбыз боюнча суроолорду берүү үчүн RAG агентин колдонуудан мурун, кутуча менен бир документти (же көп) тандап, Графикти көрсөтүү баскычын чыкылдатсак болот. Бул сиз тандаган документ(дер) үчүн түзүлгөн объекттерди көрсөтөт; ошондой эле документти жана бөлүктөр түйүнүн ошол көрүнүштө көрсөтө аласыз:

Блум менен Ачык График баскычы Neo4j Bloomду ачат, бул сизге жаңы түзүлгөн билим графигиңизди визуалдаштырууга жана багыттоого жардам берет. Кийинки аракет — Файлдарды жок кылуу — тандалган документтерди жана графиктен бөлүктөрдү жок кылат (жана эгер сиз аны параметрлерден тандасаңыз объекттер).

Билимиңиз менен сүйлөшүңүз

Эми акыркы бөлүк келет: RAG агенти сиз оң панелден көрө аласыз.

Издөө процесси — ал кантип иштейт?

Төмөндөгү сүрөттө GraphRAG процессинин жөнөкөйлөштүрүлгөн көрүнүшү көрсөтүлгөн.

Колдонуучу суроо бергенде, биз Neo4j вектордук индексин издөө суроосу менен суроого эң ылайыктуу бөлүктөрүн жана алардын туташкан объектилерин 2 хоп тереңдикке чейин табабыз. Биз ошондой эле чат тарыхын жалпылайбыз жана аны контекстти байытуу үчүн элемент катары колдонобуз.

Ар кандай киргизүүлөр жана булактар (суроо, вектор натыйжалары, чат тарыхы) баары тандалган LLM моделине ыңгайлаштырылган чакырууда жөнөтүлүп, берилген элементтердин жана контексттин негизинде берилген суроого жооп берүүнү жана форматталышын суранышат. Албетте, эскертмеде форматтоо, булактарга шилтеме кылуу, жооп белгисиз болсо, божомол кылбоо ж.б. сыяктуу сыйкырдуу күчтөр бар. Толук кеңешти жана көрсөтмөлөрдү QA_integration.py сайтында FINAL_PROMPT катары тапса болот.

Маалыматтарыңызга байланыштуу суроолорду бериңиз

Бул мисалда мен GraphACME (Европада жайгашкан) аттуу жасалма компания жөнүндө ички документтерди жүктөм, алардын бүтүндөй жеткирүү чынжырчасынын стратегиясын жана өнүмдөрүн жасап, документтештирдим. Мен ошондой эле жаңы CSDDD, анын таасирин жана жөнгө салууну түшүндүргөн басма сөз макаласын жана YouTube видеосун жүктөдүм. Эми биз чатботко биздин компаниянын ички (жалган) билими жөнүндө суроолорду бере алабыз — CSDDD мыйзамы жөнүндө суроолор, атүгүл экөөнө тең суроолор, мисалы, GraphACME чыгарган өнүмдөрдүн тизмесин суроо, эгерде аларга CSDDD жобосу таасир эте турган болсо, жана ошондой болсо, ал компанияга кандай таасир этет.

Чат өзгөчөлүктөрү

Үй экранынын оң жагында баарлашуу терезесине тиркелген үч баскычты байкайсыз:

Жабуу чатбот интерфейсин жабат.
Чат таржымалын тазалоо учурдагы сессиянын чат тарыхын жок кылат.
Чоңойтуу терезеси чатбот интерфейсин толук экран режиминде ачат.

RAG агентинин жоопторунда сиз жооптон кийин үч өзгөчөлүктү таба аласыз:

Чоо-жайы RAG агенти булактарды (документтерди), бөлүктөрдү жана объекттерди кантип чогултуп жана колдонгонун көрсөткөн издөө маалымат калкыма терезесин ачат. Колдонулган модель жана токенди керектөө жөнүндө маалымат да камтылган.
Көчүрмө жооптун мазмунун алмашуу буферине көчүрөт.
Тексттен сөзгө жооп мазмунун үн чыгарып окуйт.

Киришүү

LLM Knowledge Graph Builder программасына тереңирээк сүңгүп чыгуу үчүн, GitHub Репозиторий булак кодун жана документтерди камтыган көптөгөн маалыматтарды сунуштайт. Кошумчалай кетсек, биздин Документациябыз баштоо боюнча деталдуу көрсөтмөлөрдү берет, ал эми GenAI Экосистемасы жеткиликтүү кеңири куралдар жана колдонмолор жөнүндө кошумча түшүнүктөрдү сунуш кылат.

Кийинки нерсе — салым кошуу жана кеңейтүү мүмкүнчүлүктөрү

LLM Knowledge Graph Builder менен болгон тажрыйбаңыз баа жеткис. Эгер мүчүлүштүктөр пайда болсо, жаңы функциялар боюнча сунуштарыңыз болсо, салым кошууну кааласаңыз же белгилүү бир өркүндөтүүнү кааласаңыз, коомдоштук платформасы оюңуз менен бөлүшүү үчүн эң сонун жер. Коддоштурууну жакшы билгендер үчүн GitHubга түздөн-түз салым кошуу долбоордун өнүгүшүнө жардам берүүнүн пайдалуу жолу болушу мүмкүн. Сиздин салымыңыз жана салымыңыз инструментти жакшыртууга гана жардам бербестен, биргелешкен жана инновациялык коомчулукту өнүктүрүүгө жардам берет:

Ресурстар

GenAI тиркемелери үчүн жаңы ресурстар жөнүндө көбүрөөк билүү: Neo4j GraphRAG экосистемалык куралдары . Бул ачык булактуу инструменттер жооптун сапатын жана түшүнүктүүлүгүн жакшыртууга жана колдонмолорду иштеп чыгууну жана кабыл алууну тездетүүгө жардам берген билим графиктери менен негизделген GenAI тиркемелерин баштоону жеңилдетет.