เรียนรู้กราฟความรู้ LLM: สร้างและใช้งาน GraphRAG ในเวลาเพียง 5 นาที

LLM Knowledge Graph Builder เป็นหนึ่งในเครื่องมือ GraphRAG Ecosystem ของ Neo4j ที่ช่วยให้คุณสามารถแปลงข้อมูลที่ไม่มีโครงสร้างให้กลายเป็นกราฟความรู้แบบไดนามิกได้ โดยเครื่องมือนี้ผสานรวมกับแชทบอท Retrieval-Augmented Generation (RAG) ซึ่งช่วยให้สามารถค้นหาข้อมูลด้วยภาษาธรรมชาติและให้ข้อมูลเชิงลึกที่อธิบายได้เกี่ยวกับข้อมูลของคุณ

เริ่มต้นใช้งาน GraphRAG: เครื่องมือระบบนิเวศของ Neo4j

Neo4j LLM Knowledge Graph Builder คืออะไร?

Neo4j LLM Knowledge Graph Builder เป็นแอปพลิเคชันออนไลน์ที่สร้างสรรค์สำหรับเปลี่ยนข้อความที่ไม่มีโครงสร้างเป็นกราฟความรู้โดยไม่ต้องใช้โค้ดและ Cypher มอบประสบการณ์การแปลงข้อความเป็นกราฟที่น่าอัศจรรย์ โดยใช้โมเดล ML (LLMs: OpenAI, Gemini, Diffbot) เพื่อแปลง PDF หน้าเว็บ และวิดีโอ YouTube ให้เป็นกราฟความรู้ของเอนทิตีและความสัมพันธ์ของเอนทิตีเหล่านั้น

ส่วนหน้าเป็นแอปพลิเคชัน React ที่ใช้ Needle Starter Kit ของเราเป็นหลัก ส่วนหลังเป็นแอปพลิเคชัน Python FastAPI โดยใช้ โมดูล llm-graph-transformer ที่ Neo4j มีส่วนสนับสนุนใน LangChain

แอปพลิเคชันนี้มอบประสบการณ์ที่ราบรื่นโดยทำตามขั้นตอนง่าย ๆ สี่ขั้นตอน:

1. การนำข้อมูลเข้ามา — รองรับแหล่งข้อมูลต่าง ๆ รวมถึงเอกสาร PDF หน้า Wikipedia วิดีโอ YouTube และอื่น ๆ อีกมากมาย
2. การจดจำเอนทิตี — ใช้ LLM เพื่อระบุและแยกเอนทิตีและความสัมพันธ์จากข้อความที่ไม่มีโครงสร้าง
3. การสร้างกราฟ — แปลงเอนทิตีและความสัมพันธ์ที่ได้รับการยอมรับเป็นรูปแบบกราฟ โดยใช้ความสามารถกราฟของ Neo4j
4. อินเทอร์เฟซผู้ใช้ — มอบอินเทอร์เฟซเว็บที่ใช้งานง่ายเพื่อให้ผู้ใช้โต้ตอบกับแอปพลิเคชัน อำนวยความสะดวกในการอัปโหลดแหล่งข้อมูล การแสดงภาพกราฟที่สร้างขึ้น และการโต้ตอบกับตัวแทน RAG ความสามารถนี้มีความน่าสนใจเป็นพิเศษ เนื่องจากช่วยให้โต้ตอบกับข้อมูลได้อย่างเป็นธรรมชาติ คล้ายกับการสนทนากับกราฟความรู้โดยตรง โดยไม่ต้องมีความรู้ด้านเทคนิคใดๆ

มาลองดูกันเถอะ

เรามอบแอปพลิเคชันบน สภาพแวดล้อมโฮสต์ Neo4j โดยไม่ต้องใช้บัตรเครดิตและไม่ต้องใช้คีย์ LLM ไม่มีปัญหา

อีกวิธีหนึ่งคือการรันในเครื่องหรือภายในสภาพแวดล้อมของคุณ ให้ไปที่ ที่เก็บ GitHub สาธารณะและทำตามคำแนะนำทีละขั้นตอนที่เราจะครอบคลุมในโพสต์นี้

ก่อนที่จะเปิดและใช้ LLM Knowledge Graph Builder เรามาสร้างฐานข้อมูล Neo4j ใหม่กันก่อน โดยเราสามารถใช้ฐานข้อมูล AuraDB ฟรีได้โดยทำตามขั้นตอนเหล่านี้:

• เข้าสู่ระบบหรือสร้างบัญชีที่ https://console.neo4j.io
• ภายใต้อินสแตนซ์ สร้างฐานข้อมูล AuraDB ฟรีใหม่
• ดาวน์โหลดไฟล์ข้อมูลรับรอง
• รอจนกว่าอินสแตนซ์กำลังทำงาน

ตอนนี้เราได้รันฐานข้อมูล Neo4j และข้อมูลรับรองแล้ว เราสามารถเปิด LLM Knowledge Graph Builder และคลิก เชื่อมต่อกับ Neo4j ที่มุมขวาบนได้

วางไฟล์ข้อมูลรับรองที่ดาวน์โหลดไว้ก่อนหน้านี้ลงในกล่องโต้ตอบการเชื่อมต่อ ข้อมูลทั้งหมดควรได้รับการกรอกโดยอัตโนมัติ หรือคุณสามารถป้อนข้อมูลทั้งหมดด้วยตนเอง

การสร้างกราฟความรู้

กระบวนการเริ่มต้นด้วยการนำข้อมูลที่ไม่มีโครงสร้างของคุณเข้ามาใช้ จากนั้นจึงส่งต่อผ่าน LLM เพื่อระบุเอนทิตีสำคัญและความสัมพันธ์ของเอนทิตีเหล่านั้น

คุณสามารถลากและวางไฟล์ PDF และไฟล์อื่นๆ ลงในโซนอินพุตแรกทางด้านซ้ายได้ อินพุตที่สองจะให้คุณคัดลอก/วางลิงก์ไปยังวิดีโอ YouTube ที่คุณต้องการใช้ ในขณะที่อินพุตที่สามจะนำลิงก์ไปยังหน้า Wikipedia

สำหรับตัวอย่างนี้ ฉันจะโหลด PDF สองสามไฟล์ที่มีเกี่ยวกับบริษัทห่วงโซ่อุปทานชื่อ GraphACME บทความในสื่อจาก Forbes และ วิดีโอ YouTube เกี่ยวกับ Corporate Sustainability Due Diligence Directive (CSDDD) ตลอดจนสองหน้าจาก Wikipedia: Corporate Sustainability Due Diligence Directive และ บังคลาเทศ

ขณะอัปโหลดไฟล์ แอปพลิเคชันจะจัดเก็บแหล่งที่มาที่อัปโหลดเป็นโหนดเอกสารในกราฟโดยใช้ LangChain Document Loaders และ YouTube parsers เมื่ออัปโหลดไฟล์ทั้งหมดแล้ว คุณควรเห็นสิ่งที่คล้ายกับนี้:

สิ่งที่เราต้องทำตอนนี้คือเลือกโมเดลที่จะใช้ คลิก สร้างกราฟ และปล่อยให้สิ่งมหัศจรรย์จัดการส่วนที่เหลือให้กับคุณ!

หากคุณต้องการสร้างการเลือกไฟล์เท่านั้น คุณสามารถเลือกไฟล์ก่อน (โดยใช้ช่องทำเครื่องหมายในคอลัมน์แรกของตาราง) แล้วคลิก สร้างกราฟ

ในขณะที่กำลังประมวลผลไฟล์ของคุณและสร้าง Knowledge Graph ให้ฉันสรุปสิ่งที่เกิดขึ้นภายใต้ประทุน:

1. เนื้อหาถูกแบ่งออกเป็นชิ้นๆ
2. ชิ้นส่วนต่างๆ จะถูกเก็บไว้ในกราฟและเชื่อมต่อกับโหนดเอกสารและเชื่อมต่อกันสำหรับรูปแบบ RAG ขั้นสูง
3. ชิ้นส่วนที่มีความคล้ายคลึงกันมากจะเชื่อมโยงกันด้วยความสัมพันธ์ SIMILAR เพื่อสร้างกราฟ K-Nearest Neighbors
4. การฝังจะถูกคำนวณและเก็บไว้ในชิ้นส่วนและดัชนีเวกเตอร์
5. การใช้ llm-graph-transformer หรือ diffbot-graph-transformer ช่วยในการแยกเอนทิตีและความสัมพันธ์ออกจากข้อความ
6. เอนทิตีจะถูกเก็บไว้ในกราฟและเชื่อมต่อกับชิ้นส่วนต้นกำเนิด

สำรวจกราฟความรู้ของคุณ

ข้อมูลที่ดึงมาจากเอกสารของคุณจะถูกจัดโครงสร้างเป็นรูปแบบกราฟ โดยที่เอนทิตีจะกลายเป็นโหนด และความสัมพันธ์จะกลายเป็นขอบที่เชื่อมต่อโหนดเหล่านี้ ข้อดีของการใช้ Neo4j อยู่ที่ความสามารถในการจัดเก็บและสอบถามเครือข่ายข้อมูลที่ซับซ้อนเหล่านี้ได้อย่างมีประสิทธิภาพ ทำให้กราฟความรู้ที่สร้างขึ้นนั้นมีประโยชน์ทันทีสำหรับแอปพลิเคชันต่างๆ

ก่อนที่เราจะใช้ตัวแทน RAG เพื่อถามคำถามเกี่ยวกับข้อมูลของเรา เราสามารถเลือกเอกสารหนึ่งฉบับ (หรือหลายฉบับ) ด้วยช่องทำเครื่องหมายและคลิก แสดงกราฟ ซึ่งจะแสดงเอนทิตีที่สร้างขึ้นสำหรับเอกสารที่คุณเลือก นอกจากนี้ คุณยังสามารถแสดงโหนดเอกสารและชิ้นส่วนในมุมมองนั้นได้อีกด้วย:

ปุ่ม Open Graph with Bloom จะเปิด Neo4j Bloom เพื่อช่วยให้คุณมองเห็นและนำทางกราฟความรู้ที่คุณเพิ่งสร้างขึ้นได้ การดำเนินการต่อไป — ลบไฟล์ — จะลบเอกสารและชิ้นส่วนที่เลือกออกจากกราฟ (และเอนทิตี หากคุณเลือกไว้ในตัวเลือก)

พูดคุยกับความรู้ของคุณ

ตอนนี้มาถึงส่วนสุดท้ายแล้ว: ตัวแทน RAG ที่คุณสามารถดูได้ในแผงด้านขวา

กระบวนการค้นหาข้อมูล — ทำงานอย่างไร?

รูปภาพด้านล่างนี้แสดงมุมมองที่เรียบง่ายของกระบวนการ GraphRAG

เมื่อผู้ใช้ถามคำถาม เราจะใช้ดัชนีเวกเตอร์ Neo4j พร้อมแบบสอบถามเพื่อค้นหาส่วนที่เกี่ยวข้องที่สุดสำหรับคำถามและเอนทิตีที่เชื่อมต่อกันซึ่งมีความลึกซึ้งถึง 2 ฮ็อป นอกจากนี้ เรายังสรุปประวัติการแชทและใช้เป็นองค์ประกอบเพื่อเสริมบริบทอีกด้วย

อินพุตและแหล่งที่มาต่างๆ (คำถาม ผลลัพธ์เวกเตอร์ ประวัติการแชท) จะถูกส่งไปยังโมเดล LLM ที่เลือกในคำสั่งที่กำหนดเอง โดยขอให้จัดเตรียมและจัดรูปแบบคำตอบสำหรับคำถามที่ถามโดยอิงตามองค์ประกอบและบริบทที่ให้มา แน่นอนว่าคำสั่งยังมีคุณสมบัติพิเศษอื่นๆ อีก เช่น การจัดรูปแบบ การขอให้อ้างอิงแหล่งที่มา การไม่คาดเดาหากไม่ทราบคำตอบ เป็นต้น คำสั่งและคำแนะนำฉบับสมบูรณ์สามารถพบได้ในไฟล์ QA_integration.py ในรูปแบบ FINAL_PROMPT

ถามคำถามที่เกี่ยวข้องกับข้อมูลของคุณ

ในตัวอย่างนี้ ฉันโหลดเอกสารภายในเกี่ยวกับบริษัทปลอมที่ชื่อ GraphACME (ตั้งอยู่ในยุโรป) ซึ่งจัดทำและบันทึกกลยุทธ์และผลิตภัณฑ์ในห่วงโซ่อุปทานทั้งหมด นอกจากนี้ ฉันยังโหลดบทความในสื่อและวิดีโอ YouTube ที่อธิบายถึง CSDDD ใหม่ ผลกระทบ และกฎระเบียบ ตอนนี้เราสามารถถามคำถามกับแชทบอตเกี่ยวกับความรู้ภายในบริษัท (ปลอม) ของเราได้แล้ว ไม่ว่าจะเป็นคำถามเกี่ยวกับกฎหมาย CSDDD หรือแม้แต่คำถามเกี่ยวกับทั้งสองอย่าง เช่น การถามถึงรายการผลิตภัณฑ์ที่ GraphACME ผลิตขึ้น ว่าผลิตภัณฑ์เหล่านี้จะได้รับผลกระทบจากกฎระเบียบ CSDDD หรือไม่ และหากเป็นเช่นนั้น จะส่งผลกระทบต่อบริษัทอย่างไร

ฟีเจอร์การแชท

ที่ด้านขวาของหน้าจอหลัก คุณจะสังเกตเห็นปุ่มสามปุ่มที่ติดอยู่กับหน้าต่างแชท:

• ปิด จะปิดอินเทอร์เฟซแชทบอท
• การล้างประวัติการแชท จะลบประวัติการแชทของเซสชันปัจจุบัน
• การขยายหน้าต่าง จะเปิดอินเทอร์เฟซแชทบอทในโหมดเต็มหน้าจอ

คำตอบของตัวแทน RAG คุณจะพบคุณสมบัติสามประการหลังคำตอบ:

• รายละเอียด จะเปิดหน้าต่างป๊อปอัปข้อมูลการเรียกค้นที่แสดงวิธีที่ตัวแทน RAG รวบรวมและใช้แหล่งข้อมูล (เอกสาร) ชิ้นส่วน และเอนทิตี รวมถึงข้อมูลเกี่ยวกับโมเดลที่ใช้และการใช้โทเค็นด้วย
• การคัดลอก จะคัดลอกเนื้อหาการตอบกลับไปยังคลิปบอร์ด
• Text-to-Speech จะอ่านเนื้อหาการตอบกลับออกเสียง

สรุป

หากต้องการเจาะลึก LLM Knowledge Graph Builder มากขึ้น GitHub Repository นำเสนอข้อมูลมากมาย รวมถึงโค้ดต้นฉบับและเอกสารประกอบ นอกจากนี้ เอกสารประกอบ ของเรายังให้คำแนะนำโดยละเอียดเกี่ยวกับการเริ่มต้นใช้งาน และ GenAI Ecosystem ยังนำเสนอข้อมูลเชิงลึกเพิ่มเติมเกี่ยวกับเครื่องมือและแอปพลิเคชันอื่นๆ ที่มีอยู่

อะไรต่อไป — ความสามารถในการสนับสนุนและการขยายผล

ประสบการณ์ของคุณกับ LLM Knowledge Graph Builder นั้นมีค่าอย่างยิ่ง หากคุณพบข้อบกพร่อง มีข้อเสนอแนะสำหรับฟีเจอร์ใหม่ ต้องการมีส่วนร่วม หรือต้องการเห็นการปรับปรุงบางอย่าง แพลตฟอร์มชุมชนเป็นสถานที่ที่สมบูรณ์แบบในการแบ่งปันความคิดของคุณ สำหรับผู้ที่เชี่ยวชาญในการเขียนโค้ด การมีส่วนร่วมโดยตรงบน GitHub ถือเป็นวิธีที่คุ้มค่าในการช่วยพัฒนาโครงการ อินพุตและการมีส่วนร่วมของคุณไม่เพียงแต่ช่วยปรับปรุงเครื่องมือเท่านั้น แต่ยังส่งเสริมให้เกิดชุมชนที่ทำงานร่วมกันและสร้างสรรค์อีกด้วย:

• ชุมชนออนไลน์ Neo4j
• เข้าร่วมเซิร์ฟเวอร์ Neo4j Discord!

ทรัพยากร

เรียนรู้เพิ่มเติมเกี่ยวกับทรัพยากรใหม่สำหรับแอปพลิเคชัน GenAI: Neo4j GraphRAG Ecosystem Tools เครื่องมือโอเพ่นซอร์สเหล่านี้ทำให้สามารถเริ่มต้นใช้งานแอปพลิเคชัน GenAI ที่มีกราฟความรู้ได้อย่างง่ายดาย ซึ่งช่วยปรับปรุงคุณภาพการตอบสนองและความสามารถในการอธิบาย และเร่งการพัฒนาและการนำแอปพลิเคชันไปใช้

วีดีโอ

ลิงค์

• เริ่มต้นใช้งาน GraphRAG: เครื่องมือระบบนิเวศของ Neo4j
• GitHub – neo4j-labs/llm-graph-builder: การสร้างกราฟ Neo4j จากข้อมูลที่ไม่มีโครงสร้าง
• Neo4j LLM Knowledge Graph Builder – แยกโหนดและความสัมพันธ์จากข้อความที่ไม่มีโครงสร้าง (PDF, YouTube, เว็บเพจ) – Neo4j Labs
• ระบบนิเวศ GenAI – Neo4j Labs
• Needle StarterKit 2.0: เทมเพลต, Chatbot และอีกมากมาย!