สร้างระบบ RAG เกรดการผลิตสําหรับเอกสาร AI: สิ่งที่ต้องใช้จริง

RAG มีอยู่ทุกที่และไม่น่าแปลกใจ มันเป็นหนึ่งในวิธีที่ใช้งานได้มากที่สุดในการค้นหาคอลเลกชันเอกสารขนาดใหญ่โดยไม่ต้องสร้างตัวอักษรที่อ่อนแอและเฉพาะโดเมนสําหรับทุกชนิดของคําถาม ความประหลาดใจคือสิ่งที่ทํางานในการทดลองควบคุมมักจะลดลงอย่างรวดเร็วเมื่อคุณวางไว้หน้าไฟล์ PDF ขององค์กรจริง: สัญญาการสแกนเอกสารการปฏิบัติตามเอกสารทางการแพทย์นโยบายและปัญหาการวางแผนและคุณภาพที่มาพร้อมกับพวกเขา ในการผลิต "ปัญหา RAG" นั้นไม่เกี่ยวกับการแจ้งเตือนที่ชาญฉลาดและมากกว่าเกี่ยวกับความสามารถในการทําซ้ํา: ความสามารถในการติดตามความปลอดภัยการควบคุมคุณภาพและความสามารถในการอธิบายว่าทําไมคําตอบถูกต้อง (หรือทําไมระบบปฏิเสธ) เมื่อทีมถูกยึดติดมันไม่ค่อยเป็นเพราะการค้นหาเวกเตอร์ "ไม่ทํางาน" นี่เป็นเพราะระบบไม่สามารถสร้างคําตอบตามหลักฐานที่ถูกต้องอย่างสม่ําเสมอไม่สามารถบังคับใช้สิทธิ์ได้อย่างน่าเชื่อถือหรือไม่สามารถประเมินและปรับปรุงได้โดยไม่ต้องทําลายสิ่งต่างๆ หากคุณไม่สามารถบอกผู้มีส่วนเกี่ยวข้องรุ่นของเอกสารใดที่สนับสนุนการเรียกร้อง - หรือพิสูจน์ว่าผู้ใช้ได้รับอนุญาตให้ดูมัน - คุณยังไม่มีผลิตภัณฑ์ คุณมีการทดลอง The Demo Trap ล็อค Demo ตัวอย่างส่วนใหญ่ทําตามเส้นทางเดียวกัน: วางเอกสารลงในร้านเวกเตอร์ค้นหาชิ้นส่วนด้านบนและขอ LLM เพื่อสังเคราะห์ บนข้อความที่สะอาดและโครงสร้างได้ดีซึ่งสามารถดูดีได้ ปัญหาคือสิ่งที่เกิดขึ้นต่อไป PDFs ที่สแกนมาในแบบหมุนหรือสกปรก คําสั่งการอ่านหลายคอลัมน์จะถูกขัดแย้ง ตารางสูญเสียโครงสร้างในระหว่างการสกัด การขัดแย้งแบ่งช่วงกลางการอภิปราย Retrieval กลับกลับขอบเขต "ใกล้พอ" ที่อ่านได้จริง แต่ไม่ได้สนับสนุนการเรียกร้อง และรุ่นทําสิ่งที่ได้รับการเพิ่มประสิทธิภาพจะตอบอย่างราบรื่น ในการผลิตคุณกําลังเพิ่มประสิทธิภาพสําหรับคุณสมบัติที่แตกต่างจากตัวอย่าง คุณต้องการให้ระบบมีความน่าเชื่อถือในการป้อนข้อมูลที่ไม่ซับซ้อนสามารถทําซ้ําได้ระหว่างการเปลี่ยนแปลงท่อและสามารถป้องกันได้ภายใต้การตรวจสอบ ซึ่งหมายความว่าคุณสามารถติดตามคําตอบกลับไปยังหลักฐานที่เฉพาะเจาะจงและมีค่าเริ่มต้นที่แข็งแกร่งเมื่อหลักฐานมีความอ่อนแอ: การชี้แจงคําถามพฤติกรรมการปฏิเสธหรือนําเสนอ "หลักฐานที่มีอยู่ที่ดีที่สุด" กับความไม่แน่นอนอย่างชัดเจน นอกจากนี้ยังหมายความว่าการรักษาการควบคุมการเข้าถึงเป็นส่วนหนึ่งของการกู้คืน - ไม่ใช่ความคิดหลังที่วางไว้บน UI Ingestion: Where Quality Is Won or Lost การดูดซึม: ที่คุณภาพได้รับหรือสูญเสีย หากคุณได้สร้างระบบเหล่านี้ไม่กี่ระบบคุณจะได้เรียนรู้อย่างรวดเร็วว่าการดูดซึมจะกําหนดคุณภาพการกู้คืนมากกว่าเทคนิคด้านล่างส่วนใหญ่ การประมวลผลล่วงหน้าของเอกสาร AI ไม่น่ากลัว แต่นี่คือสถานที่ที่คุณสามารถรักษาโครงสร้างได้หรือสูญเสียได้อย่างถาวร สําหรับเอกสารองค์กร OCR เท่านั้นไม่เพียงพอ คุณมักจะต้องการ OCR พร้อมการตรวจจับการวางแผนการรีไซเคิลตามลําดับการอ่านและการสกัดโครงสร้างเพื่อให้หัวข้อและตารางมีความหมาย เครื่องมือที่จัดการเช่น Google Document AI, Azure Document Intelligence และ Amazon Textract สามารถครอบคลุมพื้นดินได้มากมาย ท่อโซลูชั่น Open-Source เช่น Unstructured และ GROBID เป็นเรื่องธรรมดาเมื่อคุณต้องการความโปร่งใสหรือการควบคุมที่เข้มงวดกว่าการตัดสินใจในการจับคู่ Chunking เป็นสถานที่ที่ทีมมักจะประเมินความซับซ้อน การแบ่งตัวละครหรือโทเค็นที่เรียบง่ายเป็นเรื่องที่รวดเร็ว แต่ก็มักจะตัดขอบเขตเชิงอ้างอิงซึ่งเป็นขอบเขตที่ผู้ใช้ใส่ใจในสัญญาและนโยบาย การตัดขอบเขตที่ปรับแต่งตามหัวข้อขอบเขตส่วนและขอบเขตตารางมักจะปรับปรุงการค้นหาและการสร้างพื้นฐานด้านล่าง นอกจากนี้ยังทําให้ผู้ใช้ปลายทางรู้สึกเป็นธรรมชาติ: แทนที่จะแสดง ID ภายในที่ไม่ชัดเจนเช่น chunk_4892 คุณสามารถระบุสิ่งที่ผู้ตรวจสอบสามารถตรวจสอบได้ทันที - "MSA v3.2 → Section 9 (End) → 9.2 (End for Cause) หน้า 12 เส้น 14-2" ข้อมูลเมตาเป็นพื้นที่อื่น ๆ ที่มักจะดูเป็นตัวเลือกจนกว่าคุณจะต้องการในทางปฏิบัติข้อมูลเมตาเป็นสิ่งที่ทําให้การกรองความสามารถในการติดตามและความสามารถในการทําซ้ําได้ ข้อมูลเมตาที่เป็นประโยชน์ในระดับชิ้นส่วนมักจะรวมถึง ID ของเอกสารเส้นทางส่วนหมายเลขหน้าเวลา (วันที่ที่มีประสิทธิภาพการแก้ไขครั้งสุดท้ายที่นําเข้า) สัญญาณความไว้วางใจการสกัดและตัวระบุรุ่น (เอกสารแฮชเวอร์ชันการแทรกซ้อนรุ่นการแทรกซ้อนรุ่น) ในแง่มุมองค์กรคุณสมบัติการควบคุมการเข้าถึง (ผู้เช่าแผนกความเป็นส่วนตัวแท็กบทบาท) ควรเป็นชั้นแรกเพราะพวกเขา จํากัด การสํารวจและการตรวจสอบโดยตรง The Retrieval Stack That Actually Works Stack การกู้คืนที่ทํางานจริง ๆ การค้นหาความคล้ายคลึงกันของเวกเตอร์เป็นจุดเริ่มต้นที่ดี แต่ก็ไม่ค่อยเพียงพอสําหรับเอกสารองค์กร ในทางปฏิบัติการการค้นหาแบบไฮบริด - การบูรณาการที่หนาแน่นและการค้นหาแบบอักษรที่หายากเช่น BM25 - มีแนวโน้มที่จะมีความแข็งแกร่งมากขึ้นโดยเฉพาะอย่างยิ่งเมื่อผู้ใช้ถามคําถามด้วยหมายเลขข้อที่ระบุตัวยึดหรือคําอธิบายที่แม่นยํา การค้นหาแบบหนาแน่นจัดการกับความมุ่งหมายทางสัญลักษณ์ได้ดี; การค้นหาแบบหนาแน่นช่วยให้คุณสามารถเชื่อมโยงคําศัพท์ที่แม่นยําและโทเค็นที่หายากซึ่งการบูรณาการมักจะราบรื่น การจัดอันดับใหม่มักจะเป็นสถานที่ที่ระบบจะทําคะแนนใหม่ที่ใหญ่ที่สุดในคุณภาพที่รับรู้ไม่ได้เพราะมันเป็นเรื่องมหัศจรรย์ แต่เพราะมันแก้ไขโหมดการล้มเหลวที่พบบ่อย: ชุดการค้นพบครั้งแรกมีชิ้นส่วนที่มีความเกี่ยวข้องและคุณต้องส่งเสริมชิ้นส่วนที่มีความเกี่ยวข้องอย่างแท้จริงไปยังด้านบน การจัดอันดับใหม่แบบ Cross-encoder (โมเดลเปิดเช่น bge-reranker หรือ API ที่จัดการเช่น Cohere ranker) จะจัดอันดับชิ้นส่วนผู้สมัครโดยใช้การโต้ตอบคําถามที่ลึกซึ้งขึ้น ทีมมักจะเห็นการเพิ่มขึ้นอย่างเห็นได้ชัดในความแม่นยําในแง่มุมเมื่อการจัดอันดับใหม่ถูกวัดอย่างถูกต้อง (เช่นในชุดทองคําที่มีแหล่งที่คาดหวัง) หากคุณรักษาข้อกําหนดปริมาณที่นี่มันเป็นสิ่งที่ดีที่สุดที่จะเชื่อมโยงกับเมตริก (“ความ การเขียนซ้ําคําถามและการขยายตัวคําถามเป็นปัจจัยอื่นที่ง่ายต่อการล้มเหลวก่อนและค้นพบใหม่ในภายหลัง ผู้ใช้ไม่ได้คําถามตามธรรมชาติวิธีที่เอกสารจะเขียน ขั้นตอนการเขียนซ้ําสามารถขยายตัวอักษรปกติ entities และแบ่งคําถามหลายส่วนเป็นคําถามย่อยที่เป็นมิตรกับการค้นหา ไม่จําเป็นต้องแปลกประหลาดใจ แต่จําเป็นต้องมีการสังเกตเห็นเนื่องจากการเขียนซ้ําแบบไม่ควบคุมสามารถล้มเหลวจากความตั้งใจของผู้ใช้ Security: The Layer Everyone Forgets ความปลอดภัย: Layer ทุกคนลืม การทดลอง RAG ส่วนใหญ่ลืมการควบคุมการเข้าถึงเนื่องจากชะลอตัวอย่าง ในการผลิตมันเป็นข้อ จํากัด หลัก หากระบบของคุณดัชนีเอกสาร HR ข้อตกลงทางกฎหมายและข้อกําหนดด้านวิศวกรรมพร้อมกันคุณต้องใช้เส้นทางการรับอนุญาตจากผู้ใช้ → ชิ้นส่วนที่อนุญาตและการค้นหาต้องถูก จํากัด โดยเส้นทางนี้ก่อนที่เนื้อหาใด ๆ จะเข้าถึง LLM รูปแบบที่มีแนวโน้มที่จะขยายตัวคือการค้นหาที่กรองไว้ล่วงหน้า: การคํานวณสิทธิ์ (RBAC / ABAC), การกู้คืนเฉพาะจากชิ้นส่วนที่มีคุณสมบัติ ACL ที่เข้ากันได้, การจัดเรียงใหม่ภายในชุดผู้สมัครที่ได้รับอนุญาตและบันทึกหลักฐานใดที่ได้รับการเข้าถึง นี่คือจุดที่ "metadata ไม่เป็นตัวเลือก" จะปรากฏขึ้นในทางปฏิบัติ - โดยไม่ต้องแท็กระดับชิ้นส่วนคุณจะจบลงด้วยขอบเขตที่รั่วไหลหรือตัวกรองหลังที่แพงและอ่อนแอ นอกเหนือจาก ACL การใช้งานขององค์กรมักต้องการการรวมกันของการตรวจจับ / ปกติ PII การเข้ารหัสในเวลาหยุดชั่วคราว tokens ระยะสั้นสําหรับการเข้าถึงแหล่งที่มาและการบันทึกการตรวจสอบที่จับคําถาม ID ชิ้นส่วนที่ถูกลบออกคําอธิบายและรุ่นเอกสาร หนึ่งความกังวลที่ทันสมัยมากขึ้นที่ควรพิจารณาอย่างจริงจังคือการฉีดเนื้อหาอย่างรวดเร็วภายในเอกสาร คุณไม่จําเป็นต้องปฏิบัติทุกเอกสารเป็นอันตราย แต่คุณต้องใช้บันทึกพื้นฐานเพื่อให้คําแนะนําที่บูรณาการในข้อความแหล่งที่มาไม่สามารถแทนที่กฎของระบบของคุณโดยเฉพาะอย่างยิ่งเกี่ยวกับการเข้าถึงการควบคุมการเปิดเผยและวิธีการที่รุ่นได้รับอนุญาตให้พฤติกรรม Monitoring: Closing the Loop การตรวจสอบ: ปิดวงจร หากคุณใช้งานหนึ่งในระบบเหล่านี้เป็นเวลานานกว่าไม่กี่สัปดาห์คุณจะเห็นการลื่นไถล การเปลี่ยนแปลงเอกสารการกระจายคําถามการเปลี่ยนแปลงท่อการดูดซึมและการอัปเดตส่วนประกอบแบบจําลอง หากไม่มีการตรวจสอบและการประเมินคุณภาพจะลดลงอย่างเงียบจนกว่าผู้ใช้จะหยุดเชื่อถือเครื่องมือ ในทางปฏิบัติคุณต้องการติดตามสุขภาพการกู้คืน (recall@k กับชุดทองคําความแม่นยําของ contexts, reranker lift), สุขภาพการผลิต (ความแม่นยําในการอ้างอิง, การตรวจสอบพื้นฐาน / ความน่าเชื่อถือ, อัตราการปฏิเสธ) และสุขภาพการดําเนินงาน (p50 / p95 ความล่าช้าค่าต่อคําถาม, การสูญเสียความล่าช้าจากการอัปเดตเอกสารไปยังดัชนีที่สามารถค้นหาได้) ทีมที่มีประสิทธิภาพมากที่สุดที่ฉันได้เห็นคือการรักษาชุดข้อมูลการประเมินทองคําคําถามที่มีเอกสารแหล่งที่คาดหวังและเรียกใช้ตามตารางเวลาและในเหตุการณ์การเปลี่ยนแปลง (การแทรกซ้อนใหม่ logic chunking ใหม่ชุดเอกสารใหม่) เครื่องมือเช่น Phoenix, TruLens หรือแพลตฟอร์มเชิงพาณิชย์สามารถ หนึ่งในพื้นที่ที่มักจะถูกประเมินต่ําคือการสร้างเวอร์ชันและการทําซ้ํา เมื่อคุณเปลี่ยนรูปแบบ OCR, chunking โลจิสติก, embedding models, reerankers, or generation prompts คุณจําเป็นต้องมีวิธีติดตามรุ่นที่ผลิตซึ่งตอบสนอง นั่นคือสิ่งที่ทําให้การขัดถูและการตรวจสอบเป็นไปได้เดือนต่อมา Choosing Your Stack เลือก Stack ของคุณ การตัดสินใจแบบ Stack มีความสําคัญ แต่ความสามารถมีความสําคัญมากขึ้น สําหรับหลายทีมการตั้งค่าแบบ Managed-leaning มีเสน่ห์: การดูดซึมผ่านเครื่องมือการจัดการเอกสาร AI หรือท่อแบบ Unstructured, ฐานข้อมูลเวคเตอร์ที่โฮสต์, ชั้น orchestration เช่น LlamaIndex หรือ LangChain และ reranker (เปิดหรือจัดการ) อื่น ๆ ชอบการดูดซึมแบบ open-source โดยใช้ Qdrant/Weaviate/OpenSearch, Haystack หรือการดูดซึมแบบคล้ายกันและรูปแบบที่โฮสต์ด้วยตนเองเพื่อการควบคุมและการคาดการณ์ค่าใช้จ่าย ทั้งสองวิธีสามารถทํางานได้หากรองรับพื้นฐาน: การดูดซึมที่ตระหนักถึงเอกสารการดูดซึมแบบไฮบริดการบังคับใช้สิทธิ์การดูดซึมที่เป็นมิตร ในด้านสถาปัตยกรรมระบบมีแนวโน้มที่จะใช้งานง่ายขึ้นเมื่อมีการแบ่งออกอย่างสะอาด: พนักงานการดูดซับที่ทํางานไม่สอดคล้องกันและสามารถรีไซเคิลได้ได้อย่างปลอดภัย บริการการค้นหาแบบไม่มีรัฐที่บังคับใช้นโยบายและส่งกลับหลักฐาน และบริการการสร้างที่ทํางานด้วยบรรทัดฐานที่ จํากัด และแหล่งกําเนิดที่ชัดเจน การใช้งานการอ้างอิงทั่วไปรวมถึงพอร์ต API คู่มืองาน (Kafka/RabbitMQ) การจัดเก็บวัตถุสําหรับเอกสารดิบและวัตถุประดิษฐ์ที่สอดคล้องกันชั้นอเนกประสงค์ ( +dense sparse) รวมถึงการบันทึก / เมทริกไซด์และเส้นทางการตรวจสอบ