RAG бүх төрлийн асуултуудын хувьд хязгаарлагдмал, домонд тусгай анхаараг бий болгохгүйгээр том өгөгдлийн цуглуулгыг хайж авах хамгийн тохиромжтой арга юм. Хязгаарлагдмал демонстрац дээр ажилладаг зүйл нь хэзээ ч хурдан буцаж байгаа юм. Хэрэв та энэ нь бодит аж ахуйн нэгжийн PDF-ийн өмнө байрлуулж байгаа бол: скандсан ач холбогдол, ач холбогдол, эмнэлгийн жагсаалтууд, зөвлөгөө, тэдгээрийн хуваалцсан хуваалц, чанарын асуудал. Үйлдвэрлэлд, "RAG асуудал" нь ухаалаг анхаарах талаар бага байдаг, өөр өөр өөр өөр өөр өөрчилж болно: харах, аюулгүй байдал, чанарын хяналтын талаархи тодорхойлолт хийх боломжтой юм. Энэ нь систем нь зөв хаягтай хариу зайлсхийж чадахгүй, баталгаажуулахад найдвартай чаднагүй, эсвэл зүйлс хуваалцахгүйгээр үнэлгээгүй, сайжруулсан, сайжруулсан чадахгүй. Хэрвээ та хуваалцахыг дэмжих документын хуваалцсан хуваалцсан хуваалцсан хуваалцсан хуваалцсан - эсвэл хэрэглэгч үүнийг үзэх боломжийг олгодог - танд бүтээгдэхүүнийг байхгүй байна. Та туршиж байна. The Demo Trap Эдүүлбэр » Demo Trap Бүх прототипийг нэг арга замыг дагаж байна: вектор дэлгүүрт өгөгдлийг татаж, топ-k хавтан олж авах, LLM-ийг синтез хийхыг хүсч байна. Зөөлөн, сайн бүтэцтэй текст дээр, энэ нь маш сайн харах болно. асуудал нь дараагийн зүйл юм. Зөөлөн PDF-ийг дутагдал, эсвэл зөөлөн үзнэ үү. Олон ширээний унтраах үйл явцыг хязгаарлагддаг. Таблийг олж авах үед бүтэц олж авах. Хязгаарлагдмал аргументийг хооронд хуваалцдаг. Хязгаарлагдмал нь "хязгаарлагдмал" контекст унтраах, хамардаг боловч үнэхээр асуултуудыг дэмждэг. Бүтээгдэхүүний хувьд, та demo-аас янз бүрийн шинж чанарыг сайжруулдаг. Та систем нь хатуу эх үүсвэр дээр найдвартай, хоолой өөрчлөлтийг хооронд хуваалцаж, шалгах үед захиалж чадна. Энэ нь тодорхой дохиололтай хариу зайлсхийх боломжийг олгодог бөгөөд дохиолол нь бага байдаг үед хүчтэй давтамжтай байхыг хүсч байна: асуултуудыг тодорхойлох, туслах үйл явдал, эсвэл явдалгүй нягтралтай "түүлдэг боломжтой дохиолол" санал болгож байна. Энэ нь дохиололтыг олборлолын хэсэг болгон эмчлэх гэсэн үг юм - UI-д давтамжтай биш. Ingestion: Where Quality Is Won or Lost Хэвлэх: чанарын олж, эсвэл олж авах Хэрэв та эдгээр системийг хэд хэдэн бий болгож байгаа бол та хурдан олох болно. Document AI preprocessing нь гайхалтай биш юм. Хэрэв та бүтэц хадгалж болно - эсвэл үргэлжлүүлэн ялах болно. Үйлчилгээний өгөгдлийн хувьд OCR-ийн зөвхөн хялбар биш юм. Та хэлбэрийн мэдлэгтэй OCR-ийг шаардлагагүй, унтраах үйл явцыг сайжруулах, бүтэц, бүтэц, тавтай морилно уу. Google Document AI, Azure Document Intelligence, Amazon Textract гэх мэт менежментийн тоног төхөөрөмж нь маш их газар хамарна. Unstructured болон GROBID гэх мэт нээлттэй эх сурвалжаар хоолой хэрэглэнэ. Chunking нь багтаамж нь ихэвчлэн хязгаарлагдмал юм. Хязгаарлагдмал тэмдэг эсвэл токен хуваалцах нь хурдан юм, гэхдээ энэ нь семантик хязгаарлагдмал байдал - хэрэглэгчдийн контракт, бодлогод амархан хязгаарлагдмал байдал юм. Хязгаарлагдмал хязгаарлагдмал байдал, хэсэг хязгаарлагдмал байдал, ширээний хязгаарлагдмал байдал дараах адаптив хязгаарлагдмал байдал нь ихэвчлэн олборлолт болон доорх хязгаарлагдмал байдал сайжруулдаг. Энэ нь эцсийн хэрэглэгчдэд идэвхтэй мэдрэмжийг олгодог: chunk_4892 гэх мэт хязгаарлагдмал интернэт ID-ийг харахын тулд, та зүгээр л ямар нэг зүйлийг харуулсан болно - Metadata нь таны хэрэгцээтэй байх үед сонголттай гэж үзэж байгаа бусад газар юм. Үнэндээ, метадан дээр нь шүүлтүүр, дагаж чадна, болон хувиргах боломжийг олгодог зүйл юм. Хэрэгцээтэй хавтгай түвшин метадан нь ихэвчлэн документын ID-ийг, секцийн зам, хуудсуудын тоо, цаг хугацааны тэмдэглэгээ (хэвийн огноо, сүүлийн үеийн өөрчлөгдсөн, хэрэгцээтэй), экстракцийн найдвартай сигналууд, хувилбарууд (документ хашиг, цонхны хувилбарууд, хэрэгцээтэй загварын хувилбарууд) агуулдаг. аж ахуйн нэгжийн хэлбэрээр, хандалтын хяналтын атрибутууд (хавтан, газар, тайван байдал, алдартай тэмдэглэгээ) анх The Retrieval Stack That Actually Works Үнэндээ ажиллаж байгаа Retrieval Stack Вектор хэлбэрийн хайлт нь сайн эх үүсвэр юм, гэхдээ энэ нь корпорацийн документын хувьд ихэвчлэн хязгаарлагдмал юм. Үнэндээ, гибрид олборлолт - BM25 гэх мэт хязгаарлагдмал лексикийн олборлолт нь илүү хүчтэй байдаг, ялангуяа хэрэглэгчид цонхны тоо, идентичлүүлэгчид, акроним, эсвэл нарийвчлалтай хэлбэрийг хайж байгаа үед. Хязгаарлагдмал олборлолт нь хэлбэрийн зорилго нь сайн ажиллуулдаг; хязгаарлагдмал олборлолт нь танд хязгаарлагдмал хэлбэрийн тодорхой хэлбэрийн болон хязгаарлагдмал токеновтай байх болно. Reranking нь системийн найдвартай чанарын хамгийн их түлхүүр юм, учир нь энэ нь гайхалтай биш, гэхдээ энэ нь ихэвчлэн хязгаарлагдмал тохиргоог тохируулж байна: эхний олборлолт багц нь "кинда ач холбогдолтой" хавтан агуулдаг бөгөөд та үнэхээр ач холбогдолтой хавтан хамгийн шилдэг руу дэмжих хэрэгтэй. Cross-encoder re-ranker (bge-reranker гэх мэт нээлттэй загварууд, эсвэл Cohere ranker гэх мэт удирдсан API-ийн) хязгаарлагдмал хавтан нь ихэвчлэн хязгаарлагдмал хязгаарлагдмал хавтан ашигладаг. багц нь харьцуулахад тохиромжтой үед контекст нарийвчлалтай түвшинд харьцуулахад хамгийн сайн юм. Ангиллын шинэчлэлт, өргөтгөл нь дараа нь эхлэхэд хялбар, дараа нь шинэчлэхэд хялбар өөр нэг хязгаарлалт юм. Хэрэглэгчид байгалийн хэлбэрийн асуултуудыг документууд бичсэн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэл Security: The Layer Everyone Forgets Аюулгүй байдал: Бүх хүмүүс унтраах RAG-ийн ихэнх демо нь хандалтын хяналтыг хязгаарладаг. Бүтээгдэхүүний хувьд энэ нь ихэвчлэн хязгаарлалт юм. Хэрэв таны систем нь HR-ийн өгөгдөл, хууль эрх зүйн ач холбогдол, инженерийн тодорхойлолттэй нэгтгэсэн байгаа бол хэрэглэгчийн → зөвшөөрөгдсөн хувцас нь тодорхойлолттай эрхлэх шугам хэрэгтэй бөгөөд ямар ч агуулгыг LLM-ийг олж авах өмнө энэ шугам нь хязгаарлагддаг байх ёстой. Шалгахын тулд тохиромжтой загвар нь pre-filtered retrieval юм: calculate rights (RBAC/ABAC), compatible ACL attributes нь зөвхөн хавтгай дөрвөлжинээс олж авах, зөвшөөрөлгүй кандидатын багц дотор реранк, харахын тулд харуулсан харуулгыг бүртгүүлэх. Энэ нь "метадан дээр сонголтгүй биш" оноо нь практик дээр харуулсан юм - хязгаарлалттай түвшин тэмдэглэхгүйгээр, та хязгаарлалттай хязгаарлалт, үнэтэй, хязгаарлалттай дараагийн шүүлтүүртэй харах болно. ACL-ийн гадна аж ахуйн нэгжийн суулгах нь PII-ийн олборлолт / маскинг, хязгаарлагдмал шифрлэлт, эх үүсвэр хангамжийн хангамжийг зориулсан хязгаарлагдмал токен, асуултууд, олборлогдсон хязгаарлагдмал ID-ийг, цитатууд, документын хуваалцлыг олж авахын тулд аудитын жагсаалтыг шаарддаг. Өөр нэг орчин үеийн асуултууд нь өгөгдлийн дотор хурдан шифрлэлт агуулгыг хүсч байна. Та бүх өгөгдлийг хамаарах хэрэгтэйгүй, гэхдээ та эх үүсвэр бичлэгд хамарсан зааврыг системийн нөхцөл байдал - ихэвчлэн хангамжийн хангамж, хангамж, загвар нь хэрхэн гүйцэтгэх боломжийг олгодог. Monitoring: Closing the Loop Сургалтын: Loop Closing Хэрэв та эдгээр системийг хэд хэдэн долоо хоногийн турш ажиллуулж байгаа бол, та илгээх болно. Документийг өөрчлөх, асуултын хуваалцлыг өөрчлөх, хэрэглээний хоолой өөрчлөх, загварын бүрэлдэхүүн хэсгүүд шинэчлэгддэг. Сургалтын болон үнэлгээгүйгээр чанарын хэрэглэгчид хэрэгсэлтэй итгэхийн тулд хязгаарлагддаг. Үнэндээ, та олборлолтын эрүүл мэнд (release@k нь алт багц, контекст нарийвчлал, reranker lift), генерацийн эрүүл мэнд (загварын нарийвчлал, groundedness/faithfulness шалгах, хязгаарлалт түвшин), болон үйл ажиллагааны эрүүл мэнд (p50/p95 давтамж, анхааралтай зардал, тасалгааны шинэчлэлээс хайж болно индекс руу тасалгааны давтамж) харахыг хүсч байна. Би үзсэн хамгийн үр дүнтэй багц нь алт үнэлгээний өгөгдлийн багц - хүсч байгаа эх үүсвэрийн өгөгдөлтэй асуултууд - хадгалах, цаг хугацааны дагуу, өөрчилсөн үйл явдлыг (новий хавтан, шинэ chunking логик, шинэ өгөгдлийн Нэг газар нь ихэвчлэн хязгаарлагддаг нь хувилбарууд болон хувилбарууд юм. Хэрэв та OCR загварууд, хязгаарлагдмал логик, загварууд суулгах, реранкер, эсвэл генерацийг илгээх болно, та өөрчлөн хувилбарууд үйлдвэрлэдэг арга хэрэгсэл хэрэгтэй. Энэ нь debugging болон аудитын дараах сарын дараа хийх боломжтой болгодог. Choosing Your Stack Таны Stack сонгох Багц шийдлүүд чухал байдаг боловч боломжууд илүү чухал байдаг. Олон багдад менежментийн тохиргоог сонирхолтой байдаг: менежментийн Document AI хэрэгсэл эсвэл Unstructured-базигдсан хоолой, хост вектор мэдээллийн сан, LlamaIndex эсвэл LangChain гэх мэт оркестрийн хавтгай, реранкер (отвор эсвэл менежментийн). Өнгөрсөн хүмүүс Qdrant/Weaviate/OpenSearch, Haystack, эсвэл харьцангуй оркестрийг ашиглан нээлттэй эх сурвалжуудыг дуртай, хяналтын болон үнэ төлбөрний урьдчилан сэргийлэх хувьд автоматаар оркестрийн загварууд. Энэ хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын талаар Архитектур хэлбэрээр, систем нь цэвэр хэлбэрээр хуваалцаж байгаа үед үйл ажиллагаа нь илүү хялбар байх болно: асинхронд ажиллуулж, аюулгүй байдалтай шинэчлэх боломжтой хэрэгслийг ажиллуулж байгаа ажилчид; нөхцөл байдалгүй олборлолт үйлчилгээ, шинж чанарыг баталгаажуулдаг; болон хязгаарлагдмал контекст, ягаан туяаны эх үүсвэртэй үйл ажиллагаа явуулж буй үйлдвэрлэлийн үйлчилгээ. Хэвийн харьцуулалт суурилуулах API галт тэрэг, ажлын өрөө (Kafka/RabbitMQ), цахилгаан документууд, арьсан арьс, индекс бүтэц ( +dense sparse), түүнчлэн төвлөрсөн бүртгүүлэх / метрик, хяналтын шугам агуулдаг.
