RAG se tout kote - e sa pa se yon siksè. Li se youn nan fason ki pi pratik yo fè koleksyon dokiman gwo ka rechèch san yo pa bati fragile, domèn-spesifik parseurs pou chak kalite kesyon. Chak la se ke sa ki travay nan yon demo kontwole souvan detwi byen vit lè ou mete li anvan reyèl antrepriz PDFs: kontrè scan, dosye konformite, dosye medikal, politik, ak long koupe a nan layout ak bon jan kalite pwoblèm ki gen ladan yo. Nan pwodiksyon, "problèm RAG" se mwens sou enspirasyon entelijan ak plis sou repeteabilite: traceability, sekirite, kontwòl bon jan kalite, ak kapasite yo eksplike poukisa yon repons se kout (oswa poukisa sistèm la refize). Kòm ekip yo kouvri, li se rarman paske rechèch vètikal "pa travay." Li se paske sistèm la pa ka konsistentman fonde repons yo nan dokiman ki kòrèk, pa ka egzekite otorizasyon an konfyans, oswa pa ka evalye ak amelyore san yo pa kouvri bagay. Si ou pa ka di yon stakeholder ki vèsyon nan dokiman ki sipòte yon revizyon - oswa pwouve ke itilizatè a te otorize yo wè li - ou pa gen yon pwodwi ankò. Ou gen yon eksperyans. The Demo Trap Pòch Demo Pifò prototip ap swiv menm wout la: kite dokiman yo nan yon magazen vètikal, retire bwat top-k, epi mande yon LLM sintetize. Sou yon tèks net, byen estrikti, sa a ka gade ekselan. Problèm la se sa ki rive apre yo. PDFs tcheke vini nan rote oswa twouve. Orè a lekti milti-kolòn yo pral twouve. Tables pèdi estrikti pandan ekstraksyon. Chunking divize mid-argument. Retrieval retire konteks la "tou pre" ki li plausibman men pa reyèlman sipòte revwa a. Epi modèl la, fè sa li se optimisé yo fè, reponn fluidman nan tout fason. Nan pwodiksyon, ou se optimize pou pwopriyete diferan pase yon demografik. Ou vle sistèm la dwe serye sou entwodiksyon chaj, reproduible atravè chanjman pipeline, ak defannab anba enspeksyon. Sa vle di kapab trace yon repons tounen nan dokiman espesifik, ak gen fò default yo lè dokiman an se faib: klarifikasyon kesyon, refize pwopriyete, oswa prezante "pou pi bon dokiman ki disponib" ak eksplicit enkyetid. Li vle di tou trete kontwòl aksè kòm yon pati nan retrè - pa kòm yon repons layered sou UI. Ingestion: Where Quality Is Won or Lost Konsomasyon: kote bon jan kalite a genyen oswa pèdi Si ou te bati kèk nan sistèm sa yo, ou ap aprann byen vit ke konsomasyon detèmine bon jan kalite retrè pi plis pase pi fò nan trik yo anba a. Dokiman AI preprocessing se pa enteresan, men li se kote ou konsève estrikti - oswa pèdi li pou tout tan. Pou dokiman antrepriz, OCR se pa sèlman ase; ou tipikman bezwen OCR ak deteksyon layout, rekonstriksyon nan lòd lekti, ak estrikti ekstraksyon ki kenbe tit, seksyon, ak tab vle di. Zouti jesyon tankou Google Dokiman AI, Azure Dokiman Intelligence, ak Amazon Textract ka kouvri yon anpil nan tè. Open-source pipelines tankou Unstructured ak GROBID yo komen lè ou bezwen transparans oswa kontwole pi strik sou desizyon parayj. Chunking se kote ekip yo souvan underestime kompleksite a. Yon karaktè senp oswa divizyon token se vit, men li gen tendans yo koupe atravè limit semantik - eksakteman limit ki itilizatè yo enpòtan sou nan kontra ak politik. Adaptive chunking ki swiv tit, limit seksyon, ak limit tab anjeneral amelyore tou de retrete ak desann tèm. Li tou fè provenance santi natirèl pou itilizatè final la: olye pou yo peze yon ID enteryè opaque tankou chunk_4892, ou ka montre yon bagay yon revizeur ka imedyatman verifye - "MSA v3.2 → Seksyon 9 (Termination) → 9.2 (Termination for Cause), paj 12, liy 14-22." Metadata se yon lòt zòn ki tendans yo gade opsyonèl jiskaske ou bezwen li. Nan pratik la, metadata se sa ki fè filtre, traceability, ak repwodikabilite posib. Metadata itil nan nivo chunk anjeneral gen ladan dokiman IDs, pwa seksyon, nimewo paj, timestamps (date efikas, dènye modifye, inogire nan), sinyal konfyans ekstraksyon, ak identificateurs vèsyon (dokiman hash, chunking vèsyon, entegre vèsyon modèl). Nan kontexte antrepriz, atribi aksè-kontrole (tennant, departman, konfidansyèlite, roll tags) bezwen yo dwe premye klas, paske yo dirèkteman restriksyon retrieval ak revizyon. The Retrieval Stack That Actually Works Retrieval Stack ki reyèlman travay Nan pratik la, retire hibrid - embeddings dense plizyè retire lexical rare tankou BM25 - gen tendans yo dwe pi fò, espesyalman lè itilizatè mande ak nimewo klavye, identificateurs, akronyms, oswa frase egzak. Dens retire ranplase entansyon semantik byen; retire rare ankouraje ou nan tèm egzak ak token rare ke embeddings souvan glise sou. Reranking se souvan kote sistèm fè pifò nan pi gwo nan bon jan kalite perceived, pa paske li se majik, men paske li fixe yon mòd erè komen: seri a retrieval orijinal gen "kinda enpòtan" kouch, epi ou bezwen pwomosyon ki reyèlman enpòtan yo nan tèt la. Cross-encoder re-rankingers (modèl louvri tankou bge-reranker oswa APIs jere tankou Cohere ranker) rescore kouch kandida lè l sèvi avèk yon interaksyon koute-pasaj pi profond. Ekip yo anjeneral wè yon ogmante nan presizyon kontexte lè re-ranking se mesye byen (pou egzanp, sou yon seri lò ak sous espere). Si ou kenbe yon revizyon kvantitatif isit la, li se pi bon yo k Rewriting ak ekspansyon query se yon lòt levyè ki se fasil pase tan anvan ak Lè sa a rediscover pita. itilizatè yo pa natirèlman fraze kesyon sou fason yo ekri dokiman yo. Yon etap rewriting ka espand akronyòm, normalize entite, ak divize kesyon plizyè pati nan retrieval-zanmitay sous-queries. Li pa bezwen yo dwe fancy - men li bezwen observabilite, paske rewriting ki pa kontwole ka ale soti nan entansyon itilizatè a. Security: The Layer Everyone Forgets Segondè: Layer tout moun oubyen Pifò demografik RAG ignore kontwòl aksè paske li ralanti prototip la. Nan pwodiksyon an, li se yon restriksyon prensipal. Si sistèm ou endèks dokiman HR, kontra legal, ak espesifikasyon enjenyè ansanm, ou bezwen yon chemen deterministik pou kwasans soti nan itilizatè a → pèmèt kouch, ak retrè dwe limite pa chemen sa a anvan nenpòt kontni rive nan yon LLM. Modèl la ki tande pou skalasyon se pre-filtre retrieval: entititid kominikasyon (RBAC / ABAC), retrè sèlman soti nan blòk ak atribit ACL konpatib, rerank nan seri a kandida otorize, ak log sa yo dokiman te aksè. Sa a se tou kote "metadata se pa opsyonèl" pwen la parèt nan pratik la - san yo pa etikèt nivo blòk, ou fini ak limyè lekti oswa koute, fragile post-filtres. Plis pase ACL, deplwaman antrepriz tipikman bezwen kèk konbinezon de deteksyon / maske PII, enkripsyon nan repo, kout-vitès token pou aksè sous, ak anrejistreman otitid ki retire kesyon, retire ID chunk, sitasyon, ak vèsyon dokiman. Yon lòt pwoblèm modèn ki vo pran seri a se kontni enjekte byen vit nan dokiman yo. Ou pa bezwen trete chak dokiman kòm hostile, men ou bezwen basik gardrails se konsa enstriksyon entegre nan tèks sous pa ka ranplase règ yo nan sistèm ou - espesyalman alantou aksè, kontwòl, ak ki jan modèl la se pèmèt yo pote. Monitoring: Closing the Loop Surveillance: fèmen nan kouri Si ou opere youn nan sistèm sa yo pou plis pase yon kèk semèn, ou pral wè drift. Dokiman chanje, distribisyon la nan kesyon chanje, pipeline a chanje, ak eleman modèl mete ajou. San yo pa kontwole ak evalyasyon, bon jan kalite a diminye silenn jiskaske itilizatè yo pa gen okenn konfyans nan zouti a. Praktikman, ou vle swiv sante retrieval (recall@k kont yon set lò, presizyon kontexte, reranker lift), sante jenerasyon (precision sitasyon, tcheke fon / fidèlite, pousantaj refizyon), ak sante operasyon (p50 / p95 latency, pri pou chak kesyon, retard ingestion soti nan ajou dokiman nan endèks rechèchab). Ekip yo ki pi efikas mwen te wè kenbe yon seri done evalyasyon lò - kesyon koure ak dokiman sous espere - ak kouri li sou yon orè ak sou evènman chanjman (nouvo entegre, nouvo logik chunking, nouvo batch dokiman). Zouti tankou Phoenix, TruLens, oswa platfòm komèsyal ka ede, men diferansèz la pi gwo se disiplin Yon zòn ki se souvan sous-aprecié se vèsyon ak repwodikabilite. Lè ou chanje modèl OCR, chunking lojik, embedding modèl, rerankers, oswa jenerasyon pwopozisyon, ou bezwen yon fason pou kontwole ki vèsyon te pwodwi ki reponn. Sa a se sa ki fè debugging ak revizyon posib mwa apre. Choosing Your Stack Chwazi Stack ou Stack desizyon enpòtan, men kapasite enpòtan plis. Pou anpil ekip, yon konfigirasyon jere-leaning se atraksyon: jere atravè yon zouti jere dokiman AI oswa yon pipeline ki baze sou Unstructured, yon baz baz vètikal òdinatè, yon kouch orchestration tankou LlamaIndex oswa LangChain, ak yon re-ranker (ouvèti oswa jere). Yo nan lòt moun prefere deplwaman sous louvri lè l sèvi avèk Qdrant / Weaviate / OpenSearch, Haystack oswa orijinalizasyon an menm jan an, ak modèl self-hosted pou kontwole ak prédictibilite pri. Tou de apwòch ka travay si li sipòte fondamantal yo: dokiman-conscious jere, hibrid retrieval, egzekisyon Soti nan arsitèk la, sistèm yo gen tendans yo vin pi fasil yo opere lè yo divize san danje: travayè aje ki kouri asynchronousman epi yo ka retire san danje; yon sèvis retrieval ki aplike politik ak retire dokiman; ak yon sèvis jenerasyon ki kouri ak kontexte limite ak provenance klè. Yon deplwaman referans tipik gen ladan yon gateway API, yon kou travay (Kafka / RabbitMQ), magazen objè pou dokiman brik ak artifak parse, layè a indeks ( + dense sparse), plis santralize logging / metrik ak yon kouri rechèch.
