Reka bentuk paip RAG bersedia untuk pengeluaran: menangani latency, hallucinations, dan kos pada skala

Retrieval-Augmented Generation (RAG) mewakili sistem AI canggih yang meningkatkan Model Bahasa Besar (LLM) melalui integrasi pengetahuan masa nyata dari sumber luaran [1]. teknik ini membolehkan LLM untuk menyampaikan jawapan yang tepat dan berkaitan dengan konteks dengan menggunakan data fakta, yang menghubungkan pengetahuan pra-latih dengan maklumat dunia sebenar. organisasi yang menggunakan LLM untuk pelbagai aplikasi, termasuk chatbot sokongan pelanggan dan alat analisis data yang kompleks, perlu membangunkan paip RAG yang berjaya yang meluas dengan betul untuk mencapai kejayaan. Walau bagaimanapun, peralihan sistem RAG daripada prototipe percubaan kepada aplikasi peringkat pengeluaran mewakili satu set cabaran yang unik. dan dan Pelbagai rintangan memerlukan kaedah pengoptimuman lengkap untuk mencapai pengurusan yang betul. pengalaman pengguna menderita latensi yang tinggi, tetapi halusinasi mewujudkan masalah kepercayaan dengan menyebarkan maklumat palsu kepada pengguna. latency hallucinations, cost Kajian penyelidikan menunjukkan bahawa model-model yang diperluaskan oleh pencarian mengurangkan kesilapan fakta sebanyak 30% pada tahun 2023, yang membantu aplikasi yang memerlukan pemprosesan maklumat dinamik seperti peristiwa semasa dan kemas kini dasar [2]. Artikel ini menyediakan panduan lengkap yang menunjukkan jurutera AI / ML terkemuka dan pengarang teknikal bagaimana untuk mencipta dan mengimplementasikan, dan meningkatkan paip RAG untuk penggunaan pengeluaran.Bahagian berikut akan menilai komponen seni bina sistem RAG dan memperkenalkan teknik operasi untuk menguruskan latensi dan mengurangkan halusinasi dengan kos yang berkurangan.Dokumen ini menyediakan rangka kerja lengkap untuk membina penyelesaian RAG besar melalui persembahan diagram seni bina dan contoh kod, dan kaedah pelaksanaan amalan terbaik. Architecture of a Production-Ready RAG Pipeline Arsitektur paip RAG yang siap untuk pengeluaran Pipeline RAG yang siap untuk pengeluaran ialah proses pelbagai peringkat yang mengubah data mentah, tidak berstruktur ke dalam pangkalan pengetahuan yang boleh dicari dan kemudian menggunakan pangkalan pengetahuan itu untuk menghasilkan jawapan yang berinformasi [3]. sistem ini terdiri daripada dua bahagian utama yang menangani pemprosesan data melalui paip indeks dan pengurusan pertanyaan pengguna melalui Gambaran keseluruhan peringkat tinggi seni bina ini diilustrasikan dalam diagram di bawah. retrieval and generation pipeline Langkah pertama pengumpulan data melibatkan mendapatkan maklumat dari sumber yang berbeza yang boleh diakses. Sistem ini mengubah maklumat ini ke dalam embeddings vektor yang disimpan dalam pangkalan data vektor selepas pemprosesan dan pemotongan. Sistem pemulihan menjalankan carian dalam pangkalan data vektor untuk mengenal pasti bahagian-bahagian dokumen yang paling sesuai selepas pengguna memasukkan pertanyaan carian mereka. Sistem ini membahagikan input ke dalam bahagian-bahagian yang lebih kecil yang kemudian dihantar ke LLM untuk menghasilkan jawapan yang sesuai dengan soalan asal. Langkah terakhir memerlukan penilaian output untuk mengesahkan kedua-dua ketepatannya dan sambungan dengan input untuk menentukan kualiti output. Trade-offs in RAG Architecture Pelbagai pilihan arsitektur perlu dibuat apabila membina sistem RAG bersedia pengeluaran untuk mencapai pengoptimuman prestasi dan pengurusan kos dan kesederhanaan sistem. sistem ini memerlukan tiga faktor utama untuk operasi yang termasuk memilih antara kaedah pemulihan sinkron dan asinkron dan memilih pangkalan data vektor yang sesuai dan menentukan pendekatan kelayakan sistem. Architectural Decision Trade-offs Synchronous vs. Asynchronous Retrieval Synchronous retrieval systems have a simpler setup process but they create response time delays which result in poor user experience for complex search operations. The retrieval process in asynchronous systems operates in the background to reduce the time delay that users need to wait. The system architecture becomes more complex because of this requirement which demands additional components for background job management and monitoring. Vector Database Selection The performance and scalability of the RAG pipeline heavily depends on the vector database system that gets chosen. The open-source solutions Faiss and Qdrant offer flexibility and control but require additional time for initial deployment and continuous upkeep. The operational costs of Pinecone and Weaviate managed services increase because they offer hands-off management with built-in scalability and support. The selection of a database system depends on the particular requirements of the application which include dataset dimensions and projected query traffic and financial resources. Scaling Strategy Scaling a RAG system can be achieved through horizontal fragmentation of the embedding index or by distributing the pipeline services. The index becomes fragmented when it is split into multiple nodes across horizontal space which improves search performance but makes query routing and result merging operations more complex. The independent scaling of each component becomes possible because pipeline services function as intermediaries between retriever and generator functions. The system needs an advanced orchestration system to handle service-to-service interactions when using this method. Rangkaian Synchronous vs. Asynchronous Sistem pemulihan sinkron mempunyai proses setup yang lebih mudah tetapi mereka mewujudkan penundaan masa respons yang mengakibatkan pengalaman pengguna yang buruk untuk operasi carian yang kompleks. Proses pemulihan dalam sistem asinkron beroperasi di latar belakang untuk mengurangkan penundaan masa yang pengguna perlu menunggu. Pemilihan pangkalan data vektor Prestasi dan keluasan paip RAG sangat bergantung kepada sistem pangkalan data vektor yang dipilih. Penyelesaian sumber terbuka Faiss dan Qdrant menawarkan fleksibiliti dan kawalan tetapi memerlukan masa tambahan untuk penyebaran awal dan pemeliharaan berterusan. Kos operasi perkhidmatan yang dikendalikan oleh Pinecone dan Weaviate meningkat kerana mereka menawarkan pengurusan tangan dengan keluasan dan sokongan terbina dalam. Pemilihan sistem pangkalan data bergantung kepada keperluan khusus aplikasi yang termasuk saiz set data dan trafik pertanyaan yang diramalkan dan sumber kewangan. Strategi Scaling Skala sistem RAG boleh dicapai melalui fragmentasi horisontal indeks embedding atau dengan mengedarkan perkhidmatan paip. Indeks menjadi fragmentasi apabila ia dibahagikan kepada beberapa nod di seluruh ruang horisontal yang meningkatkan prestasi carian tetapi menjadikan routing pertanyaan dan operasi penggabungan hasil lebih kompleks. Skala bebas setiap komponen menjadi mungkin kerana perkhidmatan paip berfungsi sebagai perantara antara fungsi retriever dan generator. Sistem ini memerlukan sistem orchestration canggih untuk menangani interaksi perkhidmatan-ke-perkhidmatan apabila menggunakan kaedah ini. Handling Latency in RAG Pipelines Pengurusan latency dalam paip RAG Mana-mana aplikasi AI interaktif sangat bergantung kepada latency untuk memberikan pengalaman pengguna yang optimum. sistem RAG mengalami latency sepanjang operasi mereka dari pemulihan dokumen hingga pengeluaran jawapan mengikut [4]. Pipa RAG yang bersedia untuk pengeluaran mesti direka untuk mengurangkan latency tanpa mengorbankan kualiti respons yang dihasilkan. Seksyen berikut memperkenalkan pendekatan yang berbeza untuk mengurangkan latency pipa RAG dengan melaksanakan sistem pemulihan dan caching hibrid dan kaedah pemprosesan asynchronous. Techniques for Latency Reduction Hasil eksperimen menunjukkan bahawa beberapa kaedah mengurangkan latensi paip RAG dan kaedah ini memberikan peningkatan prestasi yang terbukti. Sistem pencarian hibrid menggabungkan ciri-ciri yang berkesan dari carian berdasarkan kata kunci BM25 dengan keupayaan pencarian semantik berdasarkan vektor. OpenAI melaporkan sistem pencarian hibrid melaporkan penurunan 50% dalam latency yang menghasilkan kepuasan pengguna yang meningkat untuk enjin carian dan platform e-dagang [2]. Proses pencarian melalui kata kunci memberikan hasil yang cepat untuk pertanyaan yang mengandungi kata-kata tertentu tetapi pencarian semantik memberikan hasil yang lebih baik dengan mencari dokumen yang sesuai dengan apa yang pengguna sebenarnya mahu cari. Hybrid Retrieval: Mana-mana sistem yang perlu menjalankan pengiraan berulang boleh mendapat manfaat daripada caching sebagai kaedah untuk mengurangkan masa tindak balas. Amazon Bedrock menggunakan teknologi Prompt Caching untuk mempercepatkan tindak balas sambil mengurangkan bilangan token input dan kos bagi beban kerja yang menghantar prompts yang sama dalam permintaan berturut-turut. Prompt Caching: Embeddings adalah perwakilan numerik teks yang digunakan untuk carian semantik. Sistem ini menghilangkan generasi embedding pertanyaan-waktu melalui pra-komputeran semua dokumen pangkalan pengetahuan ke dalam embeddings pangkalan data vektor. Sistem Production RAG mengambil masa 2-5 saat untuk menjawab pertanyaan kompleks yang menggunakan embeddings pra-komputer. Embedding Pre-computation: Pengenalan LLM sering merupakan bahagian yang paling memakan masa dalam paip RAG. Sistem ini mencapai 100-1000 pertanyaan setiap minit melalui penggunaan orchestrator asynchronous untuk menggabungkan pelbagai pertanyaan ke dalam permintaan tunggal untuk pengenalan LLM. Asynchronous Batched Inference: Mitigating Hallucinations and Improving Reliability Mengurangkan halusinasi dan meningkatkan kebolehpercayaan Generasi maklumat palsu atau tidak masuk akal yang dikenali sebagai halusinasi merupakan masalah utama bagi aplikasi yang menggunakan LLM [7]. Sistem RAG menghasilkan halusinasi melalui tiga sebab utama yang berasal daripada dokumen yang didapati yang tidak sesuai dengan pertanyaan dan kesalahpahaman pengguna dan bias berasaskan model. Strategi untuk mitigasi halusinasi Penyelidikan telah menunjukkan bahawa pelbagai kaedah wujud untuk mengurangkan halusinasi dalam paip RAG kerana mereka telah terbukti berkesan. Menubuhkan tanggapan LLM dalam konteks yang didapatkan adalah prinsip asas RAG. Google Research menjalankan kajian yang menunjukkan bahawa model-model yang ditingkatkan untuk mendapatkan mengurangkan kesilapan faktual sebanyak 30% apabila menangani maklumat baru semasa tugas pada tahun 2023 [2]. Menambah metadata kepada setiap seksyen dokumen membolehkan penubuhan yang lebih baik melalui penyertaan maklumat asal dokumen dan butiran pengarang dan tarikh pengeluaran. sistem bergantung kepada metadata untuk membuang dokumen yang tidak perlu dan kandungan yang telah usang sambil menjadikan maklumat ini boleh diakses oleh pengguna untuk konteks yang lebih baik dan penciptaan kepercayaan. Grounding with Metadata: Menggunakan LLM sebagai hakim penilaian adalah kaedah yang serbaguna dan automatik untuk penilaian kualiti [4]. Lab AI di Universiti Stanford mendapati bahawa sistem RAG yang menggunakan hakim LLM menghasilkan hasil soalan penyelidikan undang-undang dengan kadar ketepatan yang lebih tinggi 15% [2]. LLM as Judge Verification: Kaedah konsistensi diri memerlukan anda untuk mencipta pelbagai jawapan untuk satu soalan sebelum memilih jawapan yang menunjukkan hasil yang paling konsisten.Pengimplementasian sistem pengeluaran RAG yang dioptimumkan dengan baik membawa kepada kadar halusinasi antara 2-5% yang membuktikan kejayaan kaedah berasaskan konsistensi. Self-Consistency: Untuk aplikasi yang memerlukan tahap ketepatan yang tinggi, proses QA manusia-in-the-loop boleh dilaksanakan. skor kesetiaan sistem pengeluaran dengan pengawasan manusia mencapai antara 85-95% yang melebihi prestasi sistem automatik sepenuhnya. Human-in-the-Loop QA: Optimasi kos dalam sistem RAG skala besar Kos merupakan pertimbangan utama dalam mana-mana aplikasi AI skala besar, dan sistem RAG tidak terkecuali [9]. Kos sistem RAG berasal daripada tiga elemen utama yang termasuk kos penilaian LLM dan kos penyimpanan pangkalan data vektor dan yuran pertanyaan dan kos pengambilan dan pemprosesan data. bahagian berikut memperkenalkan pendekatan yang berbeza untuk mengurangkan kos sistem RAG yang menyokong kebolehpercayaan operasi dan prestasi sistem. Teknik untuk Optimasi Kos Kaedah berikut menunjukkan keupayaan mereka untuk mengurangkan kos sistem RAG berdasarkan data sebenar. Kompresi prompt melibatkan mengurangkan bilangan token dalam prompt yang dihantar kepada LLM. Amazon Bedrock melaksanakan caching prompt yang mengurangkan penggunaan token input sebanyak 90% untuk beban kerja yang menggunakan kandungan prompt berulang [9]. Pencarian dokumen menjadi lebih cekap melalui dua pendekatan yang melibatkan penghapusan maklumat yang tidak perlu daripada dokumen yang dikesan atau dengan merancang templat prompt yang lebih baik. Prompt Compression: Penyelidikan menunjukkan bahawa rangkaian Amazon Nova menawarkan kira-kira 75% kos harga per token yang lebih rendah berbanding dengan model Anthropic Claude [9]. Sistem mengarahkan pertanyaan kepada pelbagai LLM melalui routing yang sedar kos yang memilih model yang kurang mahal untuk permintaan asas dan model yang lebih mahal untuk pertanyaan kompleks yang memerlukan ketepatan yang tinggi. Model Selection: Amazon Bedrock Batch Inference membolehkan pemprosesan data besar melalui operasi asynchronous individu yang membawa kepada penjimatan kos 50% berbanding dengan penilaian pada permintaan invokeModel [9]. Sistem ini memerlukan pengguna untuk menyimpan panggilan input mereka dalam format JSONL dalam penyimpanan S3 sebelum menjalankan kerja batch yang menghasilkan hasil yang menjadi tersedia di lokasi output S3 yang ditunjuk dalam masa 24 jam. Batch Processing: Sistem ini menggunakan BM25 untuk carian berdasarkan kata kunci yang cepat dan murah untuk mengelakkan keperluan untuk melakukan carian vektor dengan kos yang lebih tinggi. router pertanyaan menentukan pendekatan carian yang paling sesuai untuk setiap pertanyaan melalui analisis tahap kerumitan dan ketepatan yang diperlukan yang membawa kepada pengurangan kos yang berpotensi melebihi 50%. Hybrid Retrieval Cost Benefits: Kajian Kes / Contoh Implementasi Kod Python berikut menunjukkan bagaimana untuk mencipta paip RAG menggunakan perpustakaan LangChain [10]. Contoh ini akan menunjukkan bagaimana untuk memuat naik dokumen, membahagikannya kepada kepingan, mencipta storan vektor. Contoh: Membina Pipeline RAG dengan LangChain Contoh menunjukkan ***WebBaseLoader ***konten yang dimuat naik dengan pemotongan dokumen dan storan vektor dalam memori untuk fungsi asas. Proses pemulihan dan pengeluaran disusun menggunakan LangGraph. Perbezaan Rujukan Rujukan Perbezaan Rujukan Rujukan import bs4 from langchain import hub from langchain_community.document_loaders import WebBaseLoader from langchain_core.documents import Document from langchain_text_splitters import RecursiveCharacterTextSplitter from langgraph.graph import START, StateGraph from typing_extensions import List, TypedDict from langchain_openai import OpenAIEmbeddings from langchain.chat_models import init_chat_model from langchain_core.vectorstores import InMemoryVectorStore # Load and chunk contents of the blog loader = WebBaseLoader( web_paths=("https://lilianweng.github.io/posts/2023-06-23-agent/",), bs_kwargs=dict( parse_only=bs4.SoupStrainer( class_=("post-content", "post-title", "post-header") ) ), ) docs = loader.load() text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200) all_splits = text_splitter.split_documents(docs) # Initialize embeddings and vector store embeddings = OpenAIEmbeddings(model="text-embedding-3-large") vector_store = InMemoryVectorStore(embeddings) # Index chunks _ = vector_store.add_documents(documents=all_splits) # Define prompt for question-answering prompt = hub.pull("rlm/rag-prompt") # Initialize the chat model llm = init_chat_model("gpt-4", model_provider="openai") # Define state for application class State(TypedDict): question: str context: List[Document] answer: str # Define application steps def retrieve(state: State): retrieved_docs = vector_store.similarity_search(state["question"]) return {"context": retrieved_docs} def generate(state: State): docs_content = "\n\n".join(doc.page_content for doc in state["context"]) messages = prompt.invoke({"question": state["question"], "context": docs_content}) response = llm.invoke(messages) return {"answer": response.content} # Compile application and test graph_builder = StateGraph(State) graph_builder.add_node("retrieve", retrieve) graph_builder.add_node("generate", generate) graph_builder.add_edge(START, "retrieve") graph_builder.add_edge("retrieve", "generate") graph = graph_builder.compile() response = graph.invoke({"question": "What is Task Decomposition?"}) print(response["answer"]) Kod yang disediakan menunjukkan seluruh paip RAG yang kekal asas tetapi berfungsi. tutorial ini menunjukkan operasi asas sistem RAG melalui muat, memecah, mengindeks, mengambil dan menghasilkan yang membolehkan pemaju untuk mencipta sistem maju yang bersedia untuk pengeluaran. Pengawasan Prestasi dan Metrik Sistem RAG pengeluaran memerlukan pemantauan prestasi untuk mencapai potensi operasi maksimum dan mengesan kawasan yang berpotensi untuk disempurnakan. Amalan terbaik & Pitfalls biasa Sistem RAG yang siap untuk pengeluaran memerlukan perancangan dan kerja kejuruteraan yang betul dan pemantauan sistem yang berterusan untuk mencapai kestabilan. seksyen ini merangkumi beberapa amalan terbaik untuk diikuti dan perangkap biasa untuk mengelakkan apabila bekerja dengan paip RAG. Amalan terbaik Sistem RAG yang berjaya memerlukan setup awal yang kukuh sebagai asasnya. Kualiti sistem RAG anda hanya baik seperti data yang dibina di atasnya. Paip pengambilan data dan praprosesan anda harus boleh dipercayai dan data anda perlu bebas daripada kesilapan dan dianjurkan dengan betul dengan semua metadata yang diperlukan. Penyelidikan menunjukkan bahawa embeddings khusus domain yang menerima penyesuaian halus menghasilkan relevansi pencarian yang lebih baik 25% untuk tugas tertentu [2]. Kombinasi kaedah yang berbeza melalui pendekatan hibrid memberikan hasil yang paling optimum dalam hal prestasi dan kos dan ketepatan. Elakkan menggunakan kaedah penjagaan tunggal atau pengeluaran. sistem carian hibrid yang menggabungkan kaedah carian kata kunci dan vektor memberikan ciri-ciri terbaik setiap kaedah sambil mengurangkan keterbatasan masing-masing. Sistem pemantauan yang lengkap diperlukan untuk menjejaki sistem pengeluaran. Pipeline RAG anda memerlukan sistem pemantauan untuk memantau prestasi operasi bersama-sama dengan kos dan kualiti perkhidmatan. Metrik prestasi sistem perlu menjejaki latensi antara 2-5 saat untuk pertanyaan kompleks dan aliran pada 100-1000 pertanyaan setiap minit dan penggunaan token pada 50ms per token untuk GPT-3.5 dan kadar halusinasi pada 2-5% dalam sistem yang dioptimumkan. Sistem RAG memerlukan peningkatan berterusan dan iterasi untuk mencapai kejayaan. Sistem RAG memerlukan usaha berterusan kerana ia tidak berfungsi sebagai inisiatif berasingan. Sistem anda memerlukan penilaian prestasi berterusan untuk menghasilkan maklum balas yang membolehkan pembangunan dan peningkatan berterusan. Proses ini memerlukan penyesuaian model dan pangkalan pengetahuan anda dan menguji kaedah pemulihan dan pengeluaran yang berbeza. Pitfalls biasa Masalah utama dalam sistem RAG berkembang kerana organisasi gagal mengekalkan piawaian kualiti data yang betul. kualiti data menjejaskan pengalaman pengguna melalui halusinasi yang berlaku apabila kualiti data yang buruk wujud. kebolehpercayaan sistem menderita apabila pangkalan pengetahuan anda mengandungi maklumat yang terbukti salah atau tidak lagi sah. Satu metrik yang digunakan sebagai ukuran utama boleh menghasilkan hasil yang menipu.Jangan bergantung kepada satu metrik untuk menilai prestasi sistem RAG anda.Sistem yang mempunyai skor ketepatan yang tinggi mungkin masih mempunyai latensi yang tinggi atau kos yang tinggi.Penilaian prestasi sistem anda memerlukan skor kesetiaan antara 85-95% dalam persekitaran pengeluaran dan ketepatan pencarian antara 85-95% dan kos efisiensi antara $0.01 dan $0.05 setiap pertanyaan. Mengabaikan pengalaman pengguna boleh merosakkan sistem yang baik secara teknikal. kerumitan pembangunan sistem RAG menyebabkan pengguna kehilangan pandangan tentang keperluan pengalaman pengguna asas. sistem anda perlu mempunyai antara muka intuitif yang memberikan jawapan yang cepat dan tepat sambil mewujudkan hubungan kepercayaan dengan pengguna. Pengendalian sistem RAG yang besar memerlukan sumber kewangan yang ketara kerana kos penyelesaian LLM mewakili 60% daripada keseluruhan kos dan operasi pangkalan data vektor menggunakan 25% dan sumber pengiraan menggunakan 15%. Pastikan untuk menganggarkan kos sistem anda dengan teliti dan melaksanakan teknik pengoptimalan kos untuk menyimpannya dalam bajet. Arahan Masa Depan Bidang Retrieval-Augmented Generation berkembang pesat kerana saintis secara aktif mewujudkan kaedah dan teknologi inovatif pada kadar yang cepat. Agentic RAG melibatkan penggunaan agen yang dikendalikan oleh LLM untuk melaksanakan tugas-tugas pencarian dan alasan yang lebih kompleks dan pelbagai langkah. Sistem Agentic RAG melaksanakan perancangan dan pelaksanaan tindakan dinamik untuk menyelesaikan pertanyaan pengguna melalui operasi berurutan yang termasuk pertanyaan sumber data dan analisis dan pengeluaran visualisasi. Vector DB + Graph Hybrid Stores telah muncul sebagai arah yang menjanjikan untuk penyelidikan saintifik. Integrasi pangkalan data vektor dengan pangkalan data graf membolehkan keupayaan pemodelan pengetahuan lanjutan. Model data pangkalan data graf membolehkan penyimpanan hubungan entiti yang rumit tetapi pangkalan data vektor berfungsi terbaik untuk operasi carian semantik. Integrasi kedua-dua teknologi ini membolehkan pengembang untuk mencipta sistem carian yang menawarkan fungsi dan penyesuaian yang unggul. Konvergensi RAG + Fine-tuning telah menjadi lebih signifikan dalam tempoh yang baru-baru ini. Perbezaan antara teknik RAG dan teknik tuning halus telah mula memudar menjadi satu konsep tunggal. RAG berfungsi sebagai kaedah yang berkesan untuk memberi makan pengetahuan luaran kepada LLM tetapi tuning halus membolehkan model untuk mempelajari pengetahuan khusus untuk domain atau tugas tertentu. Perkembangan masa depan mungkin akan memperkenalkan kaedah baru yang menggabungkan kelebihan kedua-dua kaedah pembelajaran tradisional dan digital. Kesimpulan Proses penciptaan paip RAG untuk penggunaan pengeluaran memerlukan kerja yang besar tetapi membawa kepada hasil yang memuaskan. sistem RAG yang boleh dipercayai yang membolehkan potensi LLM memerlukan penilaian lengkap latensi dan halusinasi terhadap kos sistem melalui pelaksanaan amalan terbaik yang diterangkan dalam artikel ini. Bukti penyelidikan dalam makalah ini menunjukkan bahawa kemajuan yang besar boleh dibuat kerana ketidaktepatan fakta berkurangan sebanyak 30% apabila ditubuhkan dengan betul [2] dan kaedah pemulihan hibrid mengurangkan latensi sehingga 50% [2] dan strategi pemilihan model membawa kepada pengurangan kos 75% [9]. Semasa bidang RAG terus berkembang, ia adalah penting untuk kekal up-to-date dengan trend dan teknologi terkini untuk memastikan bahawa sistem anda kekal di peringkat teratas. 10. rujukan [1] T. Lewis et al., "Generasi Retrieval-Augmented untuk Pengeluaran LLMs," Proc. daripada NeurIPS, 2024. [2] Galileo AI, “Top Metrics to Monitor and Improve RAG Performance,” 18 November 2024. https://galileo.ai/blog/top-metrics-to-monitor-and-improve-rag-performance [3] Amazon Web Services, "Apa itu RAG (Retrieval-Augmented Generation)?". https://aws.amazon.com/what-is/retrieval-augmented-generation/ [4] H. Yu et al., “Evaluation of Retrieval-Augmented Generation: A Survey,” arXiv:2405.07437v2, Jul. 3, 2024. [Online]. Tersedia: https://arxiv.org/html/2405.07437v2 [5] I. Belcic, "Apa itu RAG (Retrieval Augmented Generation)?", IBM. https://www.ibm.com/think/topics/retrieval-augmented-generation [6] H. Bamoria, "Pengembangan RAG dalam pengeluaran: Panduan kepada amalan terbaik," Medium, 25 Disember 2024. https://medium.com/@himanshu_72022/deploying-rags-in-production-a-guide-to-best-practices-98391b44df40 [7] E. Kjosbakken, "5 Teknik untuk Mencegah Halusinasi dalam Menjawab Soalan RAG Anda," Ke arah Sains Data, 23 Sep 2025. [Online]. https://towardsdatascience.com/5-techniques-to-prevent-hallucinations-in-your-rag-question-answering/ [8] J. Brownlee, "Memahami RAG Bahagian VIII: Mengurangkan Halusinasi dalam RAG," Penguasaan Pembelajaran Mesin, 20 Mar. 2025. [Online]. https://machinelearningmastery.com/understanding-rag-part-viii-mitigating-hallucinations-in-rag/ [9] S. M. Subramanya, "Pengoptimalan kos dalam aplikasi RAG," Nerd For Tech, Jun 8, 2025. [Online]. Tersedia: https://medium.com/nerd-for-tech/cost-optimization-in-rag-applications-45567bfa8947 [10] LangChain, "Build a Retrieval Augmented Generation (RAG) App: Part 1," Dokumentasi LangChain. https://python.langchain.com/docs/tutorials/rag/