Model bahasa besar (LLM) sangat populer di dunia perangkat lunak saat ini. mereka memperkenalkan artikel baru, posting blog, kursus, dan model dari perusahaan terkemuka di industri kami, seperti Meta, Huggingface, Microsoft, dll., yang mengharuskan kita untuk mengikuti teknologi baru dengan erat. Kami telah memutuskan untuk menulis beberapa artikel singkat, informatif untuk memperkenalkan topik ini dan tetap up-to-date pada teknologi terbaru. topik pertama yang akan kami bahas akan RAG (Retrieval-Augmented Generation). Kami akan membuat serangkaian artikel pada topik yang telah kami tentukan, dengan tiga artikel yang berbeda yang berguna dan saling melengkapi. Model Bahasa Besar telah memasuki setiap aspek kehidupan kita. Kita bisa mengatakan bahwa mereka telah merevolusi bidang ini. Namun, mereka tidak semudah alat seperti yang kita suka menyebutnya. Ini juga memiliki kelemahan utama: Ini setia pada pelatihan. Itu tetap setia pada data yang dilatih. Mereka tidak dapat menyimpang dari ini. Model yang menyelesaikan pelatihan pada bulan November 2022 tidak akan dapat menguasai berita, hukum, perkembangan teknologi, dll., yang muncul pada bulan Januari 2023. misalnya, model LLM yang menyelesaikan pelatihan dan memasuki layanan pada tahun 2021 tidak dapat menjawab pertanyaan tentang perang Rusia-Ukraina yang dimulai pada tanggal 24 Februari 2022. Ini karena pengembangan telah selesai sebelum tanggal itu. Tentu saja, masalah ini tidak terselesaikan, dan produk baru, sistem baru, diperkenalkan. Sistem RAG (Retrieval-Augmented Generation) muncul untuk memberi Anda informasi terkini kapan pun Anda membutuhkannya. Di sisa artikel kami, mari kita melihat lebih dekat sistem yang dibuat dengan model LLM dan sistem RAG, satu per satu, untuk mengenal mereka. Akses Informasi dalam Model LLM Prinsip kerja Model Bahasa Besar didasarkan pada data yang diajarkan selama pelatihan, dengan kata lain, pengetahuan statis. mereka tidak memiliki kemampuan untuk mengekstrak data eksternal melalui cara apa pun. Untuk memberikan contoh, pertimbangkan seorang anak. Jika kita memotong komunikasi eksternal anak ini dan mengajarkan mereka hanya bahasa Inggris, kita tidak akan dapat mendengar satu kata Cina dari mereka. Ini karena kami telah membesarkan seorang anak yang menguasai bahasa Inggris, bukan bahasa Cina. Dengan memotong koneksi mereka dengan dunia luar, kami juga membatasi kemampuan mereka untuk belajar dari sumber eksternal. seperti anak ini, model LLM juga disuntikkan dengan pengetahuan dasar tetapi tertutup untuk data eksternal. Karakteristik lain dari model LLM adalah bahwa mereka adalah kotak hitam. Model ini tidak sepenuhnya menyadari mengapa mereka melakukan operasi yang mereka lakukan. Mereka mendasarkan perhitungan mereka hanya pada operasi matematika. Minta setiap model LLM, "Mengapa Anda memberikan jawaban itu?" Anda mungkin mendorongnya terlalu keras. Mereka tidak menjawab pertanyaan melalui alasan atau penelitian. Kata kunci di sini adalah "mengapa?" Kami juga dapat menganggapnya sebagai bug dalam model LLM. Untuk lebih memahami struktur ini, mari kita pertimbangkan contoh dari bidang perawatan kesehatan. Ketika seorang pengguna bertanya, "Saya memiliki rasa sakit di wajah dan mata saya, dan tetes postnasal yang berkepanjangan. Apa yang harus saya lakukan?", Model LLM mungkin menjawab, "Kesakitan di wajah dan mata saya, dan tetes postnasal bisa menjadi tanda sinusitis. Silakan berkonsultasi dengan dokter. Sinusitis akut dirawat dengan antibiotik. Selain obat-obatan, Anda dapat menggunakan semprotan hidung seperti air laut atau garam untuk menenangkan sinus." Tetapi jika kita bertanya kepada model, "Mengapa Anda memberikan jawaban itu?" setelah jawaban ini, hal-hal menjadi rumit. Alasan mengapa model memberikan jawaban ini adalah karena kata-kata " sakit wajah" dan "gelembung hidung" sering muncul bersama dengan kata "sinusitis" dalam data pelatihan. Model-model ini lebih suka menyimpan informasi dalam memori mereka sebagai pola statistik. ekspresi matematika penting untuk model LLM. Karena tidak lebih suka menyimpan informasi dalam memori berdasarkan sumbernya, ia menjawab pertanyaan dan memuaskan kebanyakan orang segera, tetapi ketika orang dengan sifat yang lebih investigatif bertanya pada model, "Mengapa Anda memberikan jawaban ini?", model ini gagal menghasilkan jawaban yang menjelaskan. RAG: Menggabungkan LLM dengan Sistem Retrieval Sistem RAG menawarkan inovasi dibandingkan dengan sistem yang dibangun pada model LLM murni. Salah satunya adalah bahwa mereka bekerja dengan informasi dinamis, bukan informasi statis seperti model LLM. Dengan kata lain, mereka juga memindai sumber eksternal tanpa terbatas pada data yang mereka pelajari. "r" pertama di RAG berarti pencarian. Peran komponen pencarian adalah untuk melakukan operasi pencarian. Generator adalah komponen utama kedua, dan perannya adalah untuk menghasilkan jawaban yang benar berdasarkan pengembalian data. dalam artikel ini, kita akan secara singkat menyentuh prinsip operasi RAG: Retrieval memindai informasi dari sumber eksternal dan mengambil dokumen yang relevan dengan pertanyaan pengguna dengan memecahkannya menjadi potongan-potongan kecil yang disebut "chunks." Ini mengvektorisasi potongan-potongan ini dan pertanyaan pengguna, dan kemudian menghasilkan jawaban yang paling efisien dengan memeriksa kesesuaian antara mereka. Tugas menghasilkan jawaban ini dilakukan oleh "Generasi." Kami akan membahasnya secara rinci dalam artikel berikutnya dalam seri ini. Komponen dasar ini yang membentuk sistem RAG menjadikannya struktur yang lebih kuat. Mereka mencegah mereka terjebak dalam informasi statis seperti model LLM murni. Sistem RAG menawarkan keuntungan yang signifikan, terutama di banyak bidang yang membutuhkan informasi terkini. Sebagai contoh, Anda mungkin ingin membuat model dokter di bidang medis. Karena model Anda akan melayani area vital, itu tidak akan memiliki informasi yang usang atau tidak lengkap. Dunia medis, seperti sektor IT, sedang berkembang setiap hari, dan studi baru sedang dihadapkan. Oleh karena itu, model Anda diharapkan untuk menguasai bahkan studi terbaru. Jika tidak, Anda berisiko membahayakan kehidupan manusia dengan model yang menyesatkan. Dalam kasus seperti itu, sistem yang didukung RAG menghilangkan masalah informasi yang usang dengan terhubung ke database eksternal. Perbedaan fundamental antara sistem RAG dan model LLM adalah filosofi inti RAG: "Jangan menyimpan informasi, mengaksesnya ketika Anda membutuhkannya!"Sementara model bahasa besar murni menyimpan informasi dalam ingatan mereka dan menghasilkan jawaban setelah dilatih, sistem RAG mengakses informasi dengan mencari dan memindai di luar ketika mereka membutuhkannya, sesuai dengan filsafat mereka. Sama seperti pencarian manusia di internet, ini mengatasi salah satu kelemahan yang paling signifikan dari model LLM murni: ketergantungan memori mereka. 
 
 
 
 
 
 Skenario : Pengguna: "Apa tingkat inflasi Amerika Serikat Desember 2024?" LLM: "Menurut data Desember 2022, itu adalah 6.5%." (Tidak ada jawaban yang terkini) Untuk RAG: 
 
 
 Mendapatkan data Desember 2024 dari sumber atau database yang dapat diandalkan (Bank Dunia, Ekonomi Perdagangan, dll.). LLM menggunakan data ini dan menjawab, "Menurut Ekonomi Perdagangan, inflasi di Amerika Serikat untuk Desember 2024 diumumkan sebagai 2,9%." Scenario: User: "What is the United States' December 2024 inflation rate?" LLM: "According to December 2022 data, it was 6.5%." (Not an up-to-date answer) RAG: 
 
 
 Mendapatkan data Desember 2024 dari sumber atau database yang dapat diandalkan (Bank Dunia, Ekonomi Perdagangan, dll.). LLM menggunakan data ini dan menjawab, "Menurut Ekonomi Perdagangan, inflasi di Amerika Serikat untuk Desember 2024 diumumkan sebagai 2,9%." Mari kita membandingkan secara singkat apa yang telah kita bicarakan sejauh ini dan menyajikan dalam tabel di bawah ini. 
 
 
 
 
 
 
 
 
 
 Features 
 LLM (static model) 
 RAG (retrieval-augmented generation) 
 
 
 
 
 Information 
 Limited to training data 
 Can pull real-time information from external sources 
 
 
 
 
 Current Level 
 Low 
 High 
 
 
 
 
 Transparency 
 The source of the decision cannot be disclosed (black box) 
 The source can be cited Informasi Terbatas pada data pelatihan Dapat mengambil informasi real-time dari sumber eksternal Tingkat saat ini rendah tinggi Transparansi Sumber keputusan tidak dapat diungkapkan (kotak hitam) Sumber tersebut dapat disebutkan Sebagai kesimpulan, untuk menyimpulkan secara singkat, sementara model LLM terbatas pada data yang mereka pelatihan, sistem RAG tidak hanya dibangun pada model LLM tertentu dan memiliki pengetahuan dasar, tetapi juga memiliki kemampuan untuk menarik informasi real-time dari sumber eksternal. Keuntungan ini memastikan bahwa itu selalu up-to-date. Ini mengakhiri artikel pertama dalam seri kami. Dalam artikel berikutnya, kami akan menyelidiki aspek yang lebih teknis. Untuk teman-teman yang ingin mengakses atau memeriksa praktik pekerjaan ini, mereka dapat menemukan tautan ke repos yang relevan yang saya buat dengan Python dan pustaka terkait di akun GitHub saya di akhir artikel. Semoga bisa bertemu di artikel selanjutnya di seri ini. dengan Yuduseven. Baca lebih lanjut “Kami juga ingin mengakui kontribusi fundamental dari kertas RAG 2020 AI Facebook, yang secara signifikan menginformasikan perspektif artikel ini.” Menggunakan GitHub Proyek Multi-Model RAG Chatbot PDF dari RAG Chatbot Project

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

This story contains new, firsthand information uncovered by the writer.

Read My Stories

Audio ini diproduksi dalam bahasa asli cerita!

Sistem RAG Memecahkan Penghalang Model Bahasa: Inilah Cara

About Author

KOMENTAR

HANG TAG

ARTIKEL INI DISAJIKAN PADA

Related Stories

How to biohack your intelligence — with everything from sex to modafinil to MDMA

THE DAWN COMES, AND MY UNCLE APPEARS IN A NEW SILK HAT

PROMISES FULFILLED.

Why do you need JWT in your ASP.NET Core project?

How to biohack your intelligence — with everything from sex to modafinil to MDMA

THE DAWN COMES, AND MY UNCLE APPEARS IN A NEW SILK HAT

PROMISES FULFILLED.

Why do you need JWT in your ASP.NET Core project?

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps