Giriş Google, Gemini File Search'i duyurdu ve uzmanlar bunun homebrew RAG (Retrieval Augmented Generation) için ölümcül olduğunu iddia ediyor. nedeni, artık uygulama geliştiricisinin, dosya depolama, vektor veritabanı, metadata, arama optimizasyonu, bağlam yönetimi ve daha fazlası hakkında endişelenmesi gerekmediğidir. Bu makalede, Gemini Dosya Araması'nı deneyeceğiz ve onu yetenek, performans, maliyet, esneklik ve şeffaflık açısından homebrew RAG sistemiyle karşılaştıracağız. . GitHub’da Uygulamalar GitHub’da Uygulamalar İşte orijinal : Google announcement Google Açıklaması Kendi Agent RAG'ınızı Oluşturun Geleneksel RAG - Bir Temizleyici Geleneksel bir RAG mimarisi, birkaç sekanslı adımdan oluşur. Belgeler önce parçalanır, yerleştirilir ve vektor veritabanına yerleştirilir.Çoğu zaman, ilgili metadata veritabanı girdilerinde dahildir. Kullanıcı sorgusu yerleştirildi ve ilgili parçaları bulmak için vektor DB aramasına dönüştürüldü. Ve son olarak, orijinal kullanıcı sorgusu ve alınan parçalar (kontekst olarak) kullanıcı için cevabı oluşturmak için AI modellerine beslenir. Şirket RAG Agentic RAG sisteminin mimarisi bir yansıma ve tepki döngüsü ekledi, agent sonuçların ilgili ve tam olup olmadığını kontrol eder ve arama kalitesini karşılamak için sorguyu yeniden yazar. Böylece, AI modeli birkaç yerde kullanılır: kullanıcı sorgusunu bir vektor DB sorgusuna yeniden yazmak, bulunun tatmin edici olup olmadığını değerlendirmek ve sonunda kullanıcı için cevabı oluşturmak. Bir Örnek Kullanım Şekli - Kamera Kılavuzu Q&A Eski film kameralarını kullanmaya ilgi duyan birçok yeni fotoğrafçı var. Onların ana zorluklarından biri, birçok eski fotoğraf makinelerinin çalışmanın benzersiz ve bazen garip yolları vardır, hatta film yükleme ve film çerçeve sayacını yeniden yapılandırma gibi temel şeyler. Daha da kötüsü, bazı şeyleri "kötü sırada" yaparsanız fotoğraf makinesi bile zarar görebilirsiniz. Bir kamera manuel arşivi, 9000 eski kamera kılavuzunu barındırır, çoğunlukla taramalı PDF'ler. İdeal bir dünyada, sadece birkaçını kameraya indirmek, onları incelemek, tanıdık kalmak ve bununla bitirmek istiyorsunuz. Ama hepimiz sabırlı veya önceden planlanmamış modern insanlarız. Ve sanırım eski kullanıcı kılavuzlarından bilgi bulmaya ihtiyaç duyan birçok hobilere (müzik aletleri, Hi-Fi ekipmanları, vintage arabalar) evrensel olarak uygulanabilir olacak. Homebrew RAG için PDF Q&A RAG sistemimiz bu yılın başında, Önemli özelliklere sahip: LLaMAIndex RAG workflow LLaMAIndex RAG iş akışı Qrrant vektor veritabanını kullanın: iyi fiyat/performans oranı, destek metadata. PDF'yi emmek için Mistral OCR API'yi kullanın: karmaşık PDF dosyalarını resimler ve tablolarla anlamak için iyi bir performans. Her PDF sayfasının resimlerini saklayın, böylece kullanıcılar, metin talimatlarına ek olarak karmaşık kamera işlemlerinin grafik bir göstergesine doğrudan erişebilirler. Agentic arama için Google/Langchain örneğine dayanan bir refleks ve tepki döngüsü ekleyin. Google/Langchain Araç Araması Multi-Modal LLM hakkında ne düşünüyorsunuz? 2024'ten beri, çokmodal LLM'ler zaten gerçekten iyi hale geldi. Açıkçası alternatif bir yaklaşım, kullanıcı sorgusunu ve tüm PDF'yi LLM'ye beslemek ve bir cevap almak oldu. En büyük kaygımız maliyetti, bu yüzden bir maliyet hesaplaması ve karşılaştırması yaptık. Kısa cevap RAG'ın günde kullanıcı sorguları sayısı 10'dan fazla olduğunda daha hızlı, daha verimli ve çok daha az maliyetli olmasıdır. O zamanlar, homebrew RAG'ın Google'ın Gemini Dosya Araması'nı bırakana kadar hala kritik bir öneme sahip olduğumuz inancımızı doğruladı. Gemini Dosya Arşivi - Bir Örnek Google AI Studio örneğine dayanarak, kamera kılavuzunun Q&A kullanım kasası için örnek bir uygulama oluşturdum. İşte kullanıcı arayüzü ve sohbet filminin bir ekran görüntüsü. , GitHub'da Açık Kaynak GitHub'da Açık Kaynak Örneğin, Gemini Dosya Araması kullanılarak PDF'ler ile Q&A: https://github.com/zbruceli/pdf_qa https://github.com/zbruceli/pdf_qa Kaynak kodunda yer alan ana adımlar: Bir Dosya Arama Mağazası oluşturun ve farklı oturumlar boyunca devam edin. Çeşitli dosyaları aynı anda yükleyin ve Google'ın arka kısmı tüm chunking ve embedding'ı işleyecektir. Hatta kullanıcılar için örnek sorular oluşturur. ek olarak, chunking stratejisini değiştirebilir ve özel metadata yükleyebilirsiniz. Standart nesil sorgusu (RAG) çalıştırın: sahnelerin arkasında, agentistiktir ve nihai cevabı oluşturmadan önce sonuçların kalitesini değerlendirebilir. Daha Fazla Geliştirici Bilgileri Gemini File Search API dosyası https://ai.google.dev/gemini-api/docs/file-search https://ai.google.dev/gemini-api/docs/file-search Phil Schmidt Hakkında Bilgi https://www.philschmid.de/gemini-file-search-javascript https://www.philschmid.de/gemini-file-search-javascript Gemini File Search Hakkında Bilgiler Geliştiriciler, mevcut entegre fiyatları (1 milyon token başına 0,15 $) temelinde indeksleme zamanında entegre için ücretlendirilirler. Depolama ücretsizdir. Query time embeddings ücretsizdir. Alınan belge tokenleri normal bağlam tokenleri olarak yüklenir. Embeddings Fiyatları Konteyner Token Peki hangisi daha iyi? Gemini Dosya Arşivi hala oldukça yeni olduğundan, değerlendirmem sadece yaklaşık bir hafta boyunca yapılan ilk testlere dayanmaktadır. Yetenek Karşılaştırması Gemini File Search, homebrew RAG sisteminin tüm temel özelliklerine sahiptir Chunking ( boyut ve aşınma yapılandırılabilir) İçeriği Vector DB özel metadata girişini destekler Geri Dönüşüm GENERATİF ÜRETİM Ve daha ileri özellikler kapak altında: Geri Dönüşüm Kalitesini Değerlendirme Yetenekleri Eğer nitpick etmek zorunda kalırsam, görüntü çıkışı şu anda eksik. Bugüne kadar, Google Dosya Araması çıkışı sadece metinle sınırlıdır, ancak özelleştirilmiş bir RAG taradığı PDF'den görüntüleri iade edebilir. Gelecekte Gemini Dosya Araması için çok zor olmayacağını düşünüyorum. Performans karşılaştırması Hassasiyet: Geri alınma veya üretim kalitesinde belirgin bir iyileşme yok. Gemini File Search biraz daha hızlı olabilir, çünkü vektor DB ve LLM her ikisi de Google Cloud altyapısının içindedir. Fiyat karşılaştırması Son olarak, Gemini File Search, maliyeti olabilecek tamamen barındırılmış bir sistemdir. Homebrew sisteminden daha iyi. less Belgelerin entegre edilmesi sadece bir kez gerçekleştirildi ve milyon token başına $0.15 maliyeti. Bu, tüm RAG sistemleri için yaygın olan sabit bir maliyettir ve belge Q&A uygulamasının ömrü boyunca amorti edilebilir. Kamera kılavuzlarının kullanımı durumunda, bu sabit maliyet toplam maliyetin çok küçük bir kısmıdır. Gemini File Search “ücretsiz” dosya depolama ve veritabanı sunuyor, bu homebrew RAG sistemi üzerinde bir tasarruf. Inference maliyeti yaklaşık olarak aynıdır, çünkü giriş tokenlerin miktarı (konteyner olarak soru ve vektor arama sonuçları) ve çıkış tokenleri Gemini File Search ve homebrew sistemi arasında karşılaştırılabilir. Tuning ve Debug için esneklik ve şeffaflık Doğal olarak, Gemini Dosya Araması, yerleştirme ve varsayım için Gemini AI modelleriyle evlenir. RAG sisteminizin düzeltilmesi açısından, Gemini File Search bazı özelleştirme seviyelerini sağlar. Örneğin, maxTokensPerChunk ve maxOverlapTokens gibi parametreleri belirlemek için yükleme sırasında bir chunkingConfig tanımlayabilirsiniz ve belgeye anahtar değer çiftleri ekleyebilmek için özelMetadata. Bununla birlikte, düzeltme ve performans ayarlaması için Gemini File Search sisteminin iç bir izine sahip olmak imkansız gibi görünüyor. Sonuçlar Google'ın Gemini Dosya Arşivi, çoğu uygulama ve çoğu insan için çok cazip bir fiyata yeterince iyi. Kullanımı süper kolaydır ve minimum operasyonel aşırıya sahiptir. Sadece hızlı prototipleme ve modelleme için değil, aynı zamanda binlerce kullanıcısı olan bir üretim sistemi için de yeterince iyi. Bununla birlikte, hala homebrew RAG sistemini düşünebileceğiniz birkaç senaryo var: Google'a özel belgelerinizi barındırmak için güvenmiyorsunuz. Görüntüleri orijinal belgelerden kullanıcılara iade etmelisiniz. Hangi LLM'nin entegre ve sonuc için kullanılacağı, nasıl yapılacağı, RAG'ın ajan akışını nasıl kontrol edeceği ve potansiyel arama kalitesi sorunlarını nasıl çözebileceği konusunda tam esneklik ve şeffaflık istiyorsunuz. Yani, Gemini Dosya Araması'na bir deneyin ve kendiniz karar verin. Bir oyun alanı olarak, ya da kullanabilirsiniz Lütfen kullanım durumlarınız için bulgularınızı aşağıda yorumlayın. Google AI Stüdyosu my example code on GitHub Google AI Stüdyosu Github'da kod örnekleri
