Bir finans hizmetleri firması için iç belgeleri aramak için bir Gen AI sohbet botu oluşturdum, böylece kullanıcıların belgeleri daha hızlı arama, tarama ve özetlemek için bir araç kullanmalarına olanak sağlar. %80'e kadar verimlilik yaratarak, Retrieval-Augmented Generation (RAG)'ı kullandım, belgeyi çantasına (katalog grupları) yerleştirdim ve Claude, Titan ve Llama-3 gibi LLM'leri karşılaştırdıktan sonra Titan'ı kabul ettim, belge arama için bağlam bilincine dayalı, doğru cevaplar sunmak için. Üç sprint çalışması için modeller karşılaştırmak, boru hattlarını ayarlamak, performansları optimize etmeye çalışmak ve uyarı talimatları - Titan modelinde oldukça iyi çalıştı (Titan, metin modeli için tasarlanmış olduğu için listelenen modeller arasında en iyi şekilde çalışıyor ve kullanım durumum yeteneğinin kapsamına iyi yerleştirildiği için). Tüm kullanıcılar gösterdi ve gösterdiğimi YAPTIM. Dokümanlar için Soru Soruları ve Finansal Ürün belgeleri için standart T&C'ler için arama ve tarama saatleri tasarrufu sağladı (terminoloji ağır ve notlar dolu vb.). Çalışmamın sonuçlarından gurur duyuyorum, aklımda bir soru vardı: Bu, özellikle AI çağında en iyi fiyat ve performans ile çözüm olduğundan %100 emin miyim? daha spesifik olarak, “Dünyada Amazon Q Başarı ile ilgili sorunlar Bir fikri test etmek ve onaylamak için iyi bir şey oluşturduğunuzda, bu büyük bir başarı gibi hissedilir – bar sadece “işe yaramıyor” farkına varıncaya kadar. Müşteriler, finansal hizmetler gibi yüksek düzeyde düzenlenmiş endüstrilerde GenAI'yi kullanmaktan çok dikkatli olmasına rağmen, şirket hazırlıkları Amazon Q, Microsoft Copilot ve Google Gemini gibi işletme çözümlerinden daha yüksek bir fiyat talep etmek için hala yeterli görünmüyor. RAG ile çözümlerimin yanıtlara olan güvenimi artırdığını, halüsinasyonları ortadan kaldırdığını ve kaliteyi çok sayıda güvenlik çubuğuyla karşılamaya devam ettiğini fark ettiğimde, işletme hazırlığı platformları, işletmelerde zaten yaşayan ekosistemlerle ucuz, iyi görünür ve derinlemesine entegre. Amazon Q Business, ör Benim durumumda, Amazon Q Business Enterprise, bir birim için saatte $0.264 ücreti (20K belge veya 200Mb çıkarılmış metin) alırken, belge başına işlem başına maliyetimi $0.23 olarak hesapladım. Yaptığım chatbotla gurur duyuyorum.Ama ölçeklendirme ve maliyet verimliliği açısından?Aniden çok sıkı bir yerdeydim. Zor Karar: GenAI Çağında İnşa vs. Satın Al Bu yeni bir dilemma değil, ancak GenAI ile işler daha karmaşık hale geldi. İşte AWS Q Business'a benzer olan iç chatbot geliştirme sırasında karşılaştırdığım öğrendiğim bir özet: Feature In-house GenAI Chatbot AWS Q Business / Off-The-Shelf ChatBot Control You have full customization (RAG, LLM tuning, prompt engineering) Limited to platform capabilities – but fairly flexible Data Privacy You can enforce custom encryption, anonymization, or add new layers Predefined policies & integrations – needs configuration Cost Significantly higher (especially if you use Bedrock type of environments) Cost-effective for enterprise level solutions Setup Time Weeks of model selection, actual development, QA, iterations Hours, sometimes minutes (can have account support) LLM Model Options Choose your model (Claude, Llama-3, Titan, etc.) Locked into platform choice (Amazon = Titan/Q, Microsoft = GPT-4) Maintenance you have to manage yourself - scaling, uptime, latency tuning Handled by provider Control Tam özelleştirme (RAG, LLM tuning, Hızlı mühendislik Platform yetenekleri ile sınırlı - ancak oldukça esnek Data Privacy Özel şifreleme, anonimleştirme veya yeni katmanlar ekleyebilirsiniz Önceden tanımlanmış politikalar ve entegrasyonlar – konfigürasyon gereksinimleri Cost Önemli ölçüde daha yüksek (özellikle Bedrock tipi ortamları kullanıyorsanız) Kurumsal düzeyde maliyet verimli çözümler Setup Time Model seçimi haftaları, gerçek gelişme, QA, iterasyonlar Saatler, bazen dakikalar (bilgi desteği olabilir) LLM Model Options Modelinizi seçin (Claude, Llama-3, Titan vb.) Platform seçiminde kilitlenmiş (Amazon = Titan / Q, Microsoft = GPT-4) Maintenance Kendinizi yönetmeniz gerekir - ölçeklendirme, çalışma süresi, gecikme ayarlaması Tedarikçi tarafından yönetilen Evin içinde inşaat yapmaya değer mi? Evet ve hayır. Müşterilerim %100 kontrol sahibi olmak istiyorsa ve bilinen tüm düzenlemeleri (tamamen uygulanabilir ve gerekli olmasa bile) belge işleme, arama ve model açıklanabilirliğine uygulamak zorunda kalsam, evde inşaat mantıklıydı. Çift kontrol düzenleyici gereksinimleri ve özelleştirilmiş sorgulama yapıları iş için değer yaratabilir çünkü; ek değer için daha fazla ödemeye istekli olabilirler. Eğer inşa etmelisiniz: Veri ve model davranışları üzerinde daha sıkı bir kontrolye ihtiyacınız var Karmaşık finansal belgeler, çok kaynaklı RAG vb. gibi benzersiz iş akışları içinde çalışmanız gerekir. Ana ürün içinde ek AI özelliklerini eklemek istiyorsunuz Organizasyonunuz geliştirme, bakım ve alt maliyetler için önceden yatırım yapmaya hazırdır Eğer satın almak gerekir: Küçük alanlar ve gösteriler için hızlı kazançlar istiyorsunuz Kullanım durumunuz nispeten standart (örneğin belge Q&A, politika navigasyonu vb.) Maliyet duyarlısınız Satıcı ekosisteminde zaten bulunuyorsunuz (örneğin AWS, Microsoft, Google) Düşünceleri kapatmak GenAI chatbot oluşturmak ödüllendirici olabilir ve iş için hızlı kazançlar yaratabilir. Ayrıca operasyonlar içinde GenAI araçları ile deneyimlemeye başlamak, ekibin yeteneklerini arttırmak için nispeten daha kolaydır. Ama piyasa süper hızlı hareket ediyor. AWS gibi teknoloji devleri AWS Q Business gibi araçlar için bariyerleri daha da düşürüyor. Yani, her zaman sorguya değer, “Yapmalı mıyız yoksa satın almalıyız?” Çünkü bu çağda sadece kodla rekabet etmiyoruz.
