Vytvořil jsem chatbot Gen AI pro vyhledávání vnitřních dokumentů pro firmu finančních služeb, abych umožnil uživatelům s nástrojem pro rychlejší vyhledávání, skenování a shromažďování dokumentů. Vytvořil jsem až 80% účinnost, přijal jsem Retrieval-Augmented Generation (RAG), vložil dokumenty do trezoru (skupinu adresářů) a přijal Titan po porovnání LLM jako Claude, Titan a Llama-3, abych poskytl kontextově informované, přesné odpovědi na vyhledávání dokumentů. Za tři sprinty práce s porovnáváním modelů, úpravou potrubí, pokusem o optimalizaci výkonu a nastavením návodů – to fungovalo docela dobře na modelu Titan (Titan funguje nejlépe mezi uvedenými modely, protože je navržen pro textový model a můj případ použití sedí dobře pod jeho rozsah možností). Všichni uživatelé, které jsem předváděl a demonstroval LOVE to. Ušetřil hodiny hledání a skenování dokumentů pro FAQ a standardní T&C pro dokumenty finančních produktů (terminologie je těžká a plná poznámek atd.). Zatímco jsem hrdý na výsledek mé práce, měl jsem v mysli jednu otázku: Jsem 100% jistý, že je to řešení s nejlepší cenou a výkonem – zejména ve věku AI? Problémy s úspěchem Ačkoli zákazníci jsou příliš opatrní při používání GenAI ve vysoce regulovaných odvětvích, jako jsou finanční služby, zdá se mi, že pro mě stále nestačí účtovat vyšší cenu než řešení připravená pro podniky, jako jsou Amazon Q, Microsoft Copilot a Google Gemini. Přiznávám, že mé řešení s RAG, které zvyšují důvěru v odpovědi, eliminují halucinace a kvalitu s mnoha hlídkami, jsem nebyl spokojen, že to převyšuje to, co je již tam. Enterprise-ready platformy jsou levné, dobře vypadající a hluboce integrované s ekosystémy, které podniky již žijí. Amazon Q Business, například, může indexovat vaše docs S3, ovládání, přístup a náklady ve srovnání s ničím jiným V mém případě Amazon Q Business Enterprise účtuje 0,264 USD za hodinu za jednu jednotku (20K dokumentu nebo 200Mb extrahovaného textu), zatímco jsem vypočítal náklady na transakci za dokument jako 0,23 USD. Byl jsem pyšný na chatbotu, který jsem postavil. Ale pokud jde o škálování a nákladovou efektivitu? Těžké rozhodnutí: Build vs. Buy v éře GenAI To není nová dilema, ale s GenAI se věci staly složitějšími. Zde je shrnutí toho, co jsem se naučil, srovnáním během vývoje interního chatbotu, který je podobný AWS Q Business (k některým rozšířením): Feature In-house GenAI Chatbot AWS Q Business / Off-The-Shelf ChatBot Control You have full customization (RAG, LLM tuning, prompt engineering) Limited to platform capabilities – but fairly flexible Data Privacy You can enforce custom encryption, anonymization, or add new layers Predefined policies & integrations – needs configuration Cost Significantly higher (especially if you use Bedrock type of environments) Cost-effective for enterprise level solutions Setup Time Weeks of model selection, actual development, QA, iterations Hours, sometimes minutes (can have account support) LLM Model Options Choose your model (Claude, Llama-3, Titan, etc.) Locked into platform choice (Amazon = Titan/Q, Microsoft = GPT-4) Maintenance you have to manage yourself - scaling, uptime, latency tuning Handled by provider Control Máte kompletní přizpůsobení (RAG, LLM tuning, rychlé inženýrství Omezené možnosti platformy – ale poměrně flexibilní Data Privacy Můžete uplatnit vlastní šifrování, anonymizaci nebo přidat nové vrstvy Předdefinované politiky a integrace – potřeba konfigurace Cost Významně vyšší (zejména pokud používáte prostředí typu Bedrock) Nákladově efektivní řešení pro podniky Setup Time Týdny výběru modelu, skutečný vývoj, QA, iterace Hodiny, někdy minuty (může mít podporu účtu) LLM Model Options Vyberte si svůj model (Claude, Llama-3, Titan atd.) Zamčený do volby platformy (Amazon = Titan / Q, Microsoft = GPT-4) Maintenance Musíte zvládnout sami - škálování, uptime, latence tuning Handled by provider Vyplatí se stavět v interiéru? Ano a ne. Pokud moji klienti chtějí mít 100% kontrolu a donutit mě aplikovat všechny známé předpisy (i když nejsou plně použitelné a nezbytné) na zpracování dokumentů, vyhledávání a vysvětlovatelnost modelů, budování v interiéru dává smysl. Protože dvojitá kontrola regulačních požadavků a vlastní struktury dotazů mohou vytvářet hodnotu pro podnikání; mohli by se stát ochotnými platit více za přidanou hodnotu. Měli byste stavět, pokud: Potřebujete přísnější kontrolu nad daty a chováním modelu Musíte pracovat v rámci jedinečných pracovních postupů, jako jsou složité finanční dokumenty, multi-source RAG atd. Chcete přidat další funkce AI uvnitř základního produktu Vaše organizace je připravena předem investovat do vývoje, údržby a infračervených nákladů Měli byste si koupit, pokud: Chcete rychlé výhry pro malé scény a showcases Váš případ použití je poměrně standardní (např. dokument Q&A, navigace zásad atd.) You’re cost-sensitive Jste již v ekosystému dodavatele (např. AWS, Microsoft, Google) Zavírání myšlenek Vytvoření chatbotu GenAI může být odměňující a vytváří rychlé zisky pro podnikání. Je také poměrně jednodušší začít experimentovat s nástroji GenAI v rámci operací, což zvyšuje dovednosti týmu. Ale trh se pohybuje super rychle. Technické giganty jako AWS snižují bariéru ještě dále pro nástroje, jako je AWS Q Business. Takže vždy stojí za to se zeptat: „Měli bychom stavět nebo kupovat?“ Protože v této době nejsme jen soutěžit s kódem. Soutěžíme s komoditizovanými nástroji GenAI vytvořenými obry s miliardovou infrastrukturou, talentem a leštěným UI/UX stejně jako nástroji.
