Я побудував чат-бот Gen AI для пошуку через сейф внутрішніх документів для фірми фінансових послуг, щоб дозволити користувачам з інструментом швидше шукати, сканувати та підсумовувати документи. Створюючи до 80% ефективності, я прийняв Retrieval-Augmented Generation (RAG), вбудував документи в сейф (групу каталогів) і прийняв Titan після порівняння LLM, таких як Claude, Titan і Llama-3, щоб забезпечити контекст-свідомі, точні відповіді для пошуку документів. Протягом трьох спринтів роботи по порівняння моделей, налаштування трубопроводів, спроби оптимізувати продуктивність та налаштування сповіщень – це спрацювало досить добре на моделі Titan (Titan працює найкраще серед перерахованих моделей, оскільки він розроблений для текстової моделі, а мій випадок використання добре знаходиться в межах його можливостей).Всі користувачі, яких я показав і демонстрував, полюбили його.Це заощадило години пошуку та сканування на документи для FAQ і стандартних T&C для фінансових документів (термінологія важка і повна нот тощо).Хоча я пишаюся результатом моєї роботи, у мене було одне запитання: чи я на 100% впевнений, що це рішення з найкращою ціною та продуктивністю – особливо Проблема успіху Незважаючи на те, що клієнти надто обережні щодо використання GenAI у високорегульованих галузях, таких як фінансові послуги, мені все ще здається недостатньо, щоб стягнути більш високу ціну, ніж корпоративні рішення, такі як Amazon Q, Microsoft Copilot та Google Gemini. Визнаючи, що моє рішення з RAG, які підвищують впевненість у відповідях, усувають галюцинації, і якість з багатьма охоронними стежками, я не був задоволений тим, що воно перевершує те, що вже є там. Підприємницькі готові платформи є дешевими, добре виглядають і глибоко інтегровані з екосистемами, які вже живуть в бізнесі. Amazon Q Business, наприклад, може індексувати ваші дошки S3, У моєму випадку Amazon Q Business Enterprise стягує $ 0,264 за годину за одну одиницю (20K документа або 200Mb вилученого тексту), тоді як я обчислював свою вартість за транзакцію за документ як $ 0,23. Я пишався чатботом, який я побудував. Але з точки зору масштабування та економічної ефективності? я раптом був у дуже вузькому місці. Важке рішення: побудувати проти купівлі в епоху GenAI Ось резюме того, що я дізнався, порівнюючи під час розробки внутрішнього чат-бота, який схожий на AWS Q Business (до деяких розширень): Feature In-house GenAI Chatbot AWS Q Business / Off-The-Shelf ChatBot Control You have full customization (RAG, LLM tuning, prompt engineering) Limited to platform capabilities – but fairly flexible Data Privacy You can enforce custom encryption, anonymization, or add new layers Predefined policies & integrations – needs configuration Cost Significantly higher (especially if you use Bedrock type of environments) Cost-effective for enterprise level solutions Setup Time Weeks of model selection, actual development, QA, iterations Hours, sometimes minutes (can have account support) LLM Model Options Choose your model (Claude, Llama-3, Titan, etc.) Locked into platform choice (Amazon = Titan/Q, Microsoft = GPT-4) Maintenance you have to manage yourself - scaling, uptime, latency tuning Handled by provider Control Ви маєте повну налаштування (RAG, LLM налаштування, Швидка інженерія Обмежені можливості платформи – але досить гнучкі Data Privacy Ви можете застосувати індивідуальне шифрування, анонімність або додавати нові шари Заздалегідь визначені політики та інтеграції – необхідна конфігурація Cost Значно вище (особливо якщо ви використовуєте середовища типу Bedrock) Ефективні витрати на корпоративні рішення Setup Time Тижні вибору моделі, фактичний розвиток, QA, ітерації Час, іноді хвилини (можуть мати підтримку облікового запису) LLM Model Options Виберіть свою модель (Claude, Llama-3, Titan і т.д.) Замкнуто в вибір платформи (Amazon = Titan / Q, Microsoft = GPT-4) Maintenance Ви повинні управляти собою - масштабування, час роботи, налаштування затримки Здійснюється постачальником Чи варто будувати вдома? Так і ні. Якщо мої клієнти хочуть мати 100% контроль і змусити мене застосувати всі відомі правила (навіть якщо вони не повністю застосовні та необхідні) щодо обробки документів, пошуку та пояснюваності моделей, побудова вдома робить сенс. Оскільки подвійне перевірка нормативних вимог та індивідуальні структури запитів можуть створювати цінність для бізнесу; вони можуть стати готовими платити більше за додану вартість. Ви повинні будувати, якщо: Вам потрібен більш суворий контроль за поведінкою даних та моделей Ви повинні працювати в межах унікальних робочих процесів, таких як складні фінансові документи, багатоджерело RAG і т.д. Ви хочете додати додаткові функції AI в рамках основного продукту Ваша організація готова інвестувати заздалегідь для розробки, технічного обслуговування та інфра витрат Ви повинні купити, якщо: Ви хочете швидких перемог для невеликих масштабів і показів Ваш випадок використання є відносно стандартним (наприклад, документ Q&A, навігація політики і т.д.) Ви чутливі до витрат Ви вже перебуваєте в екосистемі постачальника (наприклад, AWS, Microsoft, Google) Закриття думок Створення чат-ботів GenAI може бути корисним і створювати швидкі перемоги для бізнесу. Також відносно простіше почати експериментувати з інструментами GenAI в межах операцій, підвищуючи кваліфікацію команди. Але ринок рухається надзвичайно швидко. Технологічні гіганти, такі як AWS, ще більше знижують бар'єр для інструментів, таких як AWS Q Business. Так, завжди варто запитати, "Чи варто нам будувати або купувати?" Тому що ми не просто конкуруємо з кодом в цю епоху. Ми конкуруємо з товарними інструментами GenAI, створеними гігантами з мільярдною інфраструктурою, талантом і полірованим UI / UX, а також інструментами.
