Δημιούργησα ένα chatbot Gen AI για να αναζητήσω μέσα από ένα κύπελλο εσωτερικών εγγράφων για μια εταιρεία χρηματοπιστωτικών υπηρεσιών για να επιτρέψω στους χρήστες με ένα εργαλείο να αναζητήσουν, να σαρώσουν και να συνοψίσουν έγγραφα γρηγορότερα. Δημιουργώντας έως και 80% απόδοση, υιοθέτησα την Retrieval-Augmented Generation (RAG), ενσωμάτωσα έγγραφα στο κύπελλο (ομάδα καταλόγων) και υιοθέτησα το Titan μετά τη σύγκριση LLMs όπως ο Claude, ο Titan και ο Llama-3 για να προσφέρω συναφείς, ακριβείς απαντήσεις για την αναζήτηση εγγράφων. Για μια εργασία τριών σπριντ της σύγκρισης μοντέλων, της προσαρμογής αγωγών, της προσπάθειας βελτιστοποίησης της απόδοσης και της προσαρμογής προειδοποιήσεων - λειτούργησε αρκετά καλά στο μοντέλο Titan (ο Titan λειτουργεί καλύτερα μεταξύ των μοντέλων που αναφέρονται, καθώς έχει σχεδιαστεί για μοντέλο κειμένου και η περίπτωση χρήσης μου βρίσκεται καλά κάτω από το πεδίο δυνατοτήτων του). Όλοι οι χρήστες που έδειξα και το δημοσίευσα το ΑΓΑΠΗΣΑΝ. Έχει εξοικονομήσει ώρες αναζήτησης και σάρωσης σε έγγραφα για FAQs και πρότυπα T&C για έγγραφα χρηματοπιστωτικών προϊόντων (ορολογία βαριά και γεμάτη σημειώσεις κ Το πρόβλημα της επιτυχίας Όταν χτίζετε κάτι που λειτουργεί καλά για να δοκιμάσετε και να επικυρώσετε μια ιδέα, αισθάνεται σαν ένα μεγάλο επίτευγμα - μέχρι να συνειδητοποιήσετε ότι η γραμμή δεν είναι απλώς «λειτουργική». Παρόλο που οι πελάτες είναι υπερβολικά προσεκτικοί σχετικά με τη χρήση του GenAI σε βιομηχανίες υψηλής ρύθμισης, όπως οι χρηματοπιστωτικές υπηρεσίες, εξακολουθεί να μην μου φαίνεται αρκετό για να χρεώσω μια υψηλότερη τιμή από τις λύσεις που είναι έτοιμες για επιχειρήσεις όπως το Amazon Q, το Microsoft Copilot και το Google Gemini. Αναγνωρίζοντας ότι η λύση μου με το RAG αυξάνει την εμπιστοσύνη στις απαντήσεις, εξαλείφει τις ψευδαισθήσεις και την ποιότητα με πολλά φυλλάδια, Στην περίπτωσή μου, το Amazon Q Business Enterprise χρεώνει $ 0,264 ανά ώρα για μία μονάδα (20K έγγραφο ή 200Mb εξαγόμενου κειμένου), ενώ υπολογίζαμε το κόστος ανά συναλλαγή ανά έγγραφο ως $ 0,23. Ήμουν περήφανος για το chatbot που δημιούργησα. αλλά από την άποψη της κλίμακας και της οικονομικής αποδοτικότητας; Ξαφνικά ήμουν σε ένα πολύ στενό σημείο. Δύσκολη απόφαση: Κατασκευή vs. Αγορά στην εποχή GenAI Αυτό δεν είναι ένα νέο δίλημμα, αλλά με το GenAI, τα πράγματα έχουν γίνει πιο περίπλοκα. Εδώ είναι μια περίληψη των όσων έμαθα, συγκρίνοντας κατά τη διάρκεια της ανάπτυξης του in-house chatbot που είναι παρόμοιο με το AWS Q Business (για μερικές επεκτάσεις): Feature In-house GenAI Chatbot AWS Q Business / Off-The-Shelf ChatBot Control You have full customization (RAG, LLM tuning, prompt engineering) Limited to platform capabilities – but fairly flexible Data Privacy You can enforce custom encryption, anonymization, or add new layers Predefined policies & integrations – needs configuration Cost Significantly higher (especially if you use Bedrock type of environments) Cost-effective for enterprise level solutions Setup Time Weeks of model selection, actual development, QA, iterations Hours, sometimes minutes (can have account support) LLM Model Options Choose your model (Claude, Llama-3, Titan, etc.) Locked into platform choice (Amazon = Titan/Q, Microsoft = GPT-4) Maintenance you have to manage yourself - scaling, uptime, latency tuning Handled by provider Control Έχετε πλήρη προσαρμογή (RAG, LLM tuning, Γρήγορη μηχανική Περιορισμένες δυνατότητες πλατφόρμας – αλλά αρκετά ευέλικτες Data Privacy Μπορείτε να επιβάλετε προσαρμοσμένη κρυπτογράφηση, ανωνυμοποίηση ή να προσθέσετε νέα στρώματα Προεπιλεγμένες πολιτικές και ενοποιήσεις – απαιτείται διαμόρφωση Cost Σημαντικά υψηλότερο (ειδικά αν χρησιμοποιείτε περιβάλλοντα τύπου Bedrock) Αποδοτικές λύσεις σε επιχειρηματικό επίπεδο Setup Time Εβδομάδες επιλογής μοντέλου, πραγματική ανάπτυξη, QA, επαναλήψεις Ώρες, μερικές φορές λεπτά (μπορεί να έχουν υποστήριξη λογαριασμού) LLM Model Options Επιλέξτε το μοντέλο σας (Claude, Llama-3, Titan, κλπ.) Κλειδωμένο στην επιλογή πλατφόρμας (Amazon = Titan / Q, Microsoft = GPT-4) Maintenance πρέπει να διαχειριστείτε τον εαυτό σας - κλιμάκωση, χρόνο λειτουργίας, ρύθμιση καθυστέρησης Διαχειρίζεται από τον προμηθευτή Αξίζει να οικοδομήσουμε ένα εσωτερικό σπίτι; Ναι και όχι. Εάν οι πελάτες μου θέλουν να έχουν 100% έλεγχο και να με αναγκάσουν να εφαρμόσω όλους τους γνωστούς κανονισμούς (ακόμη και αν δεν είναι πλήρως εφαρμοστέοι και απαραίτητοι) σχετικά με την επεξεργασία εγγράφων, την αναζήτηση και την εξήγηση μοντέλων, η οικοδόμηση στο εσωτερικό είχε νόημα. Επειδή ο διπλός έλεγχος των κανονιστικών απαιτήσεων και οι προσαρμοσμένες δομές ερωτήσεων μπορούν να δημιουργήσουν αξία για την επιχείρηση. θα μπορούσαν να γίνουν πρόθυμοι να πληρώσουν περισσότερο για την προστιθέμενη αξία. Θα πρέπει να χτίσετε αν: Χρειάζεστε αυστηρότερο έλεγχο των δεδομένων και της συμπεριφοράς μοντέλου Απαιτείται να εργάζεστε μέσα σε μοναδικές ροές εργασίας, όπως σύνθετα οικονομικά έγγραφα, RAG πολλαπλών πηγών κ.λπ. Θέλετε να προσθέσετε πρόσθετα χαρακτηριστικά AI στο βασικό προϊόν Ο οργανισμός σας είναι έτοιμος να επενδύσει εκ των προτέρων για την ανάπτυξη, τη συντήρηση και το κόστος Θα πρέπει να αγοράσετε αν: Θέλετε γρήγορα κέρδη για μικρές κλίμακες και εκδηλώσεις Η περίπτωση χρήσης σας είναι σχετικά τυποποιημένη (π.χ. ερωτήσεις εγγράφου & Α, πλοήγηση πολιτικής κ.λπ.) Είσαι ευαίσθητος στο κόστος Είστε ήδη μέσα στο οικοσύστημα του προμηθευτή (π.χ. AWS, Microsoft, Google) Κλειστές σκέψεις Η δημιουργία chatbot GenAI μπορεί να είναι ανταμείβουσα και να δημιουργήσει γρήγορα κέρδη για την επιχείρηση. Είναι επίσης σχετικά ευκολότερο να αρχίσετε να πειραματιστείτε με τα εργαλεία GenAI εντός των επιχειρήσεων, αυξάνοντας την ικανότητα της ομάδας. Αλλά η αγορά κινείται πολύ γρήγορα. Τεχνολογικοί γίγαντες όπως η AWS μειώνουν ακόμη περισσότερο το εμπόδιο για εργαλεία όπως το AWS Q Business. Έτσι, αξίζει πάντα να ρωτήσετε, "Πρέπει να χτίσουμε ή να αγοράσουμε;" Επειδή δεν ανταγωνιζόμαστε μόνο με κώδικα σε αυτή την εποχή.
