LLM đang chuyển đổi ứng dụng AI: Đây là cách

Trí tuệ nhân tạo là sự thay đổi mô hình mang tính biến đổi nhất kể từ khi internet ra đời vào năm 1994. Và có thể hiểu được là có rất nhiều tập đoàn đang tranh giành để đưa AI vào cách họ kinh doanh.

Một trong những cách quan trọng nhất mà điều này đang diễn ra là thông qua AI tổng quát và các mô hình ngôn ngữ lớn (LLM) và không chỉ yêu cầu ChatGPT viết một bài đăng về một chủ đề cụ thể cho blog công ty hoặc thậm chí là giúp viết mã.

Trên thực tế, các LLM đang nhanh chóng trở thành một phần không thể thiếu trong kho ứng dụng.

Xây dựng các giao diện AI tổng quát như ChatGPT — “đại lý” — trên cơ sở dữ liệu chứa tất cả dữ liệu cần thiết và có thể “nói ngôn ngữ” của LLM là tương lai (và ngày càng là hiện tại ) của các ứng dụng dành cho thiết bị di động.

Mức độ tương tác động, quyền truy cập vào lượng lớn dữ liệu công khai và độc quyền cũng như khả năng thích ứng với các tình huống cụ thể làm cho các ứng dụng được xây dựng trên LLM trở nên mạnh mẽ và hấp dẫn theo cách chưa từng có cho đến gần đây.

Và công nghệ này đã nhanh chóng phát triển đến mức hầu như bất kỳ ai có cơ sở dữ liệu phù hợp và API phù hợp đều có thể xây dựng những trải nghiệm này. Chúng ta hãy xem những gì có liên quan.

Cách AI sáng tạo cách mạng hóa cách ứng dụng hoạt động

Khi một số người nghe thấy “agent” và “AI” trong cùng một câu, họ nghĩ về chatbot đơn giản mà họ đã trải nghiệm dưới dạng một cửa sổ bật lên hỏi nó có thể giúp ích như thế nào khi họ truy cập trang web thương mại điện tử.

Nhưng các LLM có thể làm được nhiều hơn là phản hồi bằng các câu hỏi và câu trả lời gợi chuyện đơn giản được lấy từ Câu hỏi thường gặp.

Khi họ có quyền truy cập vào đúng dữ liệu, các ứng dụng được xây dựng trên LLM có thể thúc đẩy các cách tương tác với chúng tôi tiên tiến hơn nhiều để cung cấp thông tin được tuyển chọn một cách chuyên nghiệp, hữu ích, cụ thể, phong phú hơn — và thường có khả năng dự đoán một cách kỳ lạ.

Đây là một ví dụ.

Bạn muốn xây dựng một sàn ở sân sau của mình, vì vậy bạn mở ứng dụng di động của cửa hàng cải tiến nhà cửa và yêu cầu nó xây dựng cho bạn một danh sách mua sắm.

Vì ứng dụng được kết nối với LLM như GPT-4 và nhiều nguồn dữ liệu (danh mục sản phẩm của chính công ty, kho lưu trữ, thông tin khách hàng và lịch sử đặt hàng, cùng với nhiều nguồn dữ liệu khác), nên ứng dụng có thể dễ dàng cho bạn biết bạn đang làm gì. sẽ cần phải hoàn thành dự án DIY của bạn.

Nhưng nó có thể làm nhiều hơn nữa.

Nếu bạn mô tả kích thước và tính năng bạn muốn kết hợp trong bộ bài của mình, ứng dụng có thể cung cấp các công cụ trực quan và hỗ trợ thiết kế. Bởi vì nó biết mã bưu chính của bạn, nó có thể cho bạn biết cửa hàng nào gần bạn có mặt hàng bạn cần trong kho.

Nó cũng có thể, dựa trên dữ liệu trong lịch sử mua hàng của bạn, gợi ý rằng bạn có thể cần một nhà thầu để giúp bạn thực hiện công việc – và cung cấp thông tin liên hệ cho các chuyên gia gần bạn.

Sau đó, nó có thể cho bạn biết, dựa trên các biến số như lượng thời gian cần thiết để vết bẩn trên boong khô (thậm chí kết hợp với xu hướng khí hậu theo mùa nơi bạn sống) và sẽ mất bao lâu cho đến khi bạn thực sự có thể tổ chức bữa tiệc sinh nhật đó trên boong của mình bạn đã lên kế hoạch.

Ứng dụng này cũng có thể hỗ trợ và cung cấp thông tin về nhiều lĩnh vực liên quan khác, bao gồm chi tiết về yêu cầu giấy phép dự án và ảnh hưởng của việc xây dựng đối với giá trị tài sản của bạn. Có nhiều câu hỏi hơn không?

Ứng dụng này có thể giúp bạn từng bước với tư cách là một trợ lý hữu ích đưa bạn đến nơi bạn muốn.

Sử dụng LLM trong ứng dụng của bạn là khó, phải không?

Đây không phải là khoa học viễn tưởng. Nhiều tổ chức, bao gồm một số khách hàng lớn nhất của DataStax, hiện đang làm việc trên nhiều dự án kết hợp AI tổng quát.

Nhưng những dự án này không chỉ là lĩnh vực của các doanh nghiệp lớn, lâu đời; họ không yêu cầu kiến thức sâu rộng về học máy hoặc khoa học dữ liệu hoặc đào tạo mô hình ML.

Trên thực tế, việc xây dựng các ứng dụng dựa trên LLM yêu cầu ít hơn một nhà phát triển có thể thực hiện lệnh gọi cơ sở dữ liệu và lệnh gọi API.

Xây dựng các ứng dụng có thể cung cấp các mức ngữ cảnh được cá nhân hóa mà cho đến gần đây chưa từng được biết đến là một thực tế có thể thực hiện được với bất kỳ ai có cơ sở dữ liệu phù hợp, một vài dòng mã và LLM như GPT-4.

LLM rất đơn giản để sử dụng. Chúng lấy bối cảnh (thường được gọi là “lời nhắc”) và đưa ra phản hồi. Vì vậy, việc xây dựng một tác nhân bắt đầu bằng việc suy nghĩ về cách cung cấp ngữ cảnh phù hợp cho LLM để nhận được phản hồi mong muốn.

Nói chung, bối cảnh này đến từ ba nơi: câu hỏi của người dùng, lời nhắc được xác định trước do nhà phát triển của tác nhân tạo và dữ liệu có nguồn gốc từ cơ sở dữ liệu hoặc các nguồn khác (xem sơ đồ bên dưới).

Ngữ cảnh do người dùng cung cấp thường đơn giản là câu hỏi họ nhập vào ứng dụng.

Phần thứ hai có thể được cung cấp bởi người quản lý sản phẩm đã làm việc với nhà phát triển để mô tả vai trò mà đại lý nên đảm nhận (ví dụ: “Bạn là một đại lý bán hàng hữu ích đang cố gắng giúp khách hàng khi họ lập kế hoạch cho dự án của họ; vui lòng bao gồm một danh sách các sản phẩm có liên quan trong câu trả lời của bạn”).

Cuối cùng, nhóm thứ ba của ngữ cảnh được cung cấp bao gồm dữ liệu ngoài được lấy từ cơ sở dữ liệu của bạn và các nguồn dữ liệu khác mà LLM nên sử dụng để xây dựng phản hồi.

Một số ứng dụng đại lý có thể thực hiện một số cuộc gọi tới LLM trước khi xuất phản hồi cho người dùng để xây dựng các phản hồi chi tiết hơn.

Đây là điều mà các công nghệ như Trình cắm ChatGPT và LangChain hỗ trợ (thêm về những điều này bên dưới).

Tặng bộ nhớ LLM…

Các tác nhân AI cần một nguồn kiến thức, nhưng kiến thức đó phải được LLM hiểu được. Hãy nhanh chóng lùi lại một bước và suy nghĩ về cách hoạt động của các LLM. Khi bạn đặt câu hỏi cho ChatGPT, nó có bộ nhớ rất hạn chế hoặc “cửa sổ ngữ cảnh”.

Nếu bạn đang có một cuộc trò chuyện kéo dài với ChatGPT, thì ChatGPT sẽ tổng hợp các truy vấn trước đó của bạn và các câu trả lời tương ứng rồi gửi lại cho mô hình, nhưng nó bắt đầu “quên” ngữ cảnh.

Đây là lý do tại sao việc kết nối một đại lý với cơ sở dữ liệu lại rất quan trọng đối với các công ty muốn xây dựng các ứng dụng dựa trên đại lý trên LLM. Nhưng cơ sở dữ liệu phải lưu trữ thông tin theo cách mà LLM hiểu: dưới dạng vectơ.

Nói một cách đơn giản, các vectơ cho phép bạn rút gọn một câu, khái niệm hoặc hình ảnh thành một tập hợp các kích thước. Bạn có thể lấy một khái niệm hoặc ngữ cảnh, chẳng hạn như mô tả sản phẩm và biến nó thành nhiều chiều: biểu diễn của vectơ.

Việc ghi lại các kích thước đó cho phép tìm kiếm véc-tơ: khả năng tìm kiếm trên các khái niệm đa chiều, thay vì từ khóa.

Điều này giúp các LLM tạo ra các phản hồi chính xác hơn và phù hợp với ngữ cảnh đồng thời cung cấp một dạng bộ nhớ dài hạn cho các mô hình. Về bản chất, tìm kiếm vectơ là cầu nối quan trọng giữa LLM và cơ sở tri thức rộng lớn mà họ được đào tạo.

Các vectơ là “ngôn ngữ” của LLM; tìm kiếm véc-tơ là khả năng bắt buộc của cơ sở dữ liệu cung cấp cho chúng ngữ cảnh.

Do đó, một thành phần quan trọng để có thể phục vụ LLM với dữ liệu phù hợp là cơ sở dữ liệu vectơ có thông lượng, khả năng mở rộng và độ tin cậy để xử lý các bộ dữ liệu lớn cần thiết để cung cấp trải nghiệm cho đại lý.

… Với cơ sở dữ liệu phù hợp

Khả năng mở rộng và hiệu suất là hai yếu tố quan trọng cần xem xét khi chọn cơ sở dữ liệu cho bất kỳ ứng dụng AI/ML nào. Các tác nhân yêu cầu quyền truy cập vào một lượng lớn dữ liệu thời gian thực và yêu cầu xử lý tốc độ cao, đặc biệt là khi triển khai các tác nhân có thể được sử dụng bởi mọi khách hàng truy cập trang web của bạn hoặc sử dụng ứng dụng di động của bạn.

Khả năng mở rộng quy mô nhanh chóng khi cần thiết là điều tối quan trọng để thành công khi lưu trữ dữ liệu cung cấp cho các ứng dụng đại lý.

Apache Cassandra là cơ sở dữ liệu mà các nhà lãnh đạo như Netflix, Uber và FedEx dựa vào để thúc đẩy hệ thống tương tác của họ và AI đã trở nên thiết yếu để làm phong phú mọi tương tác mà một doanh nghiệp phục vụ.

Khi sự tương tác trở nên do tác nhân hỗ trợ, Cassandra trở nên thiết yếu bằng cách cung cấp khả năng mở rộng theo chiều ngang, tốc độ và độ ổn định vững chắc khiến nó trở thành lựa chọn tự nhiên để lưu trữ dữ liệu cần thiết cho các ứng dụng dựa trên tác nhân.

Vì lý do này, cộng đồng Cassandra đã phát triển quan trọng khả năng tìm kiếm vector để đơn giản hóa nhiệm vụ xây dựng các ứng dụng AI trên các tập dữ liệu khổng lồ và DataStax đã làm cho các khả năng này có thể dễ dàng sử dụng qua đám mây trong Astra DB , cơ sở dữ liệu NoSQL quy mô peta đầu tiên sẵn sàng cho AI với các khả năng véc tơ (đọc thêm về tin tức này tại đây ).

Nó được thực hiện như thế nào?

Có một vài lộ trình để các tổ chức tạo ra trải nghiệm ứng dụng đại lý, như chúng tôi đã đề cập trước đó.

Bạn sẽ nghe các nhà phát triển nói về các khuôn khổ như LangChain , đúng như tên gọi, cho phép phát triển các tác nhân hỗ trợ LLM bằng cách kết hợp các đầu vào và đầu ra của nhiều lệnh gọi LLM lại với nhau và tự động lấy đúng dữ liệu từ các nguồn dữ liệu phù hợp khi cần.

Nhưng cách quan trọng nhất để tiếp tục xây dựng những loại trải nghiệm này là khai thác tác nhân phổ biến nhất trên toàn cầu ngay bây giờ: ChatGPT.

plugin ChatGPT cho phép các tổ chức bên thứ ba kết nối với ChatGPT bằng các tiện ích bổ sung cung cấp thông tin về các công ty đó. Hãy nghĩ về Facebook.

Nó đã trở thành nền tảng mạng xã hội, với một hệ sinh thái khổng lồ gồm các tổ chức xây dựng trò chơi, nội dung và nguồn cấp tin tức có thể kết nối với nó. ChatGPT đã trở thành loại nền tảng đó: một “siêu đại lý”.

Các nhà phát triển của bạn có thể đang làm việc để xây dựng trải nghiệm ứng dụng dựa trên đại lý độc quyền của riêng bạn bằng cách sử dụng một khung như LangChain, nhưng chỉ tập trung vào đó sẽ đi kèm với chi phí cơ hội rất lớn.

Nếu họ không làm việc trên plugin ChatGPT, tổ chức của bạn sẽ bỏ lỡ cơ hội phân phối lớn để tích hợp ngữ cảnh dành riêng cho doanh nghiệp của bạn vào phạm vi thông tin có thể mà ChatGPT có thể cung cấp hoặc các hành động mà tổ chức có thể đề xuất cho người dùng.

Một loạt các công ty, bao gồm Instacart, Expedia, OpenTable và Slack đã xây dựng plugin ChatGPT rồi ; nghĩ về lợi thế cạnh tranh mà sự tích hợp của họ với ChatGPT có thể tạo ra.

Một tác nhân có thể truy cập để thay đổi

Xây dựng các plug-in ChatGPT sẽ là một phần quan trọng trong các dự án tác nhân AI mà các doanh nghiệp sẽ tìm cách tham gia.

Có kiến trúc dữ liệu phù hợp — cụ thể là cơ sở dữ liệu véc-tơ — giúp dễ dàng hơn đáng kể để xây dựng trải nghiệm tác nhân hiệu suất rất cao có thể nhanh chóng truy xuất thông tin phù hợp để cung cấp năng lượng cho các phản hồi đó.

Tất cả các ứng dụng sẽ trở thành ứng dụng AI. Sự gia tăng của LLM và các khả năng như plugin ChatGPT đang làm cho tương lai này dễ tiếp cận hơn nhiều.

Để tìm hiểu thêm về tìm kiếm vector và AI tổng quát? Tham gia với chúng tôi để tham gia Đặc vụ X: Xây dựng trải nghiệm AI cho Đặc vụ, một sự kiện kỹ thuật số miễn phí vào ngày 11 tháng 7.

Bởi Ed Anuff, DataStax