Ảo giác AI có thể bị dừng lại? Xem xét 3 cách để làm như vậy

Các mô hình ngôn ngữ lớn ngày nay đã trở nên vô cùng mạnh mẽ; họ có thể giúp đưa ra câu trả lời cho một số câu hỏi khó nhất của chúng tôi. Nhưng chúng cũng có thể khiến chúng ta lạc lối: chúng có xu hướng ảo giác, có nghĩa là chúng đưa ra những câu trả lời có vẻ đúng nhưng thực ra không phải vậy.

LLM ảo giác khi họ gặp phải các truy vấn không nằm trong tập dữ liệu huấn luyện của họ - hoặc khi tập dữ liệu huấn luyện của họ chứa thông tin sai lệch (điều này có thể xảy ra khi LLM được huấn luyện trên dữ liệu internet, như chúng ta đều biết, không phải lúc nào cũng đáng tin cậy ). LLM cũng không có bộ nhớ. Cuối cùng, “tinh chỉnh” thường được coi là một cách để giảm ảo giác bằng cách đào tạo lại mô hình trên dữ liệu mới - nhưng nó cũng có những hạn chế.

Ở đây, chúng ta sẽ xem xét ba phương pháp để ngăn LLM gây ảo giác: Tạo tăng cường truy xuất (RAG), lý luận và truy vấn lặp lại.

Thế hệ tăng cường truy xuất

Với GIẺ , một truy vấn đi vào cơ sở tri thức (trong trường hợp này là một cơ sở dữ liệu vector ) dưới dạng một vectơ ngữ nghĩa – một chuỗi số. Sau đó, mô hình sẽ truy xuất các tài liệu tương tự từ cơ sở dữ liệu bằng cách sử dụng tìm kiếm véc tơ , tìm kiếm các tài liệu có vectơ gần với vectơ của truy vấn.

Sau khi các tài liệu liên quan đã được truy xuất, truy vấn cùng với các tài liệu này sẽ được LLM sử dụng để tóm tắt phản hồi cho người dùng. Bằng cách này, mô hình không phải chỉ dựa vào kiến thức nội bộ của nó mà có thể truy cập bất kỳ dữ liệu nào bạn cung cấp vào đúng thời điểm. Theo một nghĩa nào đó, nó cung cấp cho LLM “bộ nhớ dài hạn” mà bản thân nó không có. Mô hình có thể cung cấp phản hồi chính xác hơn và phù hợp với ngữ cảnh hơn bằng cách đưa dữ liệu độc quyền được lưu trữ vào cơ sở dữ liệu vectơ.

Một cách tiếp cận RAG thay thế kết hợp việc kiểm tra thực tế. LLM được nhắc đưa ra câu trả lời, sau đó được kiểm tra và xem xét thực tế dựa trên dữ liệu trong cơ sở dữ liệu vectơ. Một câu trả lời cho truy vấn được tạo ra từ cơ sở dữ liệu vectơ và sau đó LLM lần lượt sử dụng câu trả lời đó làm lời nhắc để phân biệt xem nó có liên quan đến một thực tế hay không.

Lý luận

LLM rất giỏi về nhiều thứ. Họ có thể dự đoán từ tiếp theo trong câu nhờ những tiến bộ trong “máy biến áp”, biến đổi cách máy hiểu ngôn ngữ của con người bằng cách chú ý đến các phần khác nhau của dữ liệu đầu vào ở mức độ khác nhau. LLM cũng rất giỏi trong việc tổng hợp nhiều thông tin thành một câu trả lời ngắn gọn, đồng thời tìm và trích xuất nội dung bạn đang tìm kiếm từ một lượng lớn văn bản. Đáng ngạc nhiên là LLMS cũng có thể lập kế hoạch - họ có thể thu thập dữ liệu và lên kế hoạch cho chuyến đi theo đúng nghĩa đen của bạn.

Và có lẽ còn đáng ngạc nhiên hơn nữa, LLM có thể sử dụng lý luận để đưa ra câu trả lời theo kiểu gần giống con người. Bởi vì mọi người có thể suy luận nên họ không cần hàng tấn dữ liệu để đưa ra dự đoán hoặc quyết định. Lý luận cũng giúp LLM tránh được ảo giác. Một ví dụ về điều này là “ chuỗi suy nghĩ nhắc nhở .”

Phương pháp này giúp mô hình chia các bài toán có nhiều bước thành các bước trung gian. Với tính năng nhắc nhở theo chuỗi suy nghĩ, LLM có thể giải quyết các vấn đề lý luận phức tạp mà các phương pháp nhắc nhở tiêu chuẩn không thể làm được (để có cái nhìn sâu hơn, hãy xem bài đăng trên blog Mô hình ngôn ngữ thực hiện suy luận thông qua chuỗi suy nghĩ từ Google).

Nếu bạn giao cho LLM một bài toán phức tạp, nó có thể sai. Nhưng nếu bạn cung cấp cho LLM vấn đề cũng như phương pháp giải quyết nó, nó có thể đưa ra câu trả lời chính xác – và chia sẻ lý do đằng sau câu trả lời. Cơ sở dữ liệu vectơ là một phần quan trọng của phương pháp này vì nó cung cấp các ví dụ về các câu hỏi tương tự như vậy và đưa ra lời nhắc bằng ví dụ.

Thậm chí tốt hơn, khi bạn có câu hỏi và câu trả lời, bạn có thể lưu trữ nó trở lại cơ sở dữ liệu vectơ để cải thiện hơn nữa độ chính xác và tính hữu ích của các ứng dụng AI tổng hợp của bạn.

Có rất nhiều tiến bộ về lý luận khác mà bạn có thể tìm hiểu, bao gồm cây suy nghĩ , ít nhất đến nhiều nhất , tự nhất quán , Và điều chỉnh hướng dẫn .

Truy vấn lặp lại

Phương pháp thứ ba giúp giảm ảo giác LLM là truy vấn tương tác. Trong trường hợp này, tác nhân AI làm trung gian cho các cuộc gọi di chuyển qua lại giữa LLM và cơ sở dữ liệu vectơ. Điều này có thể xảy ra lặp đi lặp lại nhiều lần để có được câu trả lời tốt nhất. Một ví dụ về thế hệ truy xuất chủ động hướng tới tương lai này, còn được gọi là FLARE.

Bạn đặt câu hỏi, truy vấn nền tảng kiến thức của mình để biết thêm các câu hỏi tương tự. Bạn sẽ nhận được một loạt câu hỏi tương tự. Sau đó, bạn truy vấn cơ sở dữ liệu vectơ với tất cả các câu hỏi, tóm tắt câu trả lời và kiểm tra xem câu trả lời đó có hợp lý và hợp lý không. Nếu không, hãy lặp lại các bước cho đến khi đạt được.

Các phương pháp truy vấn tương tác nâng cao khác bao gồm AutoGPT , Microsoft Jarvis , Và Nhắc biểu diễn solo .

Có nhiều công cụ có thể giúp bạn điều phối tác nhân. LangChain là một ví dụ tuyệt vời giúp bạn điều phối các lệnh gọi giữa LLM và cơ sở dữ liệu vectơ. Về cơ bản, nó tự động hóa phần lớn các tác vụ quản lý và tương tác với LLM, đồng thời cung cấp hỗ trợ cho bộ nhớ, tìm kiếm tương tự dựa trên vectơ, trừu tượng hóa khuôn mẫu nhanh chóng nâng cao và vô số tính năng khác. Nó cũng giúp và hỗ trợ các kỹ thuật nhắc nhở nâng cao như chuỗi suy nghĩ và FLARE.

Một công cụ khác như vậy là CassIO , được DataStax phát triển dưới dạng trừu tượng trên cơ sở dữ liệu vectơ Astra DB của chúng tôi, với ý tưởng biến dữ liệu và bộ nhớ trở thành công dân hạng nhất trong AI sáng tạo . CassIO là một thư viện Python giúp tích hợp Cassandra với trí tuệ nhân tạo tổng hợp và các khối lượng công việc học máy khác một cách liền mạch bằng cách trừu tượng hóa quá trình truy cập cơ sở dữ liệu, bao gồm cả cơ sở dữ liệu của nó. tìm kiếm véc tơ các khả năng và cung cấp một bộ công cụ sẵn sàng sử dụng nhằm giảm thiểu nhu cầu về mã bổ sung.

Kết hợp tất cả lại với nhau: SkyPoint AI

SkyPoint AI là nhà cung cấp SaaS chuyên về dữ liệu, phân tích và dịch vụ AI cho ngành chăm sóc và sinh hoạt người cao tuổi. Công ty tận dụng AI tổng hợp để cho phép tương tác tự nhiên và trực quan giữa người cao tuổi, người chăm sóc và hệ thống phần mềm. Bằng cách đơn giản hóa các ứng dụng phức tạp và hợp lý hóa trải nghiệm người dùng, SkyPoint AI hỗ trợ người cao tuổi và người chăm sóc để truy cập thông tin và hiểu biết một cách dễ dàng, giúp tăng cường chăm sóc.

Công ty thu thập từ nhiều loại dữ liệu có cả cấu trúc và phi cấu trúc để cung cấp câu trả lời do AI tạo ra cho những lời nhắc như “Có bao nhiêu cư dân hiện đang sử dụng Medicare?” Giám đốc điều hành SkyPoint Tisson Mathew đã nói với tôi gần đây. Ông nói, điều này giúp các nhà cung cấp dịch vụ chăm sóc đưa ra quyết định sáng suốt một cách nhanh chóng, dựa trên dữ liệu chính xác.

Tuy nhiên, để đạt được điều đó là cả một quá trình, Mathew nói. Nhóm của anh ấy bắt đầu bằng việc lấy LLM tiêu chuẩn và tinh chỉnh nó bằng dữ liệu SkyPoint. “Nó đưa đến những kết quả tai hại – thậm chí là những từ ngữ ngẫu nhiên,” ông nói. Hiểu và tạo lời nhắc là điều SkyPoint có thể xử lý nhưng nó cần một nền tảng công nghệ AI để xử lý việc tạo ra câu trả lời chính xác trên quy mô lớn.

SkyPoint cuối cùng đã xây dựng một hệ thống tiếp thu dữ liệu có cấu trúc từ các nhà khai thác và nhà cung cấp, chẳng hạn như hồ sơ chăm sóc sức khỏe điện tử và dữ liệu bảng lương. Điều này được lưu trữ trong cơ sở dữ liệu dạng cột; RAG được sử dụng để truy vấn nó. Dữ liệu phi cấu trúc, chẳng hạn như chính sách, thủ tục và quy định của nhà nước, được lưu trữ trong cơ sở dữ liệu vectơ: DataStax Astra DB .

Tisson đặt ra một câu hỏi làm ví dụ: Điều gì sẽ xảy ra nếu một cư dân trở nên ngược đãi? Astra DB cung cấp câu trả lời được tổng hợp dựa trên các quy định của tiểu bang và bối cảnh của người dùng cũng như nhiều tài liệu và quy định khác nhau. nhúng vector , bằng ngôn ngữ tự nhiên mà nhân viên cơ sở chăm sóc người cao tuổi dễ hiểu,

Tisson nói: “Đây là những câu trả lời cụ thể phải đúng. “Đây là thông tin mà một tổ chức dựa vào để đưa ra quyết định sáng suốt cho cộng đồng và doanh nghiệp của họ.”

Phần kết luận

SkyPoint AI minh họa tầm quan trọng của việc giảm thiểu nguy cơ ảo giác AI; hậu quả có thể rất thảm khốc nếu không có các phương pháp và công cụ sẵn có để đảm bảo câu trả lời chính xác.

Với RAG, các phương pháp truy vấn lặp lại và lý luận như FLARE, AI tổng quát - đặc biệt khi được hỗ trợ bởi dữ liệu độc quyền - đang trở thành một công cụ ngày càng mạnh mẽ để giúp các doanh nghiệp phục vụ khách hàng một cách hiệu quả và hiệu suất.

Bởi Alan Hồ, DataStax

Tìm hiểu thêm về cách DataStax giúp bạn xây dựng các ứng dụng AI tổng quát, thời gian thực .