Thế hệ tăng cường truy xuất: Ảo giác AI đã biến mất!

Trong thế giới AI đang phát triển nhanh chóng, các mô hình ngôn ngữ lớn đã đi được một chặng đường dài, mang lại kiến thức ấn tượng về thế giới xung quanh chúng ta. Chưa LLM , thông minh như họ, thường đấu tranh để nhận ra ranh giới kiến thức của chính họ, một sự thiếu hụt thường khiến họ “ảo tưởng” để lấp đầy những khoảng trống. Một kỹ thuật mới được phát minh, được gọi là truy xuất tăng cường thế hệ (RAG), cho thấy hứa hẹn trong việc nâng cao kiến thức về các LLM này một cách hiệu quả và giảm tác động của ảo giác bằng cách cho phép các lời nhắc được tăng cường bằng dữ liệu độc quyền.

Điều hướng khoảng cách kiến thức trong LLM

LLM là các mô hình máy tính có khả năng hiểu và tạo văn bản giống con người. Chúng là AI đằng sau trợ lý kỹ thuật số, chức năng tự động sửa lỗi và thậm chí một số email của bạn. Kiến thức của họ về thế giới thường rất lớn, nhưng nó không hoàn hảo. Cũng giống như con người, LLM có thể đạt đến giới hạn kiến thức của họ, nhưng thay vì dừng lại, họ có xu hướng đưa ra những phỏng đoán có học hoặc “ảo giác” để hoàn thành nhiệm vụ. Điều này có thể dẫn đến kết quả chứa thông tin không chính xác hoặc sai lệch.

Trong một thế giới đơn giản, câu trả lời sẽ là cung cấp cho mô hình thông tin độc quyền có liên quan vào đúng thời điểm cần thiết, ngay khi truy vấn được thực hiện. Nhưng việc xác định thông tin nào là "có liên quan" không phải lúc nào cũng đơn giản và đòi hỏi sự hiểu biết về những gì LLM đã được yêu cầu thực hiện. Đây là nơi RAG phát huy tác dụng.

Sức mạnh của các mô hình nhúng và tìm kiếm tương tự véc tơ

Các mô hình nhúng, trong thế giới AI, hoạt động giống như các dịch giả. Chúng chuyển đổi các tài liệu văn bản thành một danh sách lớn các số, thông qua một quy trình được gọi là "mã hóa tài liệu". Danh sách này thể hiện "sự hiểu biết" nội bộ của LLM về ý nghĩa của tài liệu. Chuỗi số này được gọi là vectơ: biểu diễn số của các thuộc tính của một phần dữ liệu. Mỗi điểm dữ liệu được biểu diễn dưới dạng một vectơ có nhiều giá trị số, trong đó mỗi giá trị tương ứng với một tính năng hoặc thuộc tính cụ thể của dữ liệu.

Mặc dù một chuỗi số có vẻ vô nghĩa đối với người bình thường, nhưng những con số này đóng vai trò là tọa độ trong không gian nhiều chiều. Theo cách tương tự mà vĩ độ và kinh độ có thể mô tả một vị trí trong không gian vật lý, chuỗi số này mô tả vị trí của văn bản gốc trong không gian ngữ nghĩa, không gian của tất cả các ý nghĩa có thể có.

Việc coi những con số này là tọa độ cho phép chúng tôi đo lường sự giống nhau về ý nghĩa giữa hai tài liệu. Phép đo này được coi là khoảng cách giữa các điểm tương ứng của chúng trong không gian ngữ nghĩa. Khoảng cách nhỏ hơn sẽ biểu thị sự tương đồng lớn hơn về ý nghĩa, trong khi khoảng cách lớn hơn cho thấy sự khác biệt về nội dung. Do đó, thông tin liên quan đến một truy vấn có thể được phát hiện bằng cách tìm kiếm các tài liệu "gần với" truy vấn trong không gian ngữ nghĩa. Đây là sự kỳ diệu của tìm kiếm tương tự véc tơ.

Ý tưởng đằng sau thế hệ tăng cường truy xuất

RAG là một __kiến trúc __AI tổng quát áp dụng sự giống nhau về ngữ nghĩa để tự động khám phá thông tin liên quan đến một truy vấn.

Trong hệ thống RAG, tài liệu của bạn được lưu trữ trong cơ sở dữ liệu vectơ (DB). Mỗi tài liệu được lập chỉ mục dựa trên một vectơ ngữ nghĩa được tạo bởi một mô hình nhúng để có thể nhanh chóng tìm kiếm các tài liệu gần với một vectơ truy vấn nhất định. Về cơ bản, điều này có nghĩa là mỗi tài liệu được gán một biểu diễn số (vectơ), biểu thị ý nghĩa của nó.

Khi có một truy vấn, mô hình nhúng tương tự được sử dụng để tạo ra một vectơ ngữ nghĩa cho truy vấn .

Sau đó, mô hình sẽ truy xuất các tài liệu tương tự từ DB bằng cách sử dụng tìm kiếm vectơ, tìm kiếm các tài liệu có vectơ gần với vectơ của truy vấn.

Khi các tài liệu liên quan đã được truy xuất, truy vấn cùng với các tài liệu này được sử dụng để tạo phản hồi từ mô hình. Bằng cách này, mô hình không phải chỉ dựa vào kiến thức nội bộ của nó mà có thể truy cập bất kỳ dữ liệu nào bạn cung cấp vào đúng thời điểm. Do đó, mô hình được trang bị tốt hơn để cung cấp các phản hồi chính xác hơn và phù hợp với ngữ cảnh hơn, bằng cách kết hợp dữ liệu độc quyền được lưu trữ trong cơ sở dữ liệu cung cấp tính năng tìm kiếm vectơ.

Hiện có một số cái gọi là “cơ sở dữ liệu vectơ”, bao gồm DataStax Astra DB , mà tìm kiếm véc tơ bây giờ thường có sẵn. Ưu điểm chính của cơ sở dữ liệu cho phép tìm kiếm vectơ là tốc độ. Cơ sở dữ liệu truyền thống phải so sánh một truy vấn với mọi mục trong cơ sở dữ liệu. Ngược lại, tìm kiếm vectơ tích hợp cho phép một hình thức lập chỉ mục và bao gồm các thuật toán tìm kiếm giúp tăng tốc đáng kể quá trình, giúp có thể tìm kiếm lượng dữ liệu khổng lồ trong một khoảng thời gian ngắn so với cơ sở dữ liệu tiêu chuẩn.

Tinh chỉnh có thể được áp dụng cho bộ mã hóa truy vấn và trình tạo kết quả để có hiệu suất tối ưu. Tinh chỉnh là một quá trình trong đó các tham số của mô hình được điều chỉnh một chút để thích ứng tốt hơn với nhiệm vụ cụ thể hiện tại.

RAG so với tinh chỉnh

Tinh chỉnh mang lại nhiều lợi ích cho việc tối ưu hóa LLM. Nhưng nó cũng có một số hạn chế. Thứ nhất, nó không cho phép tích hợp động dữ liệu mới hoặc dữ liệu độc quyền. Kiến thức của mô hình vẫn còn tĩnh sau quá trình đào tạo, khiến nó bị ảo giác khi được hỏi về dữ liệu bên ngoài tập huấn luyện của nó. Mặt khác, RAG tự động truy xuất và kết hợp dữ liệu cập nhật và độc quyền từ cơ sở dữ liệu bên ngoài, giảm thiểu vấn đề ảo giác và cung cấp phản hồi chính xác hơn theo ngữ cảnh. RAG cung cấp cho bạn quyền kiểm soát thời gian truy vấn đối với chính xác thông tin nào được cung cấp cho mô hình, cho phép các lời nhắc được điều chỉnh cho phù hợp với người dùng cụ thể tại thời điểm chính xác một truy vấn được thực hiện.

RAG cũng hiệu quả và linh hoạt hơn về mặt tính toán so với tinh chỉnh. Tinh chỉnh yêu cầu toàn bộ mô hình phải được đào tạo lại cho mỗi lần cập nhật tập dữ liệu, một nhiệm vụ tốn nhiều thời gian và tài nguyên. Ngược lại, RAG chỉ yêu cầu cập nhật các vectơ tài liệu, cho phép quản lý thông tin dễ dàng và hiệu quả hơn. Cách tiếp cận theo mô-đun của RAG cũng cho phép tinh chỉnh cơ chế truy xuất một cách riêng biệt, cho phép thích ứng với các tác vụ hoặc miền khác nhau mà không làm thay đổi mô hình ngôn ngữ cơ sở.

RAG tăng cường sức mạnh và độ chính xác của các mô hình ngôn ngữ lớn, làm cho nó trở thành một giải pháp thay thế hấp dẫn để tinh chỉnh. Trên thực tế, các doanh nghiệp có xu hướng sử dụng RAG thường xuyên hơn là tinh chỉnh.

Thay đổi vai trò của LLM với RAG

Việc tích hợp RAG vào LLM không chỉ cải thiện độ chính xác của phản hồi mà còn tối đa hóa tiềm năng của chúng. Quá trình này cho phép các LLM tập trung vào những gì họ vượt trội trong việc tạo nội dung một cách thông minh từ lời nhắc. Mô hình không còn là nguồn thông tin duy nhất vì RAG cung cấp cho nó kiến thức độc quyền có liên quan khi được yêu cầu và kho kiến thức mà mô hình có thể truy cập có thể được mở rộng và cập nhật mà không cần các công việc đào tạo mô hình tốn kém.

Về bản chất, RAG hoạt động như một cầu nối, kết nối LLM với một kho kiến thức vượt quá khả năng nội tại của nó. Do đó, nó làm giảm đáng kể xu hướng “ảo giác” của LLM và cung cấp một mô hình chính xác và hiệu quả hơn cho người dùng.

DataStax gần đây đã công bố tính khả dụng chung của khả năng tìm kiếm vectơ trong Astra DB. Tìm hiểu về nó đây .

Bởi Ryan Michael, DataStax