AI sáng tạo đại diện cho kỹ thuật mới nhất mà doanh nghiệp có thể sử dụng để mở khóa dữ liệu bị mắc kẹt trong ranh giới của nó. Cách dễ nhất để khái niệm hóa những gì có thể làm được với Generative AI là tưởng tượng một Mô hình ngôn ngữ lớn được tùy chỉnh - tương tự như mô hình hỗ trợ ChatGPT - chạy bên trong tường lửa của bạn. Giờ đây, LLM tùy chỉnh này không giống với LLM mà OpenAI đang lưu trữ trên internet công cộng. Thay vào đó, nó đã có được “nền giáo dục nâng cao” về hoạt động kinh doanh của bạn. Điều này được thực hiện bằng cách cấp cho nó quyền truy cập vào một kho tài liệu mà thế giới bên ngoài không thể tiếp cận được. Tuy nhiên, công cụ mới này không phải là một công cụ tìm kiếm thông thường sẽ cung cấp danh sách các liên kết khiến bạn mất hàng giờ để xem xét và lọc thêm. Đúng hơn, nó là một giải pháp có thể tạo ra nội dung bạn cần. Theo thời gian, bạn sẽ thấy mình ra lệnh cho nó cũng như đặt câu hỏi cho nó. Dưới đây là một vài ví dụ giúp bạn cảm nhận được những gì có thể:

• “Tìm những phát hiện gần đây của chúng tôi trên thị trường chứng khoán châu Âu.”

• “Tạo một bản tóm tắt cho bài nói chuyện của tôi về AI sáng tạo.”

• “Tìm mọi thứ chúng tôi đã xuất bản trong quý này.”

  
  

Các ví dụ trên là các kịch bản nghiên cứu, nhưng Mô hình ngôn ngữ lớn (LLM) được xây dựng tốt cũng có thể được sử dụng để hỗ trợ khách hàng (chatbot), tóm tắt, nghiên cứu, dịch thuật và tạo tài liệu, v.v.

Những ví dụ đơn giản này nêu bật sức mạnh của Generative AI - đó là một công cụ giúp bạn thực hiện công việc hiệu quả hơn thay vì tạo danh sách đọc.

Một công cụ như vậy không thể tồn tại được và mọi thứ có thể trở nên rất sai lầm nếu những lo ngại như bảo mật và chất lượng dữ liệu không được xem xét. Ngoài ra, các mô hình hỗ trợ AI tổng hợp không thể chạy trong trung tâm dữ liệu thông thường. Họ cần một môi trường hiện đại với các công cụ hiện đại để quản lý dữ liệu phi cấu trúc (hồ dữ liệu), tạo quy trình AI/ML cho LLM của bạn (công cụ MLOP) và công cụ mới cho phép LLM nhận được kiến thức mà họ cần liên quan đến kho dữ liệu tùy chỉnh của bạn. (Tôi đang nói về cơ sở dữ liệu vectơ để triển khai Thế hệ tăng cường truy xuất - Tôi sẽ giải thích thêm sau trong bài đăng này).

Trong bài đăng này, tôi muốn trình bày ở cấp độ khái niệm những điều cần xem xét để Doanh nghiệp triển khai Generative AI thành công.

Hãy bắt đầu với cuộc trò chuyện về dữ liệu.

Nguồn dữ liệu (Dữ liệu thô)

Một điểm khác biệt quan trọng là dữ liệu cần thiết cho AI tổng quát không giống với dữ liệu được sử dụng cho AI thông thường. Dữ liệu sẽ không có cấu trúc - cụ thể, dữ liệu bạn cần sẽ là tài liệu bị khóa trong các công cụ như SharePoint, Confluence và chia sẻ tệp mạng. Một giải pháp Generative AI tốt cũng có thể xử lý nội dung phi văn bản như tệp âm thanh và video. Bạn sẽ cần một đường dẫn dữ liệu thu thập tất cả dữ liệu này và đặt chúng dưới một mái nhà.

Đây có thể là nhiệm vụ thách thức nhất của sáng kiến AI sáng tạo. Tất cả chúng ta đều biết các trang Confluence và các trang Sharepoint phát triển nhanh như thế nào trong một tổ chức. Không có gì đảm bảo rằng các tài liệu trong đó là đầy đủ, đúng sự thật và chính xác. Các mối quan tâm khác là bảo mật, thông tin nhận dạng cá nhân và điều khoản cấp phép nếu tài liệu đến từ nguồn bên ngoài.

Khi bạn đã xác định được những tài liệu chứa thông tin tình báo thực sự, bạn cần một nơi để đặt chúng. Thật không may, họ không thể ở lại vị trí ban đầu. SharePoint, Confluence và chia sẻ tệp mạng là những công cụ không được thiết kế để cung cấp tài liệu một cách nhanh chóng cho hoạt động đào tạo và suy luận. Đây là lúc MinIO phát huy tác dụng. Bạn sẽ muốn lưu trữ tài liệu của mình trong một giải pháp lưu trữ có tất cả các khả năng mà bạn quen thuộc: Điều chỉnh theo nhu cầu của bạn , Hiệu suất ở quy mô , Đáng tin cậy , Khả năng chịu lỗi và Giao diện gốc trên nền tảng đám mây . Điểm mấu chốt là bạn cần xây dựng một đường dẫn dữ liệu tổng hợp dữ liệu thô từ nhiều nguồn và sau đó chuyển đổi nó để LLM tiêu thụ. Sơ đồ dưới đây cho thấy sự đa dạng của các nguồn có thể tồn tại trong một tổ chức và các hoạt động kiểm tra cấp cao sẽ diễn ra.

Chúng ta hãy xem xét kỹ hơn đường dẫn dữ liệu bằng cách đi sâu vào các biện pháp kiểm tra chất lượng và bảo mật cần thiết để chuyển đổi dữ liệu thô thành dữ liệu chất lượng.

Tiền xử lý dữ liệu (Dữ liệu chất lượng)

Các tổ chức nên bắt đầu bằng việc kiểm kê tất cả các nguồn tài liệu. Đối với mỗi nguồn tài liệu, tất cả các tài liệu được tìm thấy phải được lập danh mục. Các tài liệu cần được xem xét liên quan đến việc cấp phép và bảo mật. Một số tài liệu có thể cần phải được loại trừ khỏi giải pháp của bạn. Một phần quan trọng của quy trình này là xác định dữ liệu bị hạn chế cần được sửa đổi trước khi đưa vào giải pháp AI tổng quát của bạn.

Sau khi bạn đã xem xét tài liệu của mình về vấn đề bảo mật và cấp phép, bước tiếp theo là kiểm tra chất lượng. Ví dụ: tính trung thực, tính đa dạng (nếu nói về con người) và tính dư thừa. Không thể tạo ra các mô hình chính xác nếu không có dữ liệu chất lượng cao. Điều này đúng với AI thông thường (học có giám sát, học không giám sát và học tăng cường) - và nó đặc biệt đúng với AI tổng quát. Tài liệu chất lượng thấp hơn, tài liệu dư thừa và tài liệu chứa dữ liệu không chính xác sẽ làm loãng phản hồi từ LLM hoặc thậm chí tạo ra ảo giác.

Hình ảnh trực quan của quy trình chi tiết hơn trông như thế này:

Một số suy nghĩ về tầm quan trọng của giải pháp lưu trữ: Tài liệu chất lượng của bạn cần phải nằm trong giải pháp lưu trữ có thể phục vụ dữ liệu của bạn một cách nhanh chóng cho mục đích đào tạo, tinh chỉnh và suy luận. Kỹ sư của bạn càng có thể chạy nhiều thử nghiệm thì mô hình của bạn cuối cùng sẽ hoạt động càng tốt. Bạn cũng sẽ muốn theo dõi các thử nghiệm, lưu dữ liệu đã xử lý và lập phiên bản cho mô hình của mình. Việc này có thể được thực hiện thủ công bằng cách lưu trực tiếp thông tin này vào MinIO hoặc sử dụng công cụ MLOP mà bạn chọn. Nhiều công cụ MLOP sử dụng tính năng lưu trữ đối tượng. Ví dụ: MLFlow từ DataBricks và KubeFlow từ Google đều sử dụng MinIO. Ngoài ra, phiên bản MinIO được mô tả trong sơ đồ trên phải đến từ việc triển khai hồ dữ liệu hiện đại. Hồ dữ liệu hiện đại là trung tâm của kiến trúc hệ thống có thể hỗ trợ AI.

Hãy tiếp tục và thảo luận về cách LLM có thể sử dụng kho đối tượng chứa tài liệu chất lượng của bạn.

Cách LLM sử dụng dữ liệu chất lượng

Trong phần này, chúng tôi sẽ xem xét hai cách sử dụng LLM nguồn mở và tài liệu chất lượng của bạn để tạo nội dung dành riêng cho miền. Hai kỹ thuật này là tinh chỉnh và tạo tăng cường truy xuất (RAG).

Tinh chỉnh mô hình nguồn mở

Khi tinh chỉnh một mô hình, chúng tôi huấn luyện mô hình đó thêm một chút với thông tin tùy chỉnh. Đây có thể là một cách tốt để có được LLM dành riêng cho tên miền. Mặc dù tùy chọn này yêu cầu tính toán để thực hiện tinh chỉnh đối với kho dữ liệu tùy chỉnh của bạn, nhưng nó không chuyên sâu như đào tạo mô hình từ đầu và có thể hoàn thành trong khung thời gian khiêm tốn.

Nếu miền của bạn bao gồm các thuật ngữ không được sử dụng hàng ngày thì việc tinh chỉnh sẽ cải thiện chất lượng phản hồi của LLM. Ví dụ: các dự án sử dụng tài liệu từ nghiên cứu y học, nghiên cứu môi trường và bất kỳ thứ gì liên quan đến khoa học tự nhiên sẽ được hưởng lợi từ việc tinh chỉnh. Tinh chỉnh lấy ngôn ngữ bản địa rất cụ thể có trong tài liệu của bạn và đưa chúng vào các tham số tham số của mô hình.

Nhược điểm

• Tinh chỉnh sẽ yêu cầu tài nguyên tính toán.

• Khả năng giải thích là không thể.

• Bạn sẽ cần phải tinh chỉnh lại dữ liệu mới theo định kỳ khi kho dữ liệu của bạn phát triển.

• Ảo giác là một mối quan tâm.

  
  

Thuận lợi

• LLM có kiến thức từ kho dữ liệu tùy chỉnh của bạn thông qua tinh chỉnh.

• Thời điểm định giá tốt hơn so với RAG.

  
  

Mặc dù tinh chỉnh là một cách hay để dạy LLM về ngôn ngữ doanh nghiệp của bạn, nhưng nó sẽ làm loãng dữ liệu vì hầu hết các LLM đều chứa hàng tỷ tham số và dữ liệu của bạn sẽ được trải rộng trên tất cả các tham số này.

Hãy xem xét kỹ thuật kết hợp dữ liệu tùy chỉnh và dữ liệu tham số của bạn tại thời điểm suy luận.

Truy xuất thế hệ tăng cường (RAG)

Tạo tăng cường truy xuất (RAG) là một kỹ thuật bắt đầu bằng việc đặt câu hỏi - kết hợp nó với dữ liệu bổ sung, sau đó chuyển câu hỏi và dữ liệu đến LLM và cơ sở dữ liệu vectơ để tạo nội dung. Với RAG, không cần đào tạo vì chúng tôi hướng dẫn LLM bằng cách gửi cho họ các đoạn văn bản có liên quan từ kho tài liệu chất lượng của chúng tôi.

Nó hoạt động như thế này bằng cách sử dụng tác vụ trả lời câu hỏi: Người dùng đặt câu hỏi trong giao diện người dùng ứng dụng của bạn. Ứng dụng của bạn sẽ xử lý câu hỏi - cụ thể là các từ trong đó - và sử dụng cơ sở dữ liệu vectơ, tìm kiếm kho tài liệu chất lượng của bạn để tìm các đoạn văn bản có liên quan đến ngữ cảnh. Những đoạn mã này, cùng với câu hỏi ban đầu, sẽ được gửi tới LLM. Toàn bộ gói này - câu hỏi cộng với đoạn trích (ngữ cảnh) được gọi là lời nhắc. LLM sẽ sử dụng thông tin này để tạo ra câu trả lời của bạn. Điều này có vẻ như là một việc làm ngớ ngẩn - nếu bạn đã biết câu trả lời (đoạn trích), tại sao phải bận tâm đến LLM? Chà - hãy nhớ - điều này đang diễn ra trong thời gian thực và mục tiêu là văn bản được tạo ra - thứ gì đó bạn có thể sao chép và dán vào nghiên cứu của mình. Bạn cần LLM để tạo văn bản kết hợp thông tin từ kho văn bản tùy chỉnh của bạn.

Việc này phức tạp hơn việc tinh chỉnh. Bạn có thể đã nghe nói về cơ sở dữ liệu vectơ - chúng là thành phần quan trọng khi tìm kiếm ngữ cảnh phù hợp nhất cho một câu hỏi. Việc thiết lập cơ sở dữ liệu vectơ có thể khó khăn. Nếu cần một giải pháp tạm thời đơn giản, bạn có thể sử dụng công cụ tìm kiếm văn bản như Elastic Search. Tuy nhiên, cơ sở dữ liệu vectơ tốt hơn vì chúng có thể tìm hiểu ý nghĩa ngữ nghĩa của các từ và đưa vào ngữ cảnh sử dụng các từ khác nhau có cùng nghĩa hoặc nghĩa tương tự.

Nhược điểm

• Yêu cầu cơ sở dữ liệu vector.

• Thời gian định giá lâu hơn so với tinh chỉnh. (Do cơ sở dữ liệu vectơ và quá trình xử lý trước cần thiết trước khi gửi yêu cầu đến LLM.)

  
  

Thuận lợi

• LLM có kiến thức trực tiếp từ kho dữ liệu tùy chỉnh của bạn.
• Khả năng giải thích là có thể.
• Không cần tinh chỉnh.
• Ảo giác giảm đi đáng kể và có thể được kiểm soát bằng cách kiểm tra kết quả từ các truy vấn cơ sở dữ liệu vectơ.

Bản tóm tắt

Việc triển khai thành công AI tạo sinh nằm trong tầm tay của bất kỳ doanh nghiệp nào sẵn sàng lập kế hoạch phù hợp.

Giống như tất cả mọi thứ về AI - AI sáng tạo bắt đầu bằng dữ liệu. Dữ liệu mà Mô hình ngôn ngữ lớn cần để hỗ trợ AI tổng hợp là kho dữ liệu tùy chỉnh xác định kiến thức duy nhất trong tường lửa của bạn. Đừng giới hạn bản thân trong các tài liệu dựa trên văn bản. Có thể sử dụng video đào tạo, cuộc họp được ghi lại và sự kiện được ghi lại ở cả định dạng âm thanh và video. Việc xây dựng một đường dẫn dữ liệu sẽ không dễ dàng, cần phải cẩn thận để duy trì tính bảo mật và cấp phép đồng thời đảm bảo chất lượng.

Các mô hình nguồn mở loại bỏ sự phức tạp trong việc thiết kế các mô hình và vì hầu hết đều được đào tạo trước nên chúng cũng loại bỏ chi phí đào tạo ban đầu cao. Các tổ chức nên thử nghiệm tinh chỉnh để xem liệu nó có cải thiện chất lượng của nội dung được tạo hay không.

Cuối cùng, tạo tăng cường truy xuất (RAG) là một kỹ thuật mạnh mẽ có thể được sử dụng để kết hợp kiến thức trong kho tài liệu tùy chỉnh của tổ chức của bạn với kiến thức tham số của LLM. Không giống như tinh chỉnh, thông tin từ kho dữ liệu của bạn không được huấn luyện thành các tham số tham số của mô hình. Thay vào đó, các đoạn mã có liên quan được đặt tại thời điểm suy luận và được chuyển đến mô hình dưới dạng ngữ cảnh.

Bước tiếp theo

AI sáng tạo là một công nghệ mới và các công nghệ mới đòi hỏi phải cập nhật cơ sở hạ tầng. Đối với các tổ chức nghiêm túc về AI tổng hợp, bước tiếp theo là tạo kiến trúc hệ thống bao gồm Đường ống AI/ML, Đường ống dữ liệu, Hồ dữ liệu hiện đại và cơ sở dữ liệu Vector (nếu RAG sẽ được sử dụng). Trong bài đăng này, tôi đã đề cập đến những công nghệ này ở mức độ cao.

Hãy theo dõi blog này để được giải thích chi tiết hơn về Kiến trúc hệ thống AI sáng tạo. Nếu bạn có bất kỳ câu hỏi nào, hãy ping chúng tôi theo địa chỉ [email protected] hoặc tham gia cộng đồng Slack .