100 Ngày AI, Ngày 11: Trở thành chuyên gia tinh chỉnh trong các ứng dụng Gen AI

Nếu bạn đang theo dõi không gian AI hoặc LLM tổng quát, bạn hẳn đã nghe nói về Finetuning. Trong bài đăng này, chúng ta hãy cố gắng hiểu tinh chỉnh là gì và vai trò của nó trong việc phát triển các ứng dụng gen AI.

Tinh chỉnh là gì?

Tinh chỉnh là một quá trình sửa đổi mô hình cơ sở cho mục đích chung để làm cho nó hoạt động cho trường hợp sử dụng chuyên biệt. Ví dụ lấy mô hình gpt-3 của Open AI. Gpt-3 là một mô hình cơ sở đã được tinh chỉnh cho mục đích trở thành một bot trò chuyện, dẫn đến cái mà ngày nay mọi người gọi là ứng dụng chat-gpt. Một ví dụ khác là sửa đổi mô hình GPT-4 thành một phi công phụ cho các lập trình viên, được thực hiện để tạo ra đồng thí điểm GitHub.

Tại sao chúng ta phải tinh chỉnh các mô hình cơ sở?

Tinh chỉnh cho phép chúng ta khắc phục hạn chế của các mô hình cơ sở. Các mô hình cơ bản như gpt-3 của Open AI hay Llama của Meta thường được đào tạo trên toàn bộ dữ liệu của internet. Nhưng họ không có ngữ cảnh của dữ liệu nội bộ trong tổ chức của bạn. Và việc cung cấp tất cả dữ liệu có liên quan đến tổ chức hoặc trường hợp sử dụng độc quyền của bạn thông qua lời nhắc là không thể. Tinh chỉnh cho phép chúng tôi đưa vào nhiều dữ liệu hơn mức kỹ thuật nhanh chóng cho phép chúng tôi. Tinh chỉnh cũng cho phép mô hình tạo ra kết quả đầu ra nhất quán, giảm ảo giác và tùy chỉnh mô hình cho một trường hợp sử dụng cụ thể.

Tinh chỉnh khác với kỹ thuật nhanh chóng như thế nào?

Chúng ta đã thấy kỹ thuật nhắc nhở mạnh mẽ như thế nào trong các bài viết trước . Vậy việc tinh chỉnh khác nhau như thế nào? Tinh chỉnh dành cho trường hợp sử dụng ứng dụng doanh nghiệp trong khi kỹ thuật nhanh chóng dành cho trường hợp sử dụng chung và không yêu cầu dữ liệu. Nó có thể được sử dụng với dữ liệu bổ sung với RAG như một kỹ thuật nhưng nó không thể được sử dụng với dữ liệu lớn tồn tại trong các trường hợp sử dụng của doanh nghiệp. Tinh chỉnh cho phép sử dụng dữ liệu không giới hạn, giúp mô hình tìm hiểu thông tin mới. Mô hình này cũng có thể được sử dụng cùng với RAG.

So sánh phản hồi được tinh chỉnh và không được tinh chỉnh

Hãy lấy một ví dụ có thể giúp bạn hiểu rõ hơn về sự khác biệt giữa các mô hình được tinh chỉnh và không được tinh chỉnh. Tôi đang sử dụng thư viện của Lamini để gọi cả mô hình Llama đã được tinh chỉnh và không được tinh chỉnh để thể hiện sự khác biệt. Bạn sẽ cần khóa api từ Lamini cho mục đích này. Lamini cung cấp một cách đơn giản và dễ dàng để tương tác với LLM nguồn mở. Kiểm tra nó ở đây nếu bạn muốn tìm hiểu thêm về nó.

Trong ví dụ này, tôi đã hỏi cả hai người mẫu cùng một câu hỏi “Bạn nghĩ gì về cái chết?” và đây là những câu trả lời

Phản hồi từ Mô hình Llama không được tinh chỉnh:

Phản hồi từ Mô hình Llama Finetuned:

Bạn sẽ nhận thấy rằng phản hồi đầu tiên chỉ lặp lại một dòng duy nhất, trong khi phản hồi thứ hai là phản hồi mạch lạc hơn nhiều. Trước khi nói về những gì đang xảy ra ở đây, hãy lấy một ví dụ khác khi tôi hỏi người mẫu “Tên của bạn là gì?”. Đây là những gì tôi có.

Phản hồi từ Mô hình Llama không được tinh chỉnh:

Phản hồi từ Mô hình Llama Finetuned:

Trong các phản hồi của mô hình không được tinh chỉnh, các phản hồi rất kỳ lạ vì mô hình chỉ làm một việc. Nó đang cố gắng dự đoán văn bản có thể xảy ra tiếp theo dựa trên văn bản đầu vào của bạn, nó cũng không nhận ra rằng bạn đã đặt câu hỏi cho nó. Các mô hình dựa trên dữ liệu trên Internet là những cỗ máy dự đoán văn bản và cố gắng dự đoán văn bản tốt nhất tiếp theo. Với việc tinh chỉnh, mô hình được đào tạo để đưa ra phản hồi dựa trên dữ liệu bổ sung và học hành vi mới hoạt động như một bot trò chuyện nhằm trả lời các câu hỏi. Cũng lưu ý rằng hầu hết các mô hình đóng như gpt-3 hoặc gpt-4 của Open AI, chúng tôi không biết chính xác chúng được đào tạo về dữ liệu gì. Nhưng có một số bộ dữ liệu mở thú vị có thể được sử dụng để huấn luyện các mô hình của bạn. Thêm về điều đó sau.

Vậy là xong Ngày thứ 11 trong 100 Ngày của AI.

Tôi viết một bản tin có tên Trên mức trung bình, nơi tôi nói về những hiểu biết sâu sắc thứ hai đằng sau mọi thứ đang diễn ra trong ngành công nghệ lớn. Nếu bạn làm trong lĩnh vực công nghệ và không muốn ở mức trung bình, hãy đăng ký theo dõi .

Theo dõi tôi trên Twitter , LinkedIn hoặc HackerNoon để biết thông tin cập nhật mới nhất về 100 ngày của AI. Nếu bạn làm trong lĩnh vực công nghệ, bạn có thể muốn tham gia cộng đồng các chuyên gia công nghệ của tôi tại đây .