Khám phá bí mật về công nghệ và đào tạo đằng sau ChatGPT

ChatGPT đã trở nên phổ biến rộng rãi nhờ các kỹ năng đàm thoại đáng chú ý của nó. Nó sở hữu nhiều khả năng, bao gồm khả năng chơi trò chơi, sáng tác thơ và kịch bản, hỗ trợ gỡ lỗi chương trình, tạo thiết kế trang web và thậm chí tạo lời nhắc AIGC. Người ta có thể tìm thấy một số ví dụ về khả năng của nó trên Twitter, do Ben Tossell biên soạn.

Trên thực tế, ChatGPT gần đây đã được một giáo sư MBA yêu cầu trả lời các câu hỏi quản lý của họ, dẫn đến kết luận rằng họ không nên giao bài tập về nhà nữa. Rõ ràng là nhiều người cảm thấy khó khăn khi ngừng sử dụng ChatGPT sau khi họ bắt đầu.

Các cách để cải thiện Chatgpt

So với người tiền nhiệm của nó, GPT-3, điểm cải tiến chính của ChatGPT là khả năng giữ lại dữ liệu cuộc trò chuyện trước đó, mang đến cho người dùng trải nghiệm liền mạch trong các cuộc đối thoại mở rộng.

ChatGPT có khả năng thừa nhận và sửa chữa những sai lầm của mình. Nếu bạn thấy câu trả lời của nó không thỏa đáng, bạn có thể nhắc nó sửa lại câu trả lời và đưa ra giải pháp tốt hơn.

ChatGPT có khả năng đặt câu hỏi và thách thức các giả định sai lầm. Trong những ngày đầu phát hành GPT-3, nhiều người dùng đã có trải nghiệm tiêu cực do AI tạo ra nội dung sai nghe có vẻ hợp lý nhưng không có cơ sở thực tế. Tuy nhiên, nếu bạn hỏi ChatGPT một câu hỏi như "Columbus đã làm gì ở Mỹ vào năm 2015?" nó sẽ nhận ra rằng Columbus không tồn tại trong thời gian đó.

Ngoài ra, ChatGPT được đào tạo tập trung vào các nguyên tắc đạo đức, cho phép ChatGPT từ chối các yêu cầu hoặc câu hỏi vi phạm nguyên tắc đạo đức định trước. Tuy nhiên, bất chấp sự thận trọng của OpenAI, việc đặt câu hỏi thông minh vẫn có thể cho phép lách các nguyên tắc này.

Phương pháp đào tạo của ChatGPT

Phương pháp đào tạo mà ChatGPT sử dụng tuân theo cách tiếp cận thông thường là "tinh chỉnh trước khi đào tạo" được sử dụng cho các mô hình quy mô lớn. Đầu tiên, mô hình được đào tạo trên tập dữ liệu công khai mở rộng, sau đó được điều chỉnh cho phù hợp với miền ứng dụng cụ thể (chẳng hạn như cuộc trò chuyện giống con người) bằng cách tinh chỉnh với tập dữ liệu nhỏ hơn để đạt được hiệu suất mong muốn. Tinh chỉnh, lời nhắc và các kỹ thuật khác không sửa đổi đáng kể cốt lõi của mô hình, nhưng chúng có thể nâng cao đáng kể hiệu suất thực tế của mô hình. Tuy nhiên, khả năng hiểu các truy vấn của con người của GPT-3 không phải là tự nhiên nhất và nhiệm vụ cần được cơ cấu lại hoặc mô hình được tinh chỉnh để phù hợp với công việc, dẫn đến hiệu quả được cải thiện.

ChatGPT là một mô hình anh em của InstructGPT, được phát hành vào tháng 1 năm 2022. InstructGPT kết hợp các minh họa của con người về đầu ra của mô hình và sắp xếp kết quả để đào tạo, khiến nó phù hợp hơn để làm theo hướng dẫn của con người so với GPT-3. Phương pháp đào tạo đổi mới của ChatGPT được gọi là "Học tăng cường từ phản hồi của con người" (RLHF).

ChatGPT xây dựng trên mô hình GPT-3.5, tận dụng bộ dữ liệu văn bản và mã để đào tạo và sử dụng máy chủ Azure AI của Microsoft cho mục đích này. Tập dữ liệu đào tạo GPT-3 ban đầu chỉ chứa văn bản, vì vậy phiên bản mới hơn này có thêm khả năng hiểu và tạo mã.

Tại sao ChatGPT lại cho thấy sự cải thiện đáng kể như vậy?

Ngoài việc sở hữu trí nhớ và khả năng tham gia đối thoại liên tục theo ngữ cảnh, phương pháp đào tạo được sử dụng cho ChatGPT cũng rất đáng chú ý. Phương pháp RLHF, lần đầu tiên được giới thiệu trong một bài báo nghiên cứu vào tháng 3 năm 2022, đã không được sử dụng trong quá trình đào tạo InstructGPT, bất chấp suy đoán của ngành.

InstructGPT đã sử dụng mô hình văn bản-DaVinci-002, mô hình này đã gặp phải các sự cố như sụp đổ chế độ, trong đó mô hình này hội tụ thành cùng một câu trả lời bất kể câu hỏi được hỏi là gì. ChatGPT đã đạt được những kết quả đáng kể với việc áp dụng thành công phương pháp RLHF. Tuy nhiên, RLHF không dễ đào tạo vì nó thường gặp phải các sự cố như phản hồi thưa thớt và sập chế độ.

Bài báo đã được xuất bản vào tháng 3, nhưng phải đến tháng 12 ChatGPT mới ra mắt vì cần phải tinh chỉnh đáng kể. Ngoài ra, điều chỉnh hướng dẫn đã đóng góp đáng kể vào sự phát triển của ChatGPT. InstructGPT có ít tham số hơn GPT-3, nhưng đầu ra của nó vượt trội hơn cả GPT-3 và các mô hình được tinh chỉnh bằng cách sử dụng phương pháp học có giám sát. Điều chỉnh hướng dẫn và phương pháp nhắc có chung một cốt lõi là khám phá kiến thức vốn có của mô hình ngôn ngữ. Tuy nhiên, chúng khác nhau ở chỗ lời nhắc kích thích khả năng hoàn thành của mô hình ngôn ngữ, trong khi điều chỉnh hướng dẫn kích thích khả năng hiểu của mô hình ngôn ngữ bằng cách cung cấp các hướng dẫn rõ ràng.

Các mô hình lớn hơn trước đây tập trung vào bản thân các mô hình và kỹ thuật nhanh chóng, trong khi trọng tâm lặp đi lặp lại của ChatGPT là vào vòng khép kín ở bên phải, như được minh họa trong hình bên dưới.

Cuối cùng, ChatGPT đạt được sự cân bằng tốt giữa việc cung cấp câu trả lời hiệu quả và tránh thông tin sai lệch. Điều này trái ngược với mô hình Galactica của Meta đã bị gỡ xuống chỉ ba ngày sau khi ra mắt do cung cấp quá nhiều thông tin sai lệch.

Một phần lý do cho điều này là do hoạt động tiếp thị quá cường điệu của Meta, điều này đã làm tăng kỳ vọng quá cao và cuối cùng dẫn đến sự thất vọng từ các nhà nghiên cứu kén chọn. Tuy nhiên, ChatGPT đã thực hiện công việc tinh chỉnh kỹ lưỡng và kỹ thuật nhanh chóng, giúp xác định các câu hỏi tự mâu thuẫn và giúp người dùng tin tưởng hơn vào độ chính xác của câu trả lời, mặc dù không thể loại bỏ hoàn toàn vấn đề thông tin sai lệch.

Chiến lược kinh doanh là quan trọng

Không giống như GPT-3 tính phí người dùng dựa trên mức sử dụng của họ, ChatGPT hiện được cung cấp miễn phí cho công chúng và có quyền truy cập không giới hạn. Điều này cho phép người dùng thử nghiệm tất cả các loại ý tưởng kỳ lạ trên nền tảng. Người dùng cũng được khuyến khích cung cấp phản hồi, điều này rất có giá trị đối với OpenAI. Mặc dù OpenAI không vội tạo doanh thu, cũng như không thiếu vốn, nhưng có tin đồn cho rằng mức định giá mới nhất của nó đã lên tới vài chục tỷ đô la, với Microsoft là nhà đầu tư chính.

Trong sự phát triển của AI, tầm quan trọng của kỹ thuật thực sự lớn hơn tầm quan trọng của khoa học và việc tạo ra một vòng phản hồi lặp đi lặp lại là rất quan trọng. OpenAI rất chú trọng đến các ứng dụng thương mại và GPT-3 đã có một lượng lớn khách hàng. Sự tương tác và phản hồi của những khách hàng này với OpenAI cũng là động lực chính cho sự tiến bộ.

Ngược lại, cách tiếp cận đóng cửa của Google dường như đã lỗi thời. Có lẽ điều này là do thiếu văn hóa thương mại hoặc do những hạn chế trong tỷ lệ đầu vào-đầu ra. Google luôn bị "kiềm chế" trong việc áp dụng các mô hình lớn, ngay cả khi xuất phát điểm cao. Nếu nó tiếp tục lặp đi lặp lại ở quy mô nhỏ, giống như cách tiếp cận của Waymo đối với lái xe tự trị, thì cuối cùng nó sẽ bị vượt qua bởi các công ty cởi mở và giàu dữ liệu hơn.

Những cải tiến trong tương lai:

RLHF là một phương pháp tương đối mới và khi OpenAI tiếp tục khám phá và kết hợp phản hồi của người dùng được thu thập từ ChatGPT, vẫn còn chỗ để cải thiện hơn nữa trong mô hình. Cụ thể, cần giải quyết các vấn đề về đạo đức/liên kết và ngăn chặn thông tin tiêu cực được tạo ra bằng cách vượt qua các giới hạn của hệ thống, như được người dùng phát hiện trong vài ngày qua.

Ngoài ra, đáng chú ý là OpenAI cũng có các công cụ như WebGPT, có thể hiểu là trình thu thập dữ liệu web nâng cao trích xuất thông tin từ internet để trả lời các câu hỏi và cung cấp các nguồn tương ứng. WebGPT có thể sử dụng khả năng hiểu ngữ nghĩa của chính GPT-3 và thông tin công khai từ internet để tạo câu trả lời và là một khả năng tìm kiếm được nâng cấp đầy hứa hẹn.

Trong một cuộc phỏng vấn với các nhà khoa học OpenAI do MIT Technology Review thực hiện, khả năng hợp nhất các khả năng của ChatGPT và WebGPT trong tương lai đã được thảo luận. Một số người dùng internet đã tìm thấy các gợi ý trong ChatGPT cho thấy tính năng duyệt các trang web hiện đang bị tắt nhưng tính năng này có thể được thêm vào trong tương lai. Việc kết hợp ChatGPT và WebGPT có thể mang lại kết quả hấp dẫn hơn, vì thông tin sẽ được cập nhật theo thời gian thực và tạo điều kiện đánh giá chính xác hơn về tính xác thực của sự kiện.

Khi nói đến việc kết hợp với WebGPT, nó liên quan đến phía bên trái của lưu đồ đào tạo LLM theo định hướng hành động, liên kết các nguồn thông tin bên ngoài và thư viện công cụ. Tìm kiếm trên web chỉ là một khả năng; ChatGPT cũng có thể được kết hợp với nhiều công cụ khác nhau, chẳng hạn như phần mềm văn phòng và phần mềm SaaS khác nhau, để cung cấp các chức năng đa dạng hơn.

Ở cấp độ sản phẩm, đáng để thảo luận về các giao diện và phương pháp triển khai tốt hơn. Định dạng hộp thoại cạnh nhau có thể nâng cao kỳ vọng vì nó cần đảm bảo sự trôi chảy trong hội thoại. Github Copilot làm tốt điều này. Copilot chuyên lập trình theo cặp và đưa ra gợi ý dưới dạng đối tác. Người dùng có thể chấp nhận các đề xuất tốt và từ chối những đề xuất xấu. Ngay cả khi nhiều gợi ý bị từ chối, niềm vui khi nhận được một gợi ý hiệu quả được tạo ra trong khoảng thời gian ngẫu nhiên có thể gây nghiện. Nếu ChatGPT trở thành một công cụ viết lách, viết kịch bản hay trợ lý công việc trong tương lai, thì một dạng sản phẩm tương tự như Copilot sẽ dễ dàng được mọi người chấp nhận.

Tóm lại, nhiều người ngạc nhiên trước khả năng của ChatGPT, nhưng điều kỳ diệu thực sự vẫn chưa đến. Sức mạnh của OpenAI không chỉ nằm ở việc hiểu các mô hình lớn mà còn ở khả năng thiết kế và nhận phản hồi lặp đi lặp lại, cũng như công việc liên kết giữa AI và các mục tiêu của con người. Lời của Giám đốc điều hành OpenAI Sam Altman, "Hãy tin vào hàm số mũ. Nhìn thẳng về phía sau, thẳng đứng nhìn về phía trước," thể hiện trạng thái cất cánh hiện tại của chúng tôi.

Giới thiệu Đám mây ILLA

ILLA Cloud là một nền tảng phát triển mã thấp với hàng chục thành phần giao diện người dùng và tích hợp API cơ sở dữ liệu. Bạn có thể sử dụng ILLA Cloud để xây dựng giao diện mặt trước bằng cách kéo và thả các thành phần và kết nối với cơ sở dữ liệu hoặc API của bạn để hoàn thành quá trình phát triển toàn bộ ngăn xếp một cách nhanh chóng.

ILLA tự hào tuyên bố hợp tác với Hugging Face, một bộ công cụ và dịch vụ xử lý ngôn ngữ tự nhiên (NLP). Họ nổi tiếng nhất với thư viện NLP nguồn mở, cung cấp các công cụ tạo văn bản, dịch ngôn ngữ và nhận dạng thực thể được đặt tên. Với Ôm Mặt, ILLA hoạt động hiệu quả hơn trước. Người dùng của chúng tôi có thể làm được nhiều việc hơn với AI.

ILLA Cloud cung cấp hàng chục thành phần giao diện người dùng thường được sử dụng, cho phép bạn nhanh chóng xây dựng các giao diện giao diện người dùng khác nhau dựa trên nhu cầu cụ thể của mình. Đồng thời, ILLA cung cấp kết nối với Hugging Face, cho phép bạn nhanh chóng kết nối với API, gửi yêu cầu và nhận dữ liệu trả về. Bằng cách kết nối API và các thành phần giao diện người dùng, bạn có thể triển khai yêu cầu người dùng có thể nhập nội dung thông qua giao diện người dùng và gửi nội dung đó tới API. API trả về nội dung đã tạo sẽ được hiển thị ở giao diện người dùng.

Đối với kế hoạch tương lai của ILLA Cloud, vui lòng xem Lộ trình của chúng tôi: https://github.com/orgs/illacloud/projects/4

Chúng tôi rất vui mừng về tương lai của ILLA Cloud và chúng tôi hy vọng bạn cũng vậy. Nếu bạn muốn tham gia cùng chúng tôi trên hành trình này, đây là một số cách bạn có thể tham gia:

• Dùng thử ILLA Cloud miễn phí và bắt đầu xây dựng các công cụ nội bộ của riêng bạn.
• Theo dõi chúng tôi tại Twitter , LinkedIn , YouTube , dev.to , săn sản phẩm , bất hòa , hoặc GitHub .
• Chia sẻ phản hồi, đề xuất, câu hỏi hoặc lời chứng thực của bạn với chúng tôi.

Tham gia Cộng đồng Discord của chúng tôi: discord.com/invite/illacloud Dùng thử ILLA Cloud miễn phí: cloud.illacloud.com Trang chủ ILLA: illacloud.com Trang GitHub: github.com/illacloud/illa-builder