The Times kiện Microsoft/OpenAI: Các mô hình thể hiện một hành vi được gọi là “Ghi nhớ”. (9)

IV. TUYỆT VỜI THỰC TẾ

B. Sản phẩm GenAI của Bị đơn

2. Mô hình GenAI hoạt động như thế nào

75. Trọng tâm của các sản phẩm GenAI của Bị cáo là một chương trình máy tính được gọi là “mô hình ngôn ngữ lớn” hay “LLM”. Các phiên bản khác nhau của GPT là ví dụ về LLM. LLM hoạt động bằng cách dự đoán các từ có khả năng theo sau một chuỗi văn bản nhất định dựa trên hàng tỷ ví dụ có thể được sử dụng để huấn luyện nó.

76. Việc thêm đầu ra của LLM vào đầu vào của nó và đưa nó trở lại mô hình sẽ tạo ra các câu và đoạn văn từng chữ. Đây là cách ChatGPT và Bing Chat tạo phản hồi cho các truy vấn của người dùng hoặc “lời nhắc”.

77. LLM mã hóa thông tin từ kho dữ liệu đào tạo mà họ sử dụng để đưa ra những dự đoán này dưới dạng các con số được gọi là “tham số”. Có khoảng 1,76 nghìn tỷ tham số trong GPT-4 LLM.

78. Quá trình thiết lập các giá trị cho các tham số của LLM được gọi là “huấn luyện”. Nó liên quan đến việc lưu trữ các bản sao được mã hóa của công việc đào tạo trong bộ nhớ máy tính, liên tục chuyển chúng qua mô hình với các từ bị ẩn và điều chỉnh các tham số để giảm thiểu sự khác biệt giữa các từ bị ẩn và các từ mà mô hình dự đoán sẽ điền chúng vào.

79. Sau khi được đào tạo trên một kho ngữ liệu chung, các mô hình có thể được "tinh chỉnh" thêm bằng cách, ví dụ, thực hiện các vòng đào tạo bổ sung bằng cách sử dụng các loại tác phẩm cụ thể để bắt chước nội dung hoặc phong cách của chúng tốt hơn hoặc cung cấp cho chúng phản hồi của con người để củng cố mong muốn hoặc ngăn chặn những hành vi không mong muốn.

80. Những người mẫu được đào tạo theo cách này được biết là có biểu hiện một hành vi gọi là “ghi nhớ”.[10] Nghĩa là, nếu được gợi ý phù hợp, họ sẽ lặp lại phần lớn tài liệu mà họ đã được đào tạo. Hiện tượng này cho thấy các tham số LLM mã hóa các bản sao có thể truy xuất được của nhiều tác phẩm đào tạo đó.

81. Sau khi được đào tạo, LLM có thể được cung cấp thông tin cụ thể cho trường hợp sử dụng hoặc vấn đề chủ đề để “làm cơ sở” cho kết quả đầu ra của họ. Ví dụ: LLM có thể được yêu cầu tạo đầu ra văn bản dựa trên dữ liệu bên ngoài cụ thể, chẳng hạn như tài liệu, được cung cấp dưới dạng ngữ cảnh. Sử dụng phương pháp này, ứng dụng tìm kiếm tổng hợp của Bị cáo: (1) nhận được thông tin đầu vào, chẳng hạn như một câu hỏi; (2) truy xuất các tài liệu liên quan liên quan đến đầu vào trước khi tạo phản hồi; (3) kết hợp đầu vào ban đầu với tài liệu được truy xuất để cung cấp ngữ cảnh; và (4) cung cấp dữ liệu kết hợp cho LLM, tạo ra phản hồi bằng ngôn ngữ tự nhiên.[11] Như được hiển thị bên dưới, các kết quả tìm kiếm được tạo theo cách này có thể sao chép rộng rãi hoặc diễn giải chặt chẽ các tác phẩm mà bản thân các mô hình có thể không ghi nhớ.

[11] Ben Ufuk Tezcan, Cách chúng ta tương tác với thông tin: Kỷ nguyên mới của tìm kiếm, MICROSOFT (19 tháng 9 năm 2023), https://azure.microsoft.com/en-us/blog/how-we-interact- with-information-the-new-era-of-search/.