paint-brush
The Times kiện Microsoft/OpenAI: Các mô hình thể hiện một hành vi được gọi là “Ghi nhớ”. (9)by@legalpdf

The Times kiện Microsoft/OpenAI: Các mô hình thể hiện một hành vi được gọi là “Ghi nhớ”. (9)

Legal PDF3m2024/01/02
Read on Terminal Reader

LLM hoạt động bằng cách dự đoán các từ có khả năng theo sau một chuỗi văn bản nhất định dựa trên hàng tỷ ví dụ có thể được sử dụng để huấn luyện nó.
featured image - The Times kiện Microsoft/OpenAI: Các mô hình thể hiện một hành vi được gọi là “Ghi nhớ”. (9)
Legal PDF HackerNoon profile picture

Vụ kiện Công ty New York Times kiện Microsoft Corporation ra tòa ngày 27 tháng 12 năm 2023 là một phần trong Chuỗi PDF pháp lý của HackerNoon . Bạn có thể chuyển tới bất kỳ phần nào trong hồ sơ này tại đây . Đây là phần 9 của 27.

IV. TUYỆT VỜI THỰC TẾ

B. Sản phẩm GenAI của Bị đơn

2. Mô hình GenAI hoạt động như thế nào


75. Trọng tâm của các sản phẩm GenAI của Bị cáo là một chương trình máy tính được gọi là “mô hình ngôn ngữ lớn” hay “LLM”. Các phiên bản khác nhau của GPT là ví dụ về LLM. LLM hoạt động bằng cách dự đoán các từ có khả năng theo sau một chuỗi văn bản nhất định dựa trên hàng tỷ ví dụ có thể được sử dụng để huấn luyện nó.


76. Việc thêm đầu ra của LLM vào đầu vào của nó và đưa nó trở lại mô hình sẽ tạo ra các câu và đoạn văn từng chữ. Đây là cách ChatGPT và Bing Chat tạo phản hồi cho các truy vấn của người dùng hoặc “lời nhắc”.


77. LLM mã hóa thông tin từ kho dữ liệu đào tạo mà họ sử dụng để đưa ra những dự đoán này dưới dạng các con số được gọi là “tham số”. Có khoảng 1,76 nghìn tỷ tham số trong GPT-4 LLM.


78. Quá trình thiết lập các giá trị cho các tham số của LLM được gọi là “huấn luyện”. Nó liên quan đến việc lưu trữ các bản sao được mã hóa của công việc đào tạo trong bộ nhớ máy tính, liên tục chuyển chúng qua mô hình với các từ bị ẩn và điều chỉnh các tham số để giảm thiểu sự khác biệt giữa các từ bị ẩn và các từ mà mô hình dự đoán sẽ điền chúng vào.


79. Sau khi được đào tạo trên một kho ngữ liệu chung, các mô hình có thể được "tinh chỉnh" thêm bằng cách, ví dụ, thực hiện các vòng đào tạo bổ sung bằng cách sử dụng các loại tác phẩm cụ thể để bắt chước nội dung hoặc phong cách của chúng tốt hơn hoặc cung cấp cho chúng phản hồi của con người để củng cố mong muốn hoặc ngăn chặn những hành vi không mong muốn.


80. Những người mẫu được đào tạo theo cách này được biết là có biểu hiện một hành vi gọi là “ghi nhớ”.[10] Nghĩa là, nếu được gợi ý phù hợp, họ sẽ lặp lại phần lớn tài liệu mà họ đã được đào tạo. Hiện tượng này cho thấy các tham số LLM mã hóa các bản sao có thể truy xuất được của nhiều tác phẩm đào tạo đó.


81. Sau khi được đào tạo, LLM có thể được cung cấp thông tin cụ thể cho trường hợp sử dụng hoặc vấn đề chủ đề để “làm cơ sở” cho kết quả đầu ra của họ. Ví dụ: LLM có thể được yêu cầu tạo đầu ra văn bản dựa trên dữ liệu bên ngoài cụ thể, chẳng hạn như tài liệu, được cung cấp dưới dạng ngữ cảnh. Sử dụng phương pháp này, ứng dụng tìm kiếm tổng hợp của Bị cáo: (1) nhận được thông tin đầu vào, chẳng hạn như một câu hỏi; (2) truy xuất các tài liệu liên quan liên quan đến đầu vào trước khi tạo phản hồi; (3) kết hợp đầu vào ban đầu với tài liệu được truy xuất để cung cấp ngữ cảnh; và (4) cung cấp dữ liệu kết hợp cho LLM, tạo ra phản hồi bằng ngôn ngữ tự nhiên.[11] Như được hiển thị bên dưới, các kết quả tìm kiếm được tạo theo cách này có thể sao chép rộng rãi hoặc diễn giải chặt chẽ các tác phẩm mà bản thân các mô hình có thể không ghi nhớ.


Tiếp tục đọc ở đây .


[11] Ben Ufuk Tezcan, Cách chúng ta tương tác với thông tin: Kỷ nguyên mới của tìm kiếm, MICROSOFT (19 tháng 9 năm 2023), https://azure.microsoft.com/en-us/blog/how-we-interact- with-information-the-new-era-of-search/.



Giới thiệu về Chuỗi PDF pháp lý của HackerNoon: Chúng tôi mang đến cho bạn hồ sơ vụ kiện tòa án phạm vi công cộng chuyên sâu và mang tính kỹ thuật quan trọng nhất.


Vụ án 1:23-cv-11195 này được truy xuất vào ngày 29 tháng 12 năm 2023, từ nycto-assets.nytimes.com là một phần của phạm vi công cộng. Các tài liệu do tòa án tạo ra là tác phẩm của chính phủ liên bang và theo luật bản quyền, sẽ tự động được đưa vào phạm vi công cộng và có thể được chia sẻ mà không bị hạn chế về mặt pháp lý.