Đã có rất nhiều tin đồn về OpenAI GPT-3, hiện có mạng nơ-ron lớn nhất. Nó có nghĩa là vấn đề AI đã được giải quyết? Có, nó có một tập dữ liệu lớn, nhưng chúng ta vẫn không biết nó học như thế nào. Kiến thức cơ bản về OpenAI OpenAI Inc là một chi nhánh phi lợi nhuận của Open.AI LP với mục tiêu là tạo ra một 'AI thân thiện' có lợi cho nhân loại. Open.AI có một số dịch vụ khác nhau: - một hệ thống AI có thể tạo ra hình ảnh và nghệ thuật thực tế từ mô tả bằng ngôn ngữ tự nhiên DALL • E 2 - Generative Pre-training Transformer là một mô hình ngôn ngữ thúc đẩy học sâu để tạo ra văn bản giống con người GPT-3 - một mô hình được cập nhật tạo ra ít ngôn ngữ xúc phạm hơn và ít sai sót hơn về tổng thể nhưng cũng có thể tạo ra thông tin sai lệch Hướng dẫnGPT - Đào tạo trước về ngôn ngữ-hình ảnh xung đột. Nó nhận ra các khái niệm trực quan trong hình ảnh và liên kết chúng với tên của chúng. CLIP Người mẫu được đào tạo như thế nào? OpenAI GPT-3 được đào tạo trên 500 tỷ từ bằng cách sử dụng các bộ dữ liệu sau: Tập dữ liệu chứa dữ liệu được thu thập từ hơn 8 năm thu thập dữ liệu web Thu thập thông tin chung là văn bản của các trang web từ tất cả các liên kết Reddit gửi đi của các bài đăng có hơn 3 lượt tán thành WebText2 là hai kho tài liệu sách dựa trên internet Sách 1 & Sách 2 Các trang bằng tiếng Anh Wikipedia Phân tích tập dữ liệu và phân phối đào tạo Dataset Mã thông báo Trọng lượng trong đào tạo Thu thập thông tin chung 410 tỷ 60% WebText2 19 tỷ 22% Sách1 12 tỷ số 8% Sách2 55 tỷ số 8% Wikipedia 3 tỷ 3% Mô hình đào tạo có thể được thực hiện bằng các phương pháp sau: Đây là nơi chúng tôi đưa ra từ 10-100 ngữ cảnh cho một mô hình và mong đợi mô hình xác định điều gì xảy ra tiếp theo. Cảnh quay ít (FS). Điều này khá giống với FS. Tuy nhiên, một ví dụ được đưa ra mà không có bất kỳ đào tạo nào. Bối cảnh được đưa cho mô hình để xác định từ nào xuất hiện tiếp theo. Một lần chụp (1S). Zero-Shot (0S) Mô hình dự đoán câu trả lời được đưa ra. Ý tưởng là trong quá trình đào tạo, mô hình có đã xem đủ mẫu để xác định từ nào xuất hiện tiếp theo. Chỉ cho phép ngữ cảnh cuối cùng, làm cho việc cài đặt này trở nên khó khăn. Sự thiên vị là không thể tránh khỏi Đào tạo mô hình bao gồm việc lấy các phần lớn văn bản cho GPT-3 và hình ảnh cho DALL • E từ internet. Đây là nơi mà vấn đề xảy ra. Mô hình gặp phải điều tốt nhất và xấu nhất. Để giải quyết vấn đề này, OpenAI đã tạo ra GuiductGPT, Trong khi đào tạo GuiductGPT, Open.ai đã thuê 40 người để đánh giá các câu trả lời và sẽ thưởng cho mô hình tương ứng. DALL • E 2 Open.ai nêu ra những mà họ hiện đang gặp phải: Rủi ro và Hạn chế “Việc sử dụng DALL · E 2 có khả năng gây hại cho các cá nhân và nhóm bằng cách củng cố các định kiến, xóa bỏ hoặc bôi nhọ họ, cung cấp cho họ hiệu suất chất lượng thấp hoặc bằng cách khiến họ phải chịu sự phẫn nộ. '' Đây là những gì DALL • E 2 tin rằng một 'Giám đốc điều hành' trông như thế này: Đây là những gì DALL • E 2 tin rằng một 'tiếp viên hàng không' trông như thế này: Để giảm sự thiên vị, OpenAI đã tuyển dụng các chuyên gia bên ngoài để cung cấp phản hồi. GPT-3 Thiên vị giới tính Để kiểm tra sự thiên vị, tôi đã mượn danh sách các từ . Bạn có thể sử dụng OpenAI để tự mình kiểm tra. Các kết quả được chứng minh là khá lời nhắc về khuynh hướng Giới tính Jenny Nicholson sân chơi thú vị. Cụm từ: nhân viên nữ / nam phụ nữ / đàn ông trong c-suite bất kỳ phụ nữ / đàn ông nào biết phụ nữ / nam giới tham gia lực lượng lao động nên biết Thành kiến tôn giáo Giới và Chủng tộc là những thành kiến đã được nghiên cứu trong quá khứ. Tuy nhiên, một gần đây tiết lộ rằng GPT-3 cũng có thành kiến về tôn giáo. Những điều sau đây đã được tìm thấy: bài báo Người Hồi giáo được ánh xạ thành "khủng bố" trong 23% trường hợp thử nghiệm Người Do Thái được ánh xạ thành "tiền" trong 5% trường hợp thử nghiệm KẸP Thành kiến về chủng tộc, giới tính và tuổi tác CLIP thực hiện tốt các nhiệm vụ phân loại, như bạn đã thấy trong bài viết này. Nó sử dụng làm tập dữ liệu để đào tạo mô hình. Điều này là do những hình ảnh nó được lấy từ internet. Tuy nhiên, mô hình bị phá vỡ khi nó phân loại độ tuổi, giới tính, chủng tộc, cân nặng, v.v. Điều này có nghĩa là các công cụ AI được sử dụng để tạo ra nghệ thuật mới có thể tiếp tục duy trì các định kiến lặp lại. ImageNet OpenAI có thể được sử dụng để cải thiện việc tạo nội dung. Nhưng miễn là các bộ dữ liệu đang được đào tạo bằng cách loại bỏ mạng internet hiện có, chúng tôi sẽ xây dựng thành kiến về tuổi tác, giới tính, chủng tộc và hơn thế nữa đối với công nghệ. Chúng ta phải đề phòng khi sử dụng internet. Thông tin đi vào AI phải được lọc, nếu không những định kiến có hại sẽ không bao giờ bị xóa bỏ.
