Câu chuyện Gemini của Google: Chi tiết kỹ thuật về cách mô hình bị lỗi

Mô hình Generative AI có thể dẫn đến trục trặc như thế nào Các ý kiến và thảo luận ở đây hoàn toàn là của riêng tôi và không phản ánh quan điểm của Meta hoặc nhóm của tôi hay bất kỳ kiến thức nội bộ hoặc độc quyền nào. Tôi làm việc ở bộ phận Generative AI của Meta. Cụ thể là tôi làm việc trong lĩnh vực tạo văn bản → hình ảnh cho Meta. Các sản phẩm đầu tiên của chúng tôi đã tại đây và bạn có thể dùng thử . Khi tôi nhắc nó thành “Một gia đình người Đức vào năm 2024”, tôi nhận được hình ảnh được phóng to sau đây nhưng cũng có 3 hình ảnh khác ở phía dưới. được ra mắt tại đây Dưới đây là kết quả phóng đại 2 gợi ý khác: Như bạn có thể thấy, có sự đa dạng về sắc tộc ở đây đại diện cho các gia đình. Tuy nhiên, nó không làm như vậy bằng cách loại trừ những gì “truyền thống” của một gia đình Đức. Trong khi đó đây là một vài ví dụ nữa: Đây là một gợi ý khác để trình bày một số nhân vật lịch sử: Tất nhiên là có rất nhiều sai sót và mọi người trong nhóm của tôi bao gồm cả tôi đang nỗ lực cải thiện nó. Ví dụ, lời nhắc ở trên cho rằng “người da đỏ” có ý nghĩa hơi giống cả hai người đến từ Ấn Độ và “người da đỏ bản địa” ở Mỹ. Tuy nhiên, nếu bạn chú ý đến thất bại Gemini của Google vào tuần trước, thì kết quả từ mô hình này không giống như trên và có nhiều kết quả đầu ra đáng lo ngại hơn. Đây là một chủ đề mô tả một số trong những cạm bẫy đó. https://twitter.com/IMAO_/status/1760093853430710557?embedable=true Nếu bạn không thể truy cập toàn bộ chuỗi trên Twitter thì . đây là chuỗi không nén Còn rất nhiều hình ảnh khác gây xôn xao dư luận, nhưng những hình ảnh này cũng đủ để đưa ra những kết luận sau: Thế hệ hình ảnh Song Tử của Google đã gặp khó khăn trong việc tạo ra những người da trắng (da trắng), bao gồm cả những nhân vật lịch sử và công chúng như những người sáng lập nước Mỹ, người Viking, Giáo hoàng. Đối với các chủng tộc khác, điều đó không nhất thiết phải gặp khó khăn như được thể hiện qua ví dụ về chiến binh Zulu hoặc samurai. Những điều này sẽ gây ra rất nhiều phản ứng - từ trước việc "tập đoàn đánh thức" "xóa sổ" "người da trắng", một số ấn phẩm truyền thông khác đang cố gắng tập trung vào cách Song Tử "người da màu như Đức Quốc xã" hoặc một số bình luận về cách vấn đề đang bị thổi phồng quá mức hoặc "thành kiến tự do". Những phản ứng này thường đi theo đường lối chính trị và tôi không có ý định đi sâu vào chúng ở đây. sự phẫn nộ thể hiện bác bỏ Tuy nhiên, điều tôi có thể đóng góp tích cực là một số hiểu biết với tư cách là một kỹ sư làm việc trong không gian cụ thể này để giải thích cách hoạt động của đối với việc phát triển mô hình, đặc biệt là trong Generative AI, cùng với việc sử dụng điều đó để hiểu (suy đoán) cách các kết quả đầu ra như trên có thể trở nên chiếm ưu thế. Tôi không muốn sử dụng bất kỳ thuật ngữ kỹ thuật nào hoặc giải thích nội bộ của mạng lưới thần kinh - tôi cũng không nghĩ chúng có liên quan ở đây. Tôi muốn nhắc lại rằng không có thông tin độc quyền nào ở đây và tôi không có bất kỳ kiến thức nội bộ nào về vấn đề này hoặc hoạt động nội bộ của Google. chu trình phát triển Dữ liệu là vua Trước khi đi sâu vào một số giai đoạn, tôi muốn giải thích một bất biến rất quan trọng. . Điều đó không có nghĩa là các thành phần khác của mô hình (chẳng hạn như kiến trúc) không quan trọng hoặc thậm chí ít quan trọng hơn. Quả thực, đã có nghiên cứu xuất sắc trong vài năm qua trong lĩnh vực học máy đã thúc đẩy sự tăng trưởng theo cấp số nhân trong lĩnh vực này từ LLM, tạo hình ảnh, tạo video, v.v. Tuy nhiên, một hạn chế mà mọi mô hình bất kể tiến bộ đều phải đối mặt là nó có thể 'không đưa ra kết quả đầu ra mong muốn nếu nó không được đào tạo trên tập dữ liệu đại diện tốt. Một mô hình chỉ hoạt động tốt khi có dữ liệu được đào tạo trên đó Đối với những người không quen với các khái niệm trong học máy, một mô hình sẽ được cung cấp (hoặc “được đào tạo về”) nhiều ví dụ về một khái niệm nhất định (ví dụ như con chó) - cả tích cực (có chứa) và tiêu cực (không chứa) - với kỳ vọng đưa ra bất kỳ khái niệm nào. đầu vào ngẫu nhiên, mô hình phải có khả năng dự đoán với độ tin cậy cao liệu nó có chứa một thể hiện của khái niệm đó hay không. Rất nhiều sự tăng cường có thể được thực hiện cho các trường hợp sử dụng cụ thể (ví dụ: xác định tọa độ của con chó). Chu kỳ phát triển của mô hình AI ML tổng quát (hay còn gọi là huấn luyện trước): Việc xác định một con chó chỉ là một ví dụ. Vấn đề tổng quát ở đây sẽ là: cho bất kỳ văn bản nào, hãy tạo hình ảnh tương ứng. Để làm được như vậy, trước tiên một mô hình cần phải xác định (“tìm hiểu”) ý nghĩa của một số từ nhất định. Vì vậy, cần phải nhận biết một con voi, một người đàn ông, một người phụ nữ, một con chó, những ngọn núi, v.v. bằng cách xem xét nhiều ví dụ về từng tiêu chí (“khái niệm”). Tuy nhiên, để mô hình tạo ra hình ảnh đẹp cho từng tình huống, nó cần phải hiểu rất nhiều khái niệm, không chỉ bao gồm những khái niệm phổ biến nhất mà còn bao gồm một loạt các khái niệm ít được sử dụng hơn, ít quen thuộc hơn. Để làm được điều đó với độ tin cậy cao hợp lý, chúng ta cần huấn luyện mô hình với một lượng dữ liệu lớn (hàng triệu đến hàng tỷ). Giai đoạn này được gọi là đào tạo trước, trong đó một lượng lớn dữ liệu được nhập sẽ giúp mô hình tạo ra chất lượng đầu ra mong muốn đủ tốt. Huấn luyện quy mô lớn Một hệ quả tất yếu của việc học mô hình dựa trên dữ liệu được nhập là mô hình sẽ tìm hiểu các mẫu trong tập huấn luyện của bạn cùng với tất cả các thành kiến mà nó có. Vì vậy, nếu tập dữ liệu huấn luyện chó của bạn chỉ có hình ảnh của và corgis (nhân tiện, những con chó siêu ngọt ngào) thì tất cả những con chó mà bạn tạo ra sẽ trông giống những giống chó này. Do đó, nếu bạn muốn đầu ra mô hình của mình không “phù hợp quá mức” với các loại cụ thể như được mô tả ở trên, bạn sẽ muốn thêm tính đa dạng vào nguồn của mình. Vì vậy, trong ví dụ trên, bạn muốn đảm bảo dữ liệu huấn luyện có số lượng lớn các giống chính mà bạn muốn lấy mẫu thống nhất. shiba inus Điều này cũng áp dụng cho con người. Cũng giống như việc đại diện quá mức cho một số giống chó là điều không mong muốn, trường hợp của con người cũng vậy. Tuy nhiên, đối với con người, không giống như các giống chó, những ranh giới phân chia đó xảy ra giữa các giới tính, quốc tịch, dân tộc, chủng tộc. Lý tưởng nhất là chúng tôi muốn giai đoạn trước đào tạo của mình phản ánh tính đồng nhất tương đối giữa các kích thước này để tránh các đặc điểm nhất định chiếm ưu thế trong kết quả đầu ra của mô hình. Do đó, trong giai đoạn tiền đào tạo, mô hình sử dụng khối lượng dữ liệu khổng lồ trong khi cố gắng tìm kiếm sự đa dạng trong các khái niệm (con người, vật nuôi, động vật hoang dã, thiên nhiên, đồ nội thất, cảnh quan, v.v.) và sau đó là sự đa dạng trong các khái niệm này (giống, quốc tịch, kích thước). ). : Tuy nhiên, sau khi đào tạo một mô hình trên quy mô dữ liệu khổng lồ, ở bước cuối cùng, nó sẽ được “tinh chỉnh” trên một dữ liệu rất nhỏ, chất lượng cao. Ở đây trong đầu ra của mô hình. Vì vậy, nếu bạn muốn thay đổi chất lượng hình ảnh, thì đây sẽ là nơi để thực hiện điều đó. Tuy nhiên, hãy lưu ý rằng dữ liệu trước khi đào tạo có quy mô lớn vẫn chiếm ưu thế và thật khó để xác định mức độ đầu ra của mô hình bị ảnh hưởng bởi giai đoạn đào tạo mô hình nào. Tinh chỉnh những thay đổi nhỏ có thể dẫn đến những thay đổi mạnh mẽ : Sự hiểu biết ở trên chủ yếu tập trung vào việc giải thích các giai đoạn cốt lõi và các khía cạnh quan trọng của đầu ra mô hình. Tuy nhiên, chúng ta cũng cần hiểu của sự thiên vị, các ràng buộc pháp lý và đảm bảo các mô hình không đóng góp bất lợi. Mặc dù việc tuân thủ luật pháp có thể tương đối dễ dàng hơn vì chúng được quy định rõ ràng (mặc dù vẫn còn nhiều chỗ để giải thích như tòa án chỉ ra), nhưng việc giải quyết các vấn đề khác không phải là bất hợp pháp nhưng có khả năng gây hại sẽ gây ra nhiều tranh cãi và bộc lộ sự chia rẽ chính trị. Một lĩnh vực AI được gọi là “ ” hay “ ” đã xuất hiện để giải quyết các vấn đề thuộc loại thứ hai - không phải bất hợp pháp nhưng có khả năng gây hại. Trong ví dụ sai lệch ở trên, sẽ tương đối không gây tranh cãi khi nói rằng chúng ta cần các mẫu đại diện cho nam và nữ trong tập dữ liệu huấn luyện. Hay những người đến từ Ấn Độ, Trung Quốc, Mỹ, Anh, Brazil, Nigeria để phản ánh con người. Các biện pháp giảm nhẹ tương đối không gây tranh cãi khác sẽ là ngăn chặn ảnh khoả thân (của người lớn - không hoàn toàn bất hợp pháp, cũng như trẻ em - bất hợp pháp), không tiết lộ thông tin cá nhân (bao gồm cả tài chính, sức khỏe) của bất kỳ cá nhân nào trái với sự đồng ý của họ, có thể xảy ra vi phạm IP. Nhưng lĩnh vực AI có trách nhiệm còn vượt xa những điều này, vì còn có mục tiêu không duy trì "những khuôn mẫu có hại". An toàn những tác động trong thế giới thực đạo đức AI AI có trách nhiệm Đây là một ví dụ - nếu bạn yêu cầu một người mẫu tạo ra hình ảnh của một bác sĩ và một y tá, và 99 trong số 100 lần nó hiển thị một người đàn ông là bác sĩ và một người phụ nữ là y tá, điều đó chắc chắn đang kéo dài những khuôn mẫu xã hội không mong muốn. Một số ví dụ khác - nếu bạn yêu cầu mô hình tạo ra một người đàn ông Hồi giáo, kết quả có thể là một kẻ khủng bố bạo lực. Tại sao mô hình lại làm điều đó, bạn có thể hỏi? Hãy nhớ rằng, . Và hóa ra là do sự kết hợp của các phân bố trong thế giới thực (chẳng hạn như có nhiều phụ nữ làm y tá hơn là bác sĩ, thường do những hạn chế của xã hội), định nghĩa của một số từ nhất định trong các lĩnh vực khác nhau (chủ nghĩa cực đoan bạo lực gắn liền với hành vi của một số nhóm nhất định và không phải những người khác) hoặc đưa tin thiên vị trên các phương tiện truyền thông đối với các nhóm nhất định ở các địa phương cụ thể (ví dụ: chó/dơi ăn thịt người Trung Quốc), dữ liệu mà mô hình sẽ sử dụng sẽ khuếch đại rất nhiều thành kiến này. Do đó, một mô hình được đào tạo dựa trên dữ liệu như vậy hầu như sẽ luôn tạo ra phụ nữ làm y tá, nam giới làm bác sĩ, đàn ông Hồi giáo là những kẻ cực đoan bạo lực hoặc người Trung Quốc/Châu Á làm người ăn dơi. mô hình cũng tốt như dữ liệu huấn luyện Đây được gọi là của mô hình và dữ liệu. Điều này có cần phải được sửa chữa? Về mặt pháp lý thì không (mặc dù ở một số khu vực pháp lý thì có thể như vậy). Về mặt đạo đức? Đó là một câu hỏi khó và gây khá nhiều tranh cãi. Một bản năng rõ ràng sẽ là “có” - để ngăn chặn những khuôn mẫu có hại bị khuếch đại. Tuy nhiên, có thể có một số phản đối về mức độ can thiệp của con người để làm thay đổi kết quả, đặc biệt nếu nó phản ánh một thực tế thực nghiệm (ngay cả khi đó là kết quả của sự thiên vị/phân biệt đối xử trong xã hội). Ngay cả khi chúng tôi đồng ý rằng đó là điều mong muốn, thì con người nào sẽ làm như vậy và những hạn chế nào đối với điều đó nếu có (chẳng hạn như thành kiến của chính họ)? Can thiệp cũng có thể có tác dụng phụ tiêu cực? Dù sao, như đã đề cập trước đó, mục đích của bài viết này không phải là tham gia vào các cuộc thảo luận như vậy mà chỉ thừa nhận một số tranh cãi và lập luận cơ bản. những thành kiến “vô thức” Bất kể quan điểm của bạn về những vấn đề này là gì, hãy cân nhắc khi nói rằng - hầu hết các tập đoàn lớn (bao gồm cả Meta) đang phát triển các mô hình AI tổng quát - cả văn bản và hình ảnh - đều trả lời khẳng định cho câu hỏi “có cần phải sửa không” và đang thực hiện nhiều bước để giảm thiểu điều này. Một số ví dụ về cách thức sẽ bao gồm làm sạch dữ liệu bằng cách phát hiện và có thể loại bỏ các cặp có hại hoặc điều khiển mô hình tránh xa các kết quả không mong muốn cụ thể trong giai đoạn tinh chỉnh để thay đổi kết quả hơn là nó sẽ đạt được bằng cách sử dụng kho dữ liệu của Internet. Do đó, bạn có thể thấy các lời nhắc có thể rất có vấn đề như được chứng kiến bởi các kết quả tìm kiếm Hình ảnh của Google được phân bổ rất đồng đều. Như có thể thấy ở trên, có 4 hình ảnh được xuất ra. Có sự phân bổ đủ nam và nữ ở cả hai vai trò. Những điều trên có thể gây ra nhiều lo ngại đối với một số cá nhân chẳng hạn như việc nhân viên ngẫu nhiên đưa ra những thành kiến của riêng họ và thay đổi kết quả đầu ra của mô hình bằng cách sử dụng các đặc điểm bất biến theo bất kỳ cách nào họ muốn. Tuy nhiên, tất cả các công ty công nghệ lớn đều có bộ phận pháp lý lớn và một số trong số đó được bố trí nhân viên riêng để xử lý các rủi ro pháp lý và vượt quá giới hạn trong khi đưa ra các thông số để tạo đầu ra mô hình. Họ làm nó như thế nào? Họ có đọc tất cả mã không? KHÔNG. Giảm nhẹ về mặt pháp lý và quyền riêng tư: Tuy nhiên, trước khi bất kỳ sự phát triển nào bắt đầu trên quy mô lớn, rất lâu trước khi đưa vào sản xuất, các nhà phát triển, người quản lý sản phẩm, nhà khoa học dữ liệu, người quản lý phải trình bày tầm nhìn về cách họ sẽ đạt được mục tiêu của mình, những thành kiến mà nó có thể đưa ra, những lo ngại về quyền riêng tư mà họ có thể nêu ra. truy cập hoặc tiết lộ dữ liệu mà họ không được phép, đồng thời sử dụng các thông số gây tranh cãi. Vậy chúng ta có thể mã hóa chủng tộc vào mô hình của mình không? Còn quốc tịch thì sao? Mỗi câu hỏi như thế này có một câu trả lời khác nhau tùy theo công ty và tôi sẽ không tiết lộ bất kỳ quyết định nào trong Meta, nhưng mỗi quyết định này đều được xem xét và trả lời ngay trong giai đoạn thiết kế để làm hài lòng các đại diện pháp lý. Không đáp ứng được những điều này sẽ là một trình chặn khởi chạy, do đó ngăn cản việc vận chuyển bất kể kết quả đầu ra của bạn có tốt hay không. : Có một giai đoạn cuối cùng và là đánh giá. Suy cho cùng, nếu bạn đã phải trải qua rất nhiều khó khăn khi phát triển những mô hình phức tạp lớn này, bạn có muốn thử nghiệm nó không? Có nhiều phương pháp để thực hiện việc này - nhiều phương pháp thủ công, một số tự động, nhưng một phương pháp rất phổ biến là gửi một số kết quả đầu ra được tạo ra đến một nhóm người đánh giá và yêu cầu họ đánh giá kết quả đầu ra thông qua một số khía cạnh như chất lượng hình ảnh, và cũng có thể là những tương tác có hại. Các phương pháp này khác nhau tùy theo nhóm và công ty nhưng về cơ bản việc khởi chạy nhìn chung sẽ yêu cầu đáp ứng một số chỉ số nội bộ để thuyết phục rằng nó hoạt động tốt hơn các phiên bản trước đó. Hơn nữa, còn có những “ ” có nghĩa là chúng không cần phải cải thiện nhưng không thể thụt lùi để phóng. Việc tạo nội dung có hại nói chung là một rào cản vì mọi phiên bản mô hình đều phải đảm bảo rằng nó không vô tình làm tăng cơ hội tạo ra nội dung có hại, ngay cả khi nó cải thiện các khía cạnh cần thiết và có lợi nhuận khác. Đánh giá mô hình rất quan trọng độ trung thực nhanh chóng lan can Điều gì có thể đã xảy ra ở Google? Bây giờ chúng ta đã hiểu về tất cả các phần cần thiết trong quá trình phát triển mô hình tạo hình ảnh AI sáng tạo, có thể cần hiểu vấn đề bắt đầu từ đâu. Rõ ràng là lớp an toàn có một vai trò nào đó - xét cho cùng, kết quả từ Google chắc chắn có vẻ như đang điều chỉnh một số thông số liên quan đến cuộc đua. Dựa trên công việc của tôi, tôi sẽ đưa ra giả thuyết như sau: Một thử nghiệm đang được thực hiện để đảm bảo đưa ra một số gợi ý chung, nó không bỏ sót nhóm thiểu số và chỉ tạo ra người da trắng. Thử nghiệm này đã được chạy ở lớp tinh chỉnh để đạt được kết quả một cách tích cực. Nói chung, người ta sẽ lấy mẫu tập dữ liệu với một số tỷ lệ/tỷ lệ để đảm bảo một tập dữ liệu không hoàn toàn chiếm ưu thế Do nhầm lẫn, điều này không được đặt đúng cách, do đó làm loãng các hình ảnh khác từ việc tinh chỉnh quá mức thành tập dữ liệu không có người da trắng Một số ít trường hợp cuối cùng nó cho thấy một số người da trắng là do tập dữ liệu trước khi đào tạo vẫn có sự đa dạng về chủng tộc và sắc tộc. Đó sẽ là đánh giá kỹ thuật của tôi và tôi hy vọng độc giả sẽ hiểu được các phần của quá trình phát triển mô hình, cách giải quyết một số câu hỏi khó và mức độ nhạy cảm của toàn bộ quá trình đối với việc mắc lỗi. Tôi đã không đề cập đến một số phần ở đây, bao gồm các cuộc thảo luận gây tranh cãi xung quanh việc sửa chữa các khuôn mẫu và phương pháp luận có hại, ai là người “đổ lỗi” và quan trọng nhất là làm thế nào mà một mô hình sai lầm như vậy lại vượt qua được quá trình đánh giá mô hình (được cho là) nghiêm ngặt và các nhóm pháp lý trước khi vận chuyển từ đó. một trong lớn nhất trong không gian. Tôi sẽ giải quyết phần cuối cùng với một số giả thuyết trong bài đăng tiếp theo của mình (tất nhiên là tôi không có thông tin nội bộ nào). những goliath Các ý kiến và thảo luận ở đây hoàn toàn là của riêng tôi và hoàn toàn không phản ánh quan điểm của Meta hoặc nhóm của tôi. Tôi không có kiến thức nội bộ và không có thông tin nào được chia sẻ là độc quyền của Meta và các giai đoạn khác nhau của vòng đời mô hình là thông lệ tiêu chuẩn của ngành và được phổ biến rộng rãi trên mạng. Cũng được xuất bản . ở đây