Google'ın Gemini Efsanesi: Modelin Nasıl Yanlış Ateşlendiğine İlişkin Teknik Ayrıntılar

Üretken Yapay Zeka modellemesi nasıl arızalara yol açabilir?

Buradaki görüşler ve tartışmalar tamamen bana aittir ve Meta'nın veya ekibimin görüşlerini veya herhangi bir içeriden veya özel bilgiyi yansıtmaz.

Meta'nın Üretken Yapay Zeka bölümünde çalışıyorum. Özellikle Meta için metin → görüntü oluşturma alanında çalışıyorum. İlk ürünlerimiz burada piyasaya sürüldü, burada deneyebilirsiniz. Bunu “2024'te bir Alman ailesi”ne yönlendirdiğimde aşağıdaki yakınlaştırılmış görüntüyü elde ettim, ancak altta 3 görüntü daha var.

Diğer önerilerden 2 tanesinin büyütülmesinin sonuçları şunlardır:

Gördüğünüz gibi burada aileleri temsil eden bir miktar etnik çeşitlilik var. Ancak bunu, bir Alman ailesinin “geleneksel olarak” nasıl olacağını dışlayarak yapmıyor.

Bu arada birkaç örnek daha:

İşte bazı tarihi figürleri temsil eden başka bir bilgi:

Elbette pek çok kusur var ve ben de dahil ekibimdeki insanlar bunu geliştirmek için çalışıyor. Örneğin yukarıdaki istem, "Hintli"nin hem Hindistan'dan gelen insanları hem de Amerika'daki "yerli Kızılderilileri" ifade ettiğini düşünüyordu.

Ancak geçen hafta Google'ın Gemini fiyaskosuna dikkat ederseniz, modelden elde edilen sonuçların yukarıdaki gibi görünmediğini ve çok daha fazla endişe verici çıktıya sahip olduğunu görürsünüz. İşte bu tuzaklardan bazılarını gösteren bir konu.

Twitter'da konunun tamamına erişemiyorsanız sıkıştırılmamış konuyu burada bulabilirsiniz .

Çok daha fazla ses getiren görseller var, ancak bunlar aşağıdaki sonuçları çıkarmak için yeterli olacaktır:

• Google'ın Gemini imajı nesli, ABD'nin kurucu babaları, Vikingler ve Papa gibi tarihi ve kamusal figürler de dahil olmak üzere Kafkasyalı (beyaz) insanlar yaratmakta zorlandı.
• Zulu savaşçısı veya samuray örneklerinin gösterdiği gibi, diğer ırklar için bunu yapmakta mutlaka zorluk çekmiyordu.

Bunlar, "beyaz insanların" "uyandırılmış şirketler" tarafından "silinmesine" duyulan öfkeden , diğer bazı medya yayınlarının Gemini'nin nasıl "beyaz olmayan insanları Naziler olarak" göstereceğine odaklanmaya çalışmasına veya bunun nasıl olduğuna dair bazı yorumlara kadar pek çok tepkiyi tetikleyebilir. mesele orantısız bir şekilde abartılıyor ya da “liberal önyargı” çürütülüyor . Bu tepkiler çoğu zaman politik çizgide ilerliyor ve burada bunlara değinmek niyetinde değilim.

Ancak olumlu olarak katkıda bulunabileceğim şey, bu özel alanda çalışan bir mühendis olarak, özellikle Üretken Yapay Zeka'da model geliştirme için geliştirme döngüsünün nasıl çalıştığını açıklamak ve bunu yukarıdaki gibi çıktıların nasıl baskın hale gelebileceğini (spekülatif olarak) anlamak için kullanmaktır. Herhangi bir teknik jargon kullanmak veya sinir ağlarının iç kısımlarını açıklamak istemiyorum; bunların burada konuyla alakalı olduğunu da düşünmüyorum. Burada hiçbir şeyin özel bilgi olmaması gerektiğini tekrar belirtmek isterim ve Google'ın sorunu veya iç işleyişi hakkında herhangi bir dahili bilgim yok.

Veri Kraldır

Bazı aşamalara geçmeden önce çok önemli bir değişmezi açıklamak istiyorum. Bir model yalnızca üzerinde eğitim aldığı veriler kadar iyidir . Bu, modelin diğer bileşenlerinin (mimari gibi) önemli olmadığı veya daha az önemli olduğu anlamına gelmez. Gerçekten de son birkaç yılda makine öğrenimi alanında, bu alandaki yüksek lisans, görüntü oluşturma, video oluşturma vb. alanlardaki üstel büyümeyi hızlandıran mükemmel araştırmalar yapılmıştır. Bununla birlikte, gelişmeler ne olursa olsun her modelin karşılaştığı bir sınırlama, İyi bir temsili veri kümesi üzerinde eğitilmezse istenen çıktıları vermez.

Makine öğrenimindeki kavramlara aşina olmayanlar için, bir model, belirli bir kavramın (örneğin köpek) - hem olumlu (içeren) hem de olumsuz (içermeyen) birden fazla örneğiyle beslenir (veya "üzerinde eğitilir") ve herhangi bir Rastgele girdiyle model, bu kavramın bir örneğini içerip içermediğini yüksek bir güvenle tahmin edebilmelidir. Belirli kullanım durumları için (örneğin, köpeğin koordinatlarının belirlenmesi) pek çok genişletme yapılabilir.

Üretken AI ML modelinin gelişim döngüsü

1. Büyük ölçekli eğitim (diğer adıyla ön eğitim): Bir köpeğin tanımlanması sadece bir örnektir. Buradaki genelleştirilmiş sorun şu olacaktır: Herhangi bir metin verildiğinde karşılık gelen görseli oluşturun. Bunu yapabilmek için, bir modelin öncelikle belirli kelimelerin ne anlama geldiğini tanımlaması (“öğrenmesi”) gerekir. Bu nedenle bir fil, erkek, kadın, köpek, dağ vb. her kriterin (“kavram”) birçok örneğine bakarak tanınması gerekir. Ancak modelin her senaryo için iyi görüntüler üretebilmesi için, yalnızca en yaygın olanları değil aynı zamanda daha az kullanılan, daha az tanıdık kavramların uzun kuyruğunu da içerecek şekilde geniş bir kavram yelpazesini anlaması gerekir. Bunu oldukça yüksek bir güvenle yapabilmek için, modeli büyük miktarda veriyle (milyonlardan milyarlara kadar) eğitmemiz gerekir. Bu aşama, büyük miktarda alınan verinin modelin istenen çıktıları yeterince iyi kalitede üretmesine yardımcı olduğu ön eğitim olarak bilinir.

   
   Alınan verilere dayalı olarak öğrenen modellerin bir sonucu, modelin, sahip olduğu tüm önyargılarla birlikte eğitim setinizin kalıplarını da öğrenmesidir. Dolayısıyla, köpek eğitimi veri kümenizde yalnızca shiba inus ve corgis (bu arada süper tatlı köpekler) görüntüleri varsa, oluşturulan tüm köpekleriniz bu cinslere benzeyecektir. Bu nedenle, model çıktılarınızın yukarıda açıklandığı gibi belirli türlere "aşırı uyum sağlamamasını" istiyorsanız, kaynağınıza çeşitlilik eklemek isteyeceksiniz. Dolayısıyla yukarıdaki örnekte, eğitim verilerinin, eşit şekilde örneklenmesini istediğiniz ana ırkların yeterli miktarda olmasını sağlamak istiyorsunuz.

   
   Bu aynı zamanda insanlar için de geçerlidir. Tıpkı bazı köpek ırklarının aşırı temsil edilmesinin istenmediği gibi, insanlarda da durum aynıdır. Ancak insanlarda, ırklardan farklı olarak bu ayrımlar cinsiyet, milliyet, etnik köken ve ırksal çizgiler üzerinden gerçekleşir. İdeal olarak, model çıktılarında belirli özelliklerin hakim olmasını önlemek için ön eğitim aşamamızın bu boyutlar arasında göreceli tekdüzeliği yansıtmasını istiyoruz.

   

   
   
   Bu nedenle, eğitim öncesi aşamada model, kavramlarda (insanlar, evcil hayvanlar, yaban hayatı, doğa, mobilyalar, manzaralar vb.) bir miktar çeşitlilik bulmaya çalışırken büyük miktarda veri alır ve ardından bu kavramlar (ırklar, milliyetler, boyutlar) içindeki bazı çeşitlilikleri bulmaya çalışır. ).
   
   

2. İnce ayar : Ancak bir modeli çok büyük miktarda veri üzerinde eğittikten sonra, son adımda çok küçük, yüksek kaliteli bir veri üzerinde "ince ayar" yapılır. Burada küçük değişiklikler model çıktısında agresif değişikliklere neden olabilir . Dolayısıyla görsel kaliteyi değiştirmek istiyorsanız dağıtım bunu yapacağınız yer olacaktır. Ancak, büyük ölçekli olduğu göz önüne alındığında eğitim öncesi verilerin hala baskın olduğunu ve model çıktısının ne kadarının model eğitiminin hangi aşamasından etkilendiğini tespit etmenin zor olduğunu unutmayın.

   
   

3. Güvenlik : Yukarıdaki anlayış çoğunlukla model çıktısının temel aşamalarını ve önemli yönlerini açıklamaya odaklanmıştır. Ancak aynı zamanda önyargıların ve yasal kısıtlamaların gerçek dünyadaki sonuçlarını da anlamamız ve modellerin olumsuz katkıda bulunmadığından emin olmamız gerekiyor. Yasaları takip etmek nispeten daha kolay olsa da (mahkemelerin gösterdiği gibi hala yoruma çok fazla yer olmasına rağmen), yasa dışı olmayan ancak potansiyel olarak zararlı olan diğer konularla mücadele etmek pek çok tartışmayı gündeme getiriyor ve siyasi bölünmeyi ortaya çıkarıyor. " Yapay zeka etiği " veya " sorumlu yapay zeka " olarak adlandırılan bir yapay zeka alanı, ikinci türdeki sorunlarla mücadele etmek için ortaya çıktı; yasa dışı değil ama potansiyel olarak zararlı.
   
   Yukarıdaki önyargı örneğinde, örneğin eğitim veri setinde temsili erkek ve kadın örneklerine ihtiyacımız olduğunu söylemek nispeten tartışmasızdır. Veya Hindistan'dan, Çin'den, ABD'den, İngiltere'den, Brezilya'dan, Nijerya'dan insanları yansıtacak şekilde. Diğer benzer nispeten tartışmasız azaltımlar, çıplaklığın (yetişkinlerin tamamen yasa dışı olmadığı gibi çocukların da yasa dışı) önlenmesi, herhangi bir bireyin kişisel (mali, sağlık dahil) bilgilerinin rızası dışında ifşa edilmemesi ve olası fikri mülkiyet ihlalleri olacaktır. Ancak sorumlu yapay zeka alanı bunların ötesine geçiyor çünkü aynı zamanda "zararlı stereotipleri" sürdürmeme hedefi de mevcut.

   
   

   İşte bir örnek: Bir modelden bir doktor ve hemşirenin resimlerini oluşturmasını isterseniz ve 100'den 99'unda bir erkeği doktor olarak ve bir kadını hemşire olarak gösterirse, bu kesinlikle istenmeyen toplumsal stereotipleri sürdürür.

   

   
   

   Diğer bazı örnekler; eğer modelden Müslüman bir adam yaratmasını isterseniz, şiddet yanlısı bir teröristi gösterebilir.

   

   

   Model bunu neden yapsın diye sorabilirsiniz? Modelin eğitim verileri kadar iyi olduğunu unutmayın. Ve bu, gerçek dünyadaki dağılımların (genellikle toplumsal kısıtlamalar nedeniyle doktorlara kıyasla hemşirelik sektöründe daha fazla kadın olması gibi), belirli kelimelerin farklı alanlardaki tanımlarının (şiddet içeren aşırılığın belirli grupların eylemleriyle ilişkilendirilmesi ve diğerleri değil) veya medyada belirli bölgelerdeki belirli gruplara yönelik önyargılı haberler (örneğin Çin'de köpekleri/yarasaları yiyenler) modelin tüketeceği veriler bu önyargıların çoğunu güçlendirecektir. Bu nedenle, bu tür veriler üzerine eğitilmiş bir modelin neredeyse her zaman kadınları hemşire olarak, erkekleri doktor olarak, Müslüman erkekleri şiddet yanlısı aşırılık yanlısı olarak veya Çinli/Asyalıları yarasa yiyen biri olarak üretmesi muhtemeldir.

   

   
   

   
   

   Bunlara modelin ve verilerin “bilinçsiz” önyargıları denir. Bunun düzeltilmesi gerekiyor mu? Yasal olarak hayır (her ne kadar bazı yargı bölgelerinde muhtemelen öyle olsa da). Ahlaki olarak mı? Bu zor ve oldukça tartışmalı bir soru. Zararlı stereotiplerin güçlenmesini önlemek için bariz bir içgüdü "evet" olacaktır. Ancak, özellikle ampirik bir gerçeği yansıtıyorsa (toplumsal önyargı/ayrımcılığın bir sonucu olsa bile), insanların sonuçları çarpıtmak için ne kadar müdahale etmesi gerektiği konusunda bazı itirazlar olabilir. Bunu yapmanın arzu edilir olduğu konusunda hemfikir olsak bile, o zaman hangi insanlar bunu yapabilir ve varsa bunun sınırlamaları nelerdir (kendi önyargıları gibi)? Müdahalenin olumsuz yan etkileri de olabilir mi? Her neyse, daha önce de belirttiğimiz gibi, bu makalenin amacı bu tür tartışmalara girmek değil, sadece bazı tartışmaları ve temel argümanları kabul etmektir.

   
   Bu konulardaki pozisyonunuz ne olursa olsun, üretken yapay zeka modelleri geliştiren çoğu büyük şirketin (Meta dahil) hem metin hem de görsel olarak "düzeltilmesi gerekiyor mu" sorusuna olumlu yanıt verdiğini ve bu sorunları ele aldığını söylemek yeterli olacaktır. Bunu hafifletmek için birçok adım var. Bunun bazı örnekleri, zararlı eşleşmeleri tespit ederek ve muhtemelen kaldırarak verileri temizlemeyi veya ince ayar aşamasında modeli, internet külliyatını alarak elde edebileceğinden daha fazla sonuçları değiştirmek için agresif bir şekilde belirli istenmeyen sonuçlardan uzaklaştırmayı içerebilir.

   
   

   Bunun bir sonucu olarak, Google Görsel arama sonuçlarında görüldüğü gibi oldukça sorunlu olabilecek istemlerin oldukça eşit bir şekilde dağıtıldığını görebilirsiniz.

   

   

   Yukarıda görüldüğü gibi 4 adet görüntü çıktısı bulunmaktadır. Her iki rolde de yeterince iyi bir kadın ve erkek dağılımı var.

   

   
   

4. Yasal ve gizlilikle ilgili hafifletmeler: Yukarıdakiler, rastgele çalışanların kendi önyargılarını enjekte etmesi ve değişmez özellikleri kullanarak model çıktılarını istedikleri şekilde değiştirmesi gibi bazı kişiler için birçok endişeye yol açabilir. Bununla birlikte, tüm büyük teknoloji şirketlerinin çok büyük hukuk bölümleri vardır ve bazılarında, model çıktı üretimine parametreler getirirken yasal riskleri gözden geçirmek ve sınırları aşmakla ilgilenmek için özel olarak personel bulunmaktadır. Nasıl yapıyorlar? Kodun tamamını okuyorlar mı? HAYIR.

   
   Ancak herhangi bir geliştirme geniş ölçekte başlamadan önce, üretime sunulmadan çok önce, geliştiricilerin, ürün yöneticilerinin, veri bilimcilerin ve yöneticilerin hedeflerine nasıl ulaşacaklarına, bunun yaratabileceği önyargılara ve ortaya çıkarabilecekleri gizlilik endişelerine ilişkin bir vizyon sunmaları gerekir. yapmamaları gereken verilere erişmeleri veya bunları ifşa etmeleri ve ayrıca tartışmalı parametrelerin kullanılması. Peki ırkı modelimize kodlayabilir miyiz? Peki ya milliyet? Bunun gibi her sorunun şirkete bağlı olarak farklı bir cevabı vardır ve Meta'daki kararların hiçbirini ifşa etmeyeceğim, ancak bunların her biri tasarım aşamasında yasal temsilcileri memnun edecek şekilde dikkate alınıyor ve yanıtlanıyor. Bunları karşılamamak bir lansman engelleyicidir, dolayısıyla çıktılarınız ne kadar iyi olursa olsun gönderimi engeller.
   

5. Model değerlendirmesi : Son ve çok önemli bir aşama vardır; değerlendirme. Sonuçta, bu büyük karmaşık modelleri geliştirmenin büyük sıkıntılarını yaşadıysanız, onu test etmek istemez misiniz? Bunu yapmanın pek çok yöntemi vardır; çoğu manuel, bazıları otomatiktir, ancak çok yaygın olanı, oluşturulan bazı çıktıları bir grup değerlendiriciye göndermeyi ve onlardan çıktıları görsel kalite, hızlı doğruluk ve doğruluk gibi bazı boyutlar aracılığıyla değerlendirmelerini istemeyi içerir. muhtemelen zararlı etkileşimler de olabilir. Yöntemler ekibe ve şirkete göre farklılık gösterir ancak esas olarak lansman, önceki sürümlerden daha iyi performans gösterdiğine ikna etmek için bazı dahili ölçümlerin karşılanmasını gerektirir. Üstelik “ korkuluklar ” da var, bu da onların iyileştirilmesine gerek olmadığı, ancak fırlatma için geriletilemeyeceği anlamına geliyor. Zararlı içerik üretimi genellikle bir korkuluktur; çünkü her model sürümü, diğer gerekli ve karlı boyutları geliştirse bile, yanlışlıkla zararlı içerik üretme şansını artırmadığından emin olmalıdır.

   
   

Google'da muhtemelen ne oldu?

Artık bir Üretken Yapay Zeka görüntü oluşturma modeli geliştirmeye yönelik tüm parçaları anladığımıza göre, sorunların nerede başladığını anlamaya değer olabilir. Güvenlik katmanının bir rolü olduğu oldukça açık; sonuçta Google'dan gelen sonuçlar kesinlikle yarışla ilgili bazı parametrelerde değişiklik yapıyor gibi görünüyor. Çalışmalarıma dayanarak aşağıdaki hipotezleri öne sürüyorum:

• Azınlıkların göz ardı edilmemesi ve yalnızca beyaz insanların üretilmesi için genel bir teşvik sağlamak üzere bir deney yürütülüyordu.

• Bu deney, sonuçlara agresif bir şekilde ulaşmak için ince ayar katmanında gerçekleştirildi.

• Genellikle bir veri kümesinin tamamen baskın hale gelmemesini sağlamak için veri kümesi bazı oranlar/oranlar ile örneklenir

• Yanlışlıkla, bu doğru şekilde ayarlanmamıştı, bu da diğer görüntülerin ince ayardan aşırı uyumdan beyaz insanların olmadığı bir veri kümesine kadar seyreltilmesine neden oldu

• Sonunda bazı beyaz insanlara göstereceği birkaç örnek, eğitim öncesi veri setinin çok şükür ki hala ırksal ve etnik çeşitliliğe sahip olmasından kaynaklanıyor.

  
  

Bu benim teknik değerlendirmem olacak ve umarım okuyucular model geliştirme sürecinin bazı kısımlarını, bazı zor soruların nasıl ele alındığını ve tüm sürecin hata yapmaya ne kadar duyarlı olduğunu anlamıştır. Zararlı stereotipleri ve metodolojiyi düzeltme, kimin "suçlu" olduğu ve en önemlisi bu kadar hatalı bir modelin (sözde) titiz bir model değerlendirmesinden nasıl geçtiği ve gönderilmeden önce hukuk ekipleri hakkındaki tartışmalı tartışmalar da dahil olmak üzere burada birkaç bölüme değinmedim. uzaydaki en büyük goliatlardan biri. Bir sonraki yazımda son kısma bazı hipotezlerle değineceğim (tabii ki içeriden bilgi sahibi değilim).

Buradaki görüşler ve tartışmalar tamamen bana aittir ve hiçbir şekilde Meta'nın veya ekibimin görüşlerini yansıtmaz. İçeriden hiçbir bilgim yok ve paylaşılan bilgilerin hiçbiri Meta'ya ait değildir ve model yaşam döngüsünün çeşitli aşamaları standart endüstri uygulamasıdır ve çevrimiçi olarak yaygın olarak mevcuttur.