The Times - Microsoft/OpenAI: Modeller "Ezberleme" Adı Verilen Bir Davranış Sergiliyor. (9)

IV. GERÇEK İDDİALAR

B. Davalıların GenAI Ürünleri

2. GenAI Modelleri Nasıl Çalışır?

75. Davalıların GenAI ürünlerinin kalbinde “geniş dil modeli” veya “LLM” olarak adlandırılan bir bilgisayar programı bulunmaktadır. GPT'nin farklı versiyonları Yüksek Lisans örnekleridir. Bir LLM, onu eğitmek için kullanılan milyarlarca örneğe dayanarak belirli bir metin dizisini takip etmesi muhtemel kelimeleri tahmin ederek çalışır.

76. Yüksek Lisans çıktısının girdisine eklenmesi ve modele geri beslenmesi, kelime kelime cümleler ve paragraflar üretir. ChatGPT ve Bing Chat, kullanıcı sorgularına veya "istemlerine" bu şekilde yanıtlar oluşturur.

77. LLM'ler, bu tahminleri yapmak için kullandıkları eğitim külliyatından gelen bilgileri "parametreler" adı verilen sayılar olarak kodlarlar. GPT-4 LLM'de yaklaşık 1,76 trilyon parametre bulunmaktadır.

78. Yüksek Lisans'ın parametrelerine ilişkin değerleri ayarlama sürecine “eğitim” adı verilir. Eğitim çalışmalarının kodlanmış kopyalarının bilgisayar belleğinde saklanmasını, bunların maskelenmiş kelimelerle tekrar tekrar modelden geçirilmesini ve maskelenmiş kelimeler ile modelin onları doldurmayı öngördüğü kelimeler arasındaki farkı en aza indirecek şekilde parametrelerin ayarlanmasını içerir.

79. Modeller, genel bir külliyat üzerinde eğitildikten sonra, örneğin içeriklerini veya tarzlarını daha iyi taklit etmek için belirli çalışma türlerini kullanarak ek eğitim turları gerçekleştirerek veya onlara güçlendirmek için insan geri bildirimi sağlayarak "ince ayar"a tabi tutulabilir. İstenilen davranışları veya istenmeyen davranışları bastırın.

80. Bu şekilde eğitilen modellerin “ezberleme” adı verilen bir davranış sergiledikleri bilinmektedir.[10] Yani, doğru yönlendirme verildiğinde, üzerinde eğitim aldıkları materyallerin büyük bir kısmını tekrarlayacaklardır. Bu olgu, LLM parametrelerinin bu eğitim çalışmalarının çoğunun geri alınabilir kopyalarını kodladığını göstermektedir.

81. Eğitim alındıktan sonra, LLM'lere çıktılarını "temellendirmek" amacıyla bir kullanım senaryosuna veya konuya özel bilgiler sağlanabilir. Örneğin, bir LLM'den bağlam olarak sağlanan bir belge gibi belirli harici verilere dayalı bir metin çıktısı üretmesi istenebilir. Bu yöntemi kullanarak, Davalıların sentetik arama uygulamaları: (1) soru gibi bir girdi alır; (2) bir yanıt oluşturmadan önce girdiyle ilgili ilgili belgeleri almak; (3) bağlam sağlamak amacıyla orijinal girdiyi alınan belgelerle birleştirin; ve (4) birleştirilmiş verileri, doğal dil yanıtı üreten bir Yüksek Lisans'a sağlamak.[11] Aşağıda gösterildiği gibi, bu şekilde oluşturulan arama sonuçları, modellerin ezberleyemediği çalışmaları kapsamlı bir şekilde kopyalayabilir veya yeniden ifade edebilir.

[11] Ben Ufuk Tezcan, Bilgiyle Nasıl Etkileşim Kurarız: Aramanın Yeni Çağı, MICROSOFT (19 Eylül 2023), https://azure.microsoft.com/en-us/blog/how-we-interact- bilgi-ile-yeni-arama çağı/.