GPT Modellerinin İnsan Gibi Ses Vermesinin Sebebi Bu

İhtiyacınız Olan Tek Şey 'Dikkat' Değildi.

Yani Kimse Yapay Zekanın Neden Çalıştığını Bilmiyor, Değil mi?

Evet ve hayır.

Temel Sorun, insan beyni denen gizem hakkında pek bir şey öğrenememiş olmamızdır.

Ancak Transformers ve İnsanlar doğal dile ürkütücü derecede benzer tepkiler veriyor.

Nedenini açıklayalım.

Bilgi Gösterimlerinin Transformatörlerde Saklanması

Bir transformatör için bir yerleştirme oluşturmak amacıyla birkaç kelimeden veya bir belirteçten oluşan bir girdiden oluşturulan bir vektör kullanırız.

Bu nedenle bilgi bir vektör olarak saklanır.

Temsili ele alalım. Bu temsili yerleştirme dikkatten çok daha temel bir rol oynadı. İlk önce kodu çözülebilir veya uygulanabilir bir biçimde temsile ulaşılması gerekiyordu!

Bunun, GPT-4 gibi bir transformatörün tüm İnternet üzerinde eğitildiğinde yapabileceği şeylerle nasıl bir ilişkisi olduğunu düşünüyor olabilirsiniz?

Bilgiler, orijinal verilerin bağlamsal anlamları ve temsilleriyle birleştirilmiş dikkat nokta ürünleri ve matematiksel işlemlerle kodlanır.

Yani Transformer'da saklanan bu verilerin bir temsiline sahibiz.

Gizli Sos

Tüm sinir ağları sorunları evrensel yaklaşım teoremine göre çözer.

Evrensel Yaklaşımın ne olduğunu bilmeyenler için, Evrensel Yaklaştırıcıyı , belirli bir girdiyi yüksek doğrulukla belirli bir çıktıya dönüştüren herhangi bir işlem olarak tanımlayabiliriz; girdiler kümesi ile çıktılar kümesi arasındaki bir fonksiyona yaklaşır. . Bu fonksiyonun bir formu var. Ancak formu bilmemize gerek yok çünkü yeterli veri verildiğinde sinir ağı bizim için herhangi bir işlevi yaklaşık olarak tahmin edebilir.

İşlev nedir? Çözmeye çalıştığımız sorun bu.

Sinir ağı, işleme algoritması aracılığıyla herhangi bir fonksiyona yaklaşabilir. Herhangi Bir İşlev - Çok Evrensel.

Mimariler değişir, algoritmalar değişir, modeller değişir ama temel prensip aynıdır.

İşte bu nedenle sinir ağları, yeterli veriye sahip olduklarında, uygun bir görev verildiğinde ve doğru şekilde ayarlandığında çalışır; bu, zamanla daha iyi hale geldiğiniz bir sanattır.

Bu LLM'de bir köpeğin temel temsili nedir?

Kesinlikle bir tane var ve aslında birçok.

Belki tek bir köpek için x vektörleri, y bağlamsal değerleri ve z konumsal argümanlarının yanı sıra ham veri akışı mimarisinin doğru yolu da olabilir.

Bu konuya derinlemesine girmedik çünkü amaçlarımız açısından gereksizdir.

Sistem çalışıyor.

Bu bizim için yeterli.

Dolayısıyla sistem bir kara kutudur.

Peki Beyin Verileri Nasıl Saklıyor?

Tıpkı daha önce olduğu gibi, kesin ayrıntıları bilmiyoruz.

Beynimiz yaratıldığında dış nesnelerin, kavramların ve varlıkların içsel temsillerini yaratır. Bir nevi büyüyen bir çocuk gibi.

Örneğin, bir köpek kavramı, x nöronlarını, y sinapslarını ve z mimarisini ve ayrıca nöronlar arasında sürekli gelişen dinamik bir dizi ham veri aktarım yolunu içerebilir.

Yaklaşım teoremi açıkça beynimiz için geçerlidir.

Aynı prensipler iş başındadır.

Sadece bu yerleştirmeler doğal olarak yaratılmıştır.

Ultra düşük elektrik enerjisine sahip nöron, akson ve dendrit aileleri.

Değişik formlar. Farklı işlevler. Ama sonuç aynı.

Sistem çalışıyor.

Bu bizim için yeterli.

Daha ne bildiğimizi söyleyebiliriz?

Yalnızca ampirik olarak gözlemleyebildiğimiz şeyler.

Yine bir kara kutu.

Peki Doğal Dilde Neden Bu Kadar Benzerler?

İnternette dijital biçimde toplanan tüm verilerin oldukça karmaşık bir işleme prosedürü ile AGI'yi elimizden geldiğince modellemeye çalıştık. Dünyadaki tüm veriler.

Sıra-sıra modelleri ve doğal dil görevleri açısından başarılı olduğumuzu söyleyebilirim.

İnanılmaz derecede pahalı ve sistematik sıkı çalışmayla beynimizin bilgiyi anlama ve işleme konusunda nasıl çalıştığını modelledik.

Mutlu değilim.

Aslında korkuyorum.

ChatGPT'nin yapabileceği şey buysa -

Peki GPT-4 Neyi Başaracak?

Microsoft'taki yazılım mühendisleri, GPT-4 modelinde çeşitli duyarlılık anlarını zaten tespit etti.

Hatta bu bulguyla ilgili bir makale bile yayınladılar.

Haber Sayfası:

https://www.microsoft.com/en-us/research/publication/sparks-of-artificial-general-intelligence-early-experiments-with-gpt-4/

Araştırma kağıdı:

Burada derin riskler alıyoruz.

Geoffrey Hinton araştırma görevinden ayrıldığında işlerin gerçekten çığırından çıktığını fark ettim.

Para her şeyi besler.

Çin ve ABD'deki kâr odaklı şirketleri hiçbir denetim durduramayacak.

Geleceğin iyi olacağını umuyoruz.

Yapay zeka karar vericileri etiği kârın üstünde tutmalıdır.

Peki girişimciler bunu ne zaman yaptı?

Çözüm

Hinton inanılmaz bir şey söyledi.

“Birden bu şeylerin bizden daha akıllı olup olmayacağına dair görüşlerimi değiştirdim. Artık buna çok yaklaştıklarını ve gelecekte bizden çok daha akıllı olacaklarını düşünüyorum. Bundan nasıl kurtuluruz?”

Ancak şimdilik bunu durdurmak mümkün değil.

İşleri toparlamak için sizi ChatGPT'ye ilginç bir soruyla baş başa bırakalım.

Ben:

AGI'ye ulaşmak için nasıl bir yol izlersiniz?

SohbetGPT:

Yapay Genel Zekanın (AGI) elde edilmesi, birçok bilimsel ve mühendislik disiplininde önemli ilerlemeler gerektiren büyük bir zorluktur. YGZ'ye giden kesin yol hala bir tartışma ve araştırma konusu olsa da, size araştırmacıların araştırdığı bazı önemli alanlar hakkında daha ayrıntılı bir açıklama sunabilirim:

1. Bilişsel Mimari: İnsan zekasını taklit edebilecek bilişsel bir mimari geliştirmek, YGZ'nin temel bir yönüdür. Bu, insan beyninin yapısını ve işlevlerini anlamayı ve bu süreçleri yakalayan hesaplamalı modellerin tasarlanmasını içerir. Araştırmacılar, üst düzey akıl yürütmeyi, algıyı, hafızayı, öğrenmeyi ve karar vermeyi destekleyebilecek mimariler oluşturmak için sinir biliminden, bilişsel psikolojiden ve bilişsel bilimden ilham alıyor.

   
   

2. Makine Öğrenimi ve Derin Sinir Ağları: Makine öğrenimi, özellikle de derin öğrenme, son yapay zeka gelişmelerinde önemli bir rol oynamıştır. Derin sinir ağları, görüntü tanıma ve doğal dil işleme gibi algılama görevlerinde dikkate değer bir başarı elde etti. AGI'ye doğru ilerlemek için araştırmacılar, derin öğrenmenin genellemesini, yorumlanabilirliğini ve sınırlı verileri ve karmaşık akıl yürütme yeteneğini geliştirerek derin öğrenmenin yeteneklerini geliştirmenin yollarını araştırıyorlar.

   
   

3. Takviyeli Öğrenme ve Aktif Öğrenme: Takviyeli öğrenme, AGI'nin bir başka önemli odak alanıdır. Ajanların çevreleriyle etkileşime girmeleri ve deneme yanılma yoluyla öğrenmeleri için eğitim verilmesini içerir. Bilgilendirici eğitim örneklerinin aktif olarak seçilmesini içeren aktif öğrenme ile birleştirilen takviye öğrenme teknikleri, temsilcilerin çevrelerini daha verimli bir şekilde keşfetmesine ve öğrenmesine yardımcı olabilir. Çeşitli veri kaynaklarından öğrenebilen ve bilgiyi yeni durumlara genelleyebilen algoritmalar geliştirmek, YGZ'ye ulaşmak için çok önemlidir.

   
   

4. Bilişsel Robotik ve Bedenlenmiş Zeka: Gerçek AGI, yalnızca bilgi işlemekten fazlasını gerektirir; fiziksel dünyayla etkileşimi gerektirecektir. Bilişsel robot bilimi, robotların insanlara benzer şekilde dünya hakkında öğrenmelerini ve akıl yürütmelerini sağlamak için algıyı, bilişi ve eylemi entegre etmeyi amaçlamaktadır. Somutlaştırılmış zeka araştırması, ajanların çevreleriyle etkileşimleri yoluyla, duyu-motor becerilerinden ve fiziksel deneyimlerden yararlanarak nasıl zeka geliştirebileceklerini araştırıyor.

   
   

5. Sembolik Akıl Yürütme ve Bilgi Temsili: AGI sistemleri sembolik olarak akıl yürütebilmeli ve karmaşık bilgi temsillerini yönetebilmelidir. Sembolik akıl yürütme, soyut akıl yürütme ve problem çözme görevlerini gerçekleştirmek için mantıksal kuralların, çıkarım mekanizmalarının ve yapılandırılmış bilgi temsillerinin kullanılmasını içerir. Sembolik akıl yürütmeyi sinir ağları gibi istatistiksel yaklaşımlarla birleştirmek, daha güçlü ve esnek akıl yürütme yeteneklerini mümkün kılmak için aktif bir araştırma alanıdır.

   
   

6. Öğrenmeyi ve Meta-Öğrenmeyi Transfer Etme: AGI sistemleri, bir alanda öğrenilen bilgi ve becerileri yeni ve alışılmadık alanlara aktarma yeteneğine sahip olmalıdır. Transfer öğrenme teknikleri, ilgili görevlerde veya alanlarda öğrenmeyi hızlandırmak için mevcut bilgiden yararlanmayı amaçlamaktadır. Meta-öğrenme veya öğrenmeyi öğrenme, sınırlı verilerle yeni durumlara ve görevlere hızlı bir şekilde uyum sağlayarak verimli bir şekilde öğrenmeyi öğrenebilen modeller geliştirmeye odaklanır.

   
   

7. Veri ve Hesaplamalı Kaynaklar: AGI geliştirme, eğitim modelleri için büyük miktarda yüksek kaliteli veri gerektirir. İnsan bilgisinin genişliğini ve derinliğini yakalamak için birden fazla alandaki çeşitli veri kümelerine erişim önemlidir. Ayrıca YGZ geliştirme, karmaşık modellerin eğitimi ve çalıştırılması için önemli miktarda hesaplama kaynağı gerektirir. Özel yapay zeka çipleri ve dağıtılmış bilgi işlem sistemleri gibi donanımlardaki ilerlemeler, YGZ araştırmalarını önemli ölçüde hızlandırabilir.

   
   

8. Etik, Güvenlik ve Açıklanabilirlik: YGZ ilerledikçe etik kaygıları ele almak, sağlam güvenlik önlemleri geliştirmek ve YGZ sistemlerinin şeffaflığını ve yorumlanabilirliğini sağlamak çok önemlidir. Araştırmacılar, riskleri azaltmak ve insan kullanıcıların davranışlarını anlayıp güvenmelerini sağlamak için yapay zeka sistemlerini daha şeffaf, açıklanabilir ve hesap verebilir hale getirmenin yollarını araştırıyor.

   
   

9. İşbirliği ve Disiplinlerarası Araştırma: YGZ'ye ulaşmak, yapay zeka, sinir bilimi, psikoloji, felsefe ve daha fazlası dahil olmak üzere çeşitli alanlardan uzmanların işbirliğini gerektirir. Disiplinlerarası araştırma ve bilgi paylaşımını teşvik etmek, YZG'nin geliştirilmesinde yeni anlayışlara ve yenilikçi yaklaşımlara yol açabilir.

   
   

Bu alanların her birinde ilerleme kaydedilirken, YGZ'ye ulaşmanın, tamamlanması için net bir zaman çizelgesi olmayan açık uçlu bir sorun olmaya devam ettiğini belirtmek önemlidir. Sürekli araştırma, keşif ve yineleme gerektiren karmaşık ve uzun vadeli bir hedeftir.

Rabbim hepimize merhamet etsin!