Şu anda yapay zekanın kilit oyuncuları iki ana gruba ayrılabilir: açık kaynaklı yapay zekanın destekçileri ve kapalı yapay zekanın destekçileri. İlginçtir ki, kapalı yapay zekanın en büyük destekçilerinden biri, modellerinin kaynak kodunu yayınlamayan, yalnızca onlara erişim sağlayan OpenAI'nin kendisidir. Genellikle bu modelleri yayınlamanın çok tehlikeli olacağını, dolayısıyla tıpkı nükleer enerjide olduğu gibi merkezi kontrolün gerekli olduğunu savunuyorlar. Açıkçası bu argümanın bir temeli var ancak kararın arkasında ticari çıkarları görmek zor değil. ChatGPT'nin kaynak kodu herkesin kullanımına açık olsaydı hizmetin bedelini kim ödeyecekti? Buna karşılık, Meta (Facebook) gibi açık kaynaklı yapay zekanın destekçileri, kapalı yapay zekanın ilerlemeyi engellediğine ve açık kaynaklı yapay zekanın doğru yön olduğuna inanıyor. Tabii burada işin ticari yönlerini de görmekte fayda var. Meta için yapay zeka modeli ana ürün değil. Onlar için yapay zeka yalnızca bir araç ve modelin paylaşılması iş açısından bir dezavantaj oluşturmuyor. Aksine, Meta'nın daha sonra topluluğun gelişmelerinden yararlanabilmesi nedeniyle iş avantajı sağlar. Ancak bu modelde de küçük bir sorun var. Gerçekten açık kaynak değil. Bir yapay zeka modeli aslında ayarlanabilir parametrelere sahip devasa bir matematiksel denklemdir. Bu parametreler eğitim süreci sırasında ayarlanır. Bir şirket açık kaynaklı yapay zekadan bahsettiğinde, bu, herkesin modeli kendi makinesinde çalıştırabilmesi için bu parametrelerin serbestçe erişilebilir hale getirildiği anlamına gelir. Ancak tamamen açık kaynak değil! Yapay zeka söz konusu olduğunda eğitim, geleneksel programların oluşturulmasına benzer. Buna dayanarak, model parametreleri ikili dosyayı temsil eder. Yani Meta, X (Twitter) veya diğer şirketler model kaynaklarını açık hale getirdiğinde aslında sadece sonucu veriyorlar. Yani elde ettiğimiz şey sabit bir mimarinin parametrelendirilmesidir. Mimaride herhangi bir şeyi değiştirmek veya geliştirmek istiyorsak, örneğin Transformer mimarisi yerine Mamba mimarisini kullanmak istiyorsak, modeli yeniden eğitmemiz gerekir ki bunu eğitim seti olmadan yapamayız. Bu nedenle, bu modellere yalnızca ince ayarlar yapılabilir, daha fazla geliştirilemez. Açık kaynak olarak adlandırılan modeller, mimari sabit olduğundan gerçek anlamda açık kaynak değildir. Bu modellere yalnızca ince ayarlar yapılabilir ancak daha fazla geliştirilemez; çünkü bu, eğitim setini de gerektirir. Gerçek açık kaynaklı yapay zeka hem modelden hem de eğitim setinden oluşur! “Açık kaynaklı” yapay zeka modelleri genellikle büyük şirketlerin ürünleridir. Büyük bir modelin eğitimi muazzam miktarda hesaplama kapasitesi ve dolayısıyla çok fazla para gerektirdiğinden bu anlaşılabilir bir durumdur. Yalnızca büyük şirketler bu tür kaynaklara sahiptir, bu nedenle yapay zeka gelişimi merkezileştirilmiştir. Bitcoin formundaki blockchain teknolojisi, merkezi olmayan para olasılığını yarattığı gibi, aynı zamanda bir şirket yerine topluluğa ait olan gerçek anlamda açık kaynaklı yapay zeka yaratmamıza da olanak tanıyor. Bu makale, böylesine gerçek anlamda açık kaynaklı, topluluk odaklı bir yapay zekanın blockchain teknolojisi kullanılarak nasıl geliştirilebileceğine dair bir konsepttir. Daha önce de belirttiğim gibi, gerçek anlamda açık kaynaklı bir yapay zekanın temeli açık bir veri kümesidir. Veri seti aslında en değerli kaynaktır. Örneğin ChatGPT durumunda, dil modeli kamuya açık veritabanları (örn. Common Crawl) üzerinde eğitildi ve daha sonraki bir aşamada insan yardımı (RLHF) ile ince ayar yapıldı. Bu ince ayar, insan emeği nedeniyle son derece maliyetlidir, ancak ChatGPT'ye gücünü veren de budur. Mimarinin kendisi (muhtemelen) genel bir transformatör veya onun değiştirilmiş bir versiyonudur; Uzmanlar Karışımı, yani birden fazla paralel transformatör anlamına gelir. Önemli olan mimarinin özel olmamasıdır. ChatGPT'yi (ve diğer tüm modelleri) benzersiz kılan şey, iyi veri kümesidir. Modele gücünü veren de budur. Bir yapay zeka eğitim veri kümesinin boyutu genellikle birkaç terabayttır ve böyle bir veri kümesine nelerin dahil edilip edilemeyeceği gruba ve kültüre göre değişiklik gösterebilir. Veri seçimi çok önemlidir çünkü örneğin büyük bir dil modelinin 'kişiliğini' belirleyecektir. Büyük şirketlerin (Google, Microsoft vb.) yapay zeka modellerinin ırkçı davranması nedeniyle birçok büyük skandal patlak verdi. Bunun nedeni veri setinin yanlış seçilmesidir. Veri kümesi gereksinimleri kültüre göre değişebileceğinden birden fazla çatal gerekli olabilir. IPFS veya Ethereum Swarm gibi merkezi olmayan, içerik adresli depolama çözümleri, bu tür versiyonlu, çok çatallı büyük veri kümelerini depolamak için idealdir. Bu depolama çözümleri, tek tek dosyaların içerikten oluşturulan bir karma ile adreslenebildiği GIT sürüm kontrol sistemine benzer şekilde çalışır. Bu tür sistemlerde çatallar ucuza oluşturulabilir çünkü yalnızca değişikliklerin saklanması gerekir ve iki veri kümesinin ortak kısmı tek bir örnekte saklanır. Uygun veri kümelerine sahip olduğumuzda modeli eğitmeye devam edebiliriz. Giriş bölümünde de belirtildiği gibi, bir yapay zeka modeli aslında çok sayıda serbest parametreye sahip devasa bir matematiksel denklemdir. Bir modelin ne kadar çok serbest parametresi varsa, o kadar "akıllı" olduğu genel olarak doğrudur, bu nedenle parametre sayısı genellikle modelin adında belirtilir. Örneğin lma-2-7b modeli, model mimarisinin lma-2 olduğu ve 7 milyar parametreye sahip olduğu anlamına gelir. Eğitim sırasında bu parametreler, modelin verilen girdi için belirtilen çıktıyı sağlayacağı şekilde veri seti kullanılarak ayarlanır. Kısmi türevlerin yardımıyla en uygun parametreleri bulan eğitim için geri yayılım kullanılır. Eğitim sırasında veri seti gruplara bölünür. Her adımda, belirli bir grup girdi ve çıktı parametrelerini sağlar ve geri yayılım, verilen girdiden verilen çıktıyı doğru bir şekilde hesaplamak için modelin parametrelerinin nasıl değiştirilmesi gerektiğini hesaplamak için kullanılır. Model istenen doğruluğu elde edene kadar bu işlemin verilen veri kümesi üzerinde birden çok kez tekrarlanması gerekir. Doğruluk test veri seti ile kontrol edilebilir. Büyük şirketler devasa GPU kümeleri üzerinde eğitim yürütüyor çünkü eğitim çok büyük hesaplama kapasitesi gerektiriyor. Merkezi olmayan bir sistemde, ek bir zorluk da bireysel düğümlerin güvenilmez olmasıdır ve güvenilmezliğin her zaman bir maliyeti vardır! Bu güvenilmezlik, Bitcoin'in küçük bir ülkenin enerji tüketimine sahip olmasının nedenidir. Bitcoin, hesaplama kapasitesinin güvenilirliğin yerini aldığı Proof of Work konsensüsünü kullanır. Bireysel düğümlere güvenmek yerine, iyi niyetli düğümlerin ağdaki kötü niyetli düğümlerden daha fazla hesaplama kapasitesine sahip olduğuna güveniyoruz. Neyse ki Ethereum tarafından kullanılan Proof of Stake gibi, stake edilen paranın hesaplama kapasitesi yerine güvenilirliğimizi garanti ettiği başka mutabakat mekanizmaları da var. Bu durumda, büyük hesaplama kapasitesine gerek kalmaz, bu da enerji talebinin ve çevresel etkinin önemli ölçüde azalmasına neden olur. Merkezi olmayan eğitimde, eğitim düğümü ile talep sahibi arasındaki güvenin yerini alacak bazı mekanizmalara ihtiyaç vardır. Olası bir çözüm, eğitim düğümünün tüm eğitim sürecinin bir günlüğünü oluşturması ve bir üçüncü taraf olan doğrulayıcı düğümün belirli noktalarda günlüğü rastgele kontrol etmesidir. Doğrulayıcı düğüm eğitimi tatmin edici bulursa eğitim düğümü teklif edilen ödemeyi alır. Doğrulayıcı tüm günlüğü kontrol edemez; çünkü bu, tüm hesaplamaların yeniden yapılması anlamına gelir ve doğrulamanın hesaplama gereksinimleri eğitimin gereksinimlerine eşit olur. Diğer bir seçenek ise, düğümün hesaplamayı doğru yaptığını varsaydığımız ve herkesin aksini kanıtlayabileceği bir sorgulama dönemi sağladığımız iyimser çözümdür. Bu durumda, hesaplamayı gerçekleştiren düğüm daha büyük bir miktar (ceza) yatırır ve hesaplamayı talep eden düğüm de bir miktar (ödül) yatırır. Düğüm hesaplamayı gerçekleştirir ve ardından sonucu yayınlar. Bunu, meydan okuma dönemi takip eder (örneğin, 1 gün). Birisi bu süre zarfında rastgele kontrollerle hesaplamada bir hata bulur ve bunu yayınlarsa, hesaplama düğümü tarafından belirlenen cezayı alır ve talep eden kişi ödülünü geri alır. Eğer meydan okuma süresi boyunca hiç kimse hesaplamanın yanlış olduğunu kanıtlayamazsa, hesaplama düğümü ödülü alır. Sıfır bilgi kanıtlarının zkSNARK adı verilen bir çeşidi vardır ve bu aynı zamanda birisinin bir hesaplama yaptığını doğrulamak için de uygundur. Bu yöntemin temel avantajı doğrulamanın ucuza yapılabilmesidir, ancak kanıtın üretilmesi hesaplama açısından yoğun bir iştir. Bu yöntem, daha basit hesaplamalar için bile çok maliyetli olduğundan, yapay zeka eğitimi için eğitimin kendisinden önemli ölçüde daha fazla hesaplama kaynağı gerektirecektir; bu nedenle, muhtemelen onu şu anda bu amaç için kullanamayız. Bununla birlikte zkML aktif bir araştırma alanıdır ve gelecekte üçüncü tarafın yerini SNARK'ı doğrulayan bir akıllı sözleşmenin alması düşünülebilir. Yukarıdakilerden, hesaplamaları doğrulamak için çeşitli çözümlerin olduğu açıktır. Bunlardan yola çıkarak blockchain tabanlı merkezi olmayan eğitim destek sistemimizin nasıl oluşturulacağını görelim. Bu sistemde veri kümeleri DAO'lar aracılığıyla topluluğa aittir. DAO, veri kümesine hangi verilerin dahil edilebileceğine karar verir. Bir grup üye karara katılmıyorsa DAO'dan ayrılarak yeni bir DAO oluşturabilir, burada mevcut veri kümesini çatallayabilir ve bağımsız olarak oluşturmaya devam edebilir. Böylece DAO, veri kümesiyle birlikte çatallanır. Veri seti içerik adresli merkezi olmayan depolamada (örneğin, Ethereum Swarm) saklandığından çatallama pahalı değildir. Veri kümesinin depolanması topluluk tarafından finanse edilir. Eğitim süreci aynı zamanda bir DAO tarafından kontrol edilmektedir. DAO aracılığıyla, yedek hesaplama kapasitelerini satmak isteyen eğitim düğümleri kayıt olabilir. Başvurmak için akıllı bir sözleşmeye yatırım yapmaları gerekiyor. Bir düğüm hesaplama sırasında hile yapmaya çalışırsa bu hisseyi kaybeder. Talep eden kişi, eğitmek istediği veri kümesini ve modeli seçer ve ardından bir ödül sunar. Teklif herkese açık olduğundan herhangi bir eğitim düğümü görevi gerçekleştirmek için başvurabilir. Eğitim düğümü, her girişin bir grubun eğitimine karşılık geldiği eğitim sürecinin tam bir günlüğünü oluşturur. Giriş, girdiyi, çıktıyı, ağırlık matrisini ve tüm ilgili parametreleri (örneğin, bırakılacak verileri seçmek için bırakma katmanı tarafından kullanılan rastgele tohum) içerir. Böylece tüm hesaplama günlüğe dayalı olarak yeniden üretilebilir. Daha önce de belirtildiği gibi, hesaplamayı doğrulamak için çeşitli yöntemler kullanılabilir. En basiti iyimser yaklaşımdır. Bu durumda, istekte bulunan kişi ödülü akıllı bir sözleşmeye yerleştirir ve eğitim düğümü eğitim günlüğünü yayınlar. Yayınlandıktan sonra hesaplamanın doğrulanması için belirli bir zaman dilimi (örneğin 1 gün) mevcuttur. Bu süre zarfında istekte bulunan kişi veya herhangi biri belirli bir adımın yanlış olduğuna dair kanıt sunarsa eğitim düğümü hissesini kaybeder ve istekte bulunan kişi ödülü geri alır. Bu durumda, doğru kanıtı sunan düğüm hisseyi alır ve herkesi hesaplamaları doğrulamaya teşvik eder. Hiç kimse böyle bir kanıt sunmazsa, eğitim düğümü ödülü süre dolduktan sonra alır. Kısaca sistem bu şekilde işliyor. Elbette birkaç soru ortaya çıkıyor. Veri setlerinin eğitimi ve saklanması masraflarını kim ödeyecek? Sistemin iş modeli, Linux iş modeli gibi çoğu ücretsiz ve açık kaynaklı çözümle aynıdır. Bir şirketin bir modele ihtiyacı varsa ve bunun ücretsiz ve açık kaynak olması konusunda bir sorunu yoksa, buna yatırım yapmak kendi modelini yetiştirmekten çok daha uygun maliyetlidir. 10 şirketin aynı dil modeline ihtiyaç duyduğunu düşünün. Modelin açık olmasını sorun etmezlerse eğitim maliyetinin tamamını ödemek yerine her birinin eğitim maliyetinin 1/10'unu ödemesi çok daha ekonomiktir. Aynı durum eğitimin temelini oluşturan veri kümeleri için de geçerlidir. Modelin gelecekteki kullanıcılarının modelin geliştirilmesine katkıda bulunabileceği eğitim modelleri için bile kitlesel fonlama kampanyaları oluşturulabilir. Modelleri bulutta eğitmek daha ucuz değil mi? Böyle bir sistemde fiyatlar piyasa tarafından düzenlendiğinden buna kesin bir cevap vermek zordur. Bu, kullanıcılara ne kadar ücretsiz hesaplama kapasitesinin sunulduğuna bağlıdır. Topluluğun gücünü Bitcoin ile zaten gördük. Bitcoin ağının hesaplama kapasitesi herhangi bir süper bilgisayarınkini aşıyor. Bulut sağlayıcılarının kar elde etmesi gerekirken bunun gibi merkezi olmayan bir sistemde kullanıcılar yedek hesaplama kapasitelerini sunar. Örneğin, güçlü bir oyun bilgisayarı olan biri, oyun oynamadığı zamanlarda yedek kapasitesini sunabilir. Bu durumda hizmet, kullanılan enerjiden biraz daha fazlasını üretiyorsa zaten kullanıcı açısından değerlidir. Ayrıca dünyada geleneksel yöntemlerle değerlendirilemeyen çok fazla atık enerji var. Bunun bir örneği yanardağların ürettiği termal enerjidir. Bu konumlarda genellikle kurulu bir elektrik şebekesi yoktur, bu da onları kullanılabilir elektrik üretimi için uygun hale getirmez. Bu enerjiyi Bitcoin madenciliği için kullanan startuplar zaten var. Neden bunu 'istihbarat madenciliği' için kullanmıyorsunuz? Bu durumda enerji neredeyse bedava olduğundan yalnızca donanım maliyetinin karşılanması gerekir. Dolayısıyla, bu kadar merkezi olmayan bir sistemde eğitimi buluttan çok daha ucuz hale getirebilecek birçok faktörün olduğu açıktır. Peki ya çıkarım? Yapay zeka modellerinin çalıştırılması durumunda gizlilik çok önemli bir konudur. Büyük hizmet sağlayıcılar doğal olarak verilerimizi gizli tutacaklarını garanti eder, ancak ChatGPT ile yaptığımız konuşmaları kimsenin dinlemediğinden emin olabilir miyiz? Sunucuların şifrelenmiş veriler üzerinde hesaplama yapmasına olanak tanıyan yöntemler (örneğin, homomorfik şifreleme) vardır, ancak bunların maliyeti yüksektir. En güvenli çözüm modelleri yerel olarak çalıştırmaktır. Neyse ki donanım giderek güçleniyor ve yapay zekayı çalıştırmak için halihazırda özel donanım çözümleri mevcut. Modellerin kendileri de önemli ölçüde gelişiyor. Araştırmalar çoğu durumda, ağırlıkları temsil etmek için yalnızca 1,5 bitin kullanıldığı aşırı durumlarda bile performansın nicelemeden sonra bile çok fazla düşmediğini göstermektedir. Bu ikinci çözüm özellikle umut vericidir çünkü en maliyetli işlem olan çarpma işlemini ortadan kaldırır. Dolayısıyla gelecekte modellerin ve donanımların gelişmesi sayesinde insan seviyesini aşan modelleri yerli olarak çalıştırmamız muhtemel. Üstelik bu modelleri LoRA gibi çözümlerle beğenimize göre özelleştirebiliyoruz. Dağıtılmış bilgi Çok umut verici bir diğer yön, almayla artırılmış nesildir (RAG). Bu, 'sözcüksel bilginin' bir vektör veri tabanında saklandığı ve dil modelimizin verilen soru için bu veri tabanından uygun bağlamı topladığı anlamına gelir. Bu, biz insanların işleyişine çok benzer. Açıkçası hiç kimse bir sözlüğün tamamını ezberleyemez. Bir soru sorulduğunda gerekli bilginin nerede bulunacağını bilmek yeterlidir. İlgili girişleri okuyup yorumlayarak tutarlı bir cevap verebiliriz. Bu çözümün çok sayıda avantajı vardır. Bir yandan yerel olarak çalıştırılması daha kolay olan daha küçük bir model yeterlidir, diğer yandan dil modellerinde büyük bir sorun olan halüsinasyon en aza indirilebilir. Ek olarak, modelin bilgisi, yeniden eğitime gerek kalmadan, yalnızca vektör veritabanına yeni bilgiler eklenerek kolayca genişletilebilir. Ethereum Swarm, yalnızca merkezi olmayan bir depolama motoru değil aynı zamanda bir iletişim çözümü olduğundan, böyle bir vektör veritabanı oluşturmak için ideal bir çözümdür. Örneğin, grup mesajlaşması Swarm üzerinden uygulanarak basit bir dağıtılmış vektör veritabanının oluşturulmasına olanak sağlanabilir. Düğüm arama sorgusunu yayınlar ve diğer düğümler ilgili bilgiyi döndürerek yanıt verir. Özet: Yüksek Lisans İşletim Sisteminin Ethereum ve Swarm Üzerinden Uygulanması LLM OS fikri, Twitter'da yayınladığı Andrej Karpathy'den geliyor. LLM OS, büyük bir dil modeli etrafında toplanmış varsayımsal bir işletim sistemidir. Blockchain tabanlı dağıtılmış sistemimizde bunu bir kullanıcının düğümü üzerinde çalışan bir aracı olarak düşünebiliriz. Bu aracı diğer aracılarla ve geleneksel Yazılım 1.0 araçlarıyla iletişim kurabilir. Bunlar bir hesap makinesini, bir Python yorumlayıcısını içerebilir ve hatta fiziksel bir robotu, arabayı veya akıllı evi kontrol edebilir. Sistemimizde dosya sistemi Swarm ile temsil edilmekte olup, ortak bilginin ulaşılabilir olduğu Swarm üzerinden oluşturulan vektör veri tabanıdır. Sistemin tamamı (ajanların kolektifi) kolektif zekanın bir biçimi olarak görülebilir. https://x.com/karpathy/status/1723140519554105733?embedable=true Gelecekte yapay zekanın şimdikinden çok daha bütünsel bir şekilde günlük hayatımızın bir parçası olacağına inanıyorum. Yapay zeka bizim bir parçamız olacak! Cep telefonları yerine her şeyi kaydeden kameralı, her şeyi duyan mikrofonlu akıllı gözlükler takacağız. Yerel olarak çalışan dil modellerimiz ve diğer aracılarla, zaman içinde ince ayarlarla ihtiyaçlarımıza uyum sağlayacak sürekli diyaloglar içinde olacağız. Ancak bu aracılar sadece bizimle değil, aynı zamanda birbirleriyle de iletişim kuracak ve tüm topluluğun ürettiği kolektif bilgiyi sürekli olarak kullanacaklar. Bu sistem insanlığı bir tür kolektif zekaya göre organize edecek ki bu çok önemli bir şey. Bu kolektif aklın tek bir şirket veya kuruluşun malı haline gelmesi kabul edilemez. Bu yüzden yukarıda özetlenen sistemlere veya benzerlerine ihtiyacımız var!
