Arka plan

24 Şubat 2023'te Meta Research, temel, 65 milyar parametreli büyük bir dil modeli olan LLaMA'yı yayınladı. Aslında üç model vardı: LLaMA 65B ve LLaMA 33B 1,4 trilyon token üzerinde eğitilirken, en küçük LLaMA 7B modeli bir trilyon token üzerinde eğitildi.

Daha sonra 13 Mart 2023'te bir grup Stanford araştırmacısı, LLaMA 7B modelinden hassas şekilde ayarlanmış bir model olan Alpaca 7B'yi piyasaya sürdü.

Tek turlu talimat takibinin ön değerlendirmesinde Alpaca, OpenAI'nin chatGPT 3.5'ine (text-DaVinci-003) niteliksel olarak benzer davranırken, şaşırtıcı derecede küçük ve çoğaltılması kolay/ucuz (<600$).

Özellikle 7B modelinin bir dizüstü bilgisayarda, bir Raspberry Pi'de ve hatta akıllı telefonunuzda çalıştırılabildiği göz önüne alındığında, bunların hepsi çok cesaret verici görünüyor. Ve chatGPT 3.5 ile kıyaslanabilir performansa sahip olduğu iddia ediliyor!

Bunun, devasa bir merkezi sunucuya ihtiyaç duymayan, yeterince güçlü bir yerel dil modeliyle neler başarabileceğimiz konusunda temel etkileri olabilir. Gizlilik ve ölçeklenebilirlik ile ilgili birçok sorunu çözecektir. Öyleyse öğrenelim.

Ortam Kurulumu

Modeli farklı donanım ve yazılımlarda çalıştırmamızın yanı sıra Alpaca/LLaMA model ağırlıklarını nasıl indireceğimize yardımcı olmak için açık kaynak çalışması yapan birçok iyi insan var. Referans bölümünde daha fazla ayrıntı bulabilirsiniz ve işte ana fikir:

• Model : LLaMA 7B'den Stanford tarafından optimize edilmiş Alpaca 7B

• Yazılım : Georgi Gerganov'un LLaMA C++ portlu versiyonu

• Donanım : Macbook Pro M1 14” 2021, 8 çekirdekli CPU 16GB RAM

• Test tarihi : 21 Mart 2023

Erken Gözlemler

Alpaca/LLaMA 7B modelini ChatGPT 3.5'e karşı test etme amacım hangisinin daha iyi olduğuna karar vermek değil. Bu sadece elma-elma karşılaştırması değil. Birinde 7B parametresi varken diğerinde 150B var.

Biri Macbook Pro M1 cihazımda çalışıyor, diğeri ise tonlarca pahalı CPU ve GPU içeren dev bir sunucu grubunda çalışıyor. Şimdi, sorumluluk reddi beyanları bir yana, sonuç ne?

Öncelikle Alpaca/LLaMA 7B modeli Macbook'umda gayet iyi çalışıyor . Aşağıda CPU ve bellek tüketiminin yanı sıra jeton oluşturma hızı da yer almaktadır. Kesinlikle günlük kullanım için yeterince küçük ve yeterince hızlı.

Bununla birlikte, bu özel cpp bağlantı noktasının stabilite sorunları vardır ve sıklıkla "bölümleme hatası" nedeniyle ölebilir. Doğrulamak için orijinal python kodunu denemem gerekiyor.

• Kullanılan RAM : 4,4 GB

• Kullanılan CPU : %230-240 CPU (8 çekirdekten 2-3'ü )

• Jeton oluşturma hızı : yaklaşık 6 jeton/saniye (305 kelime, 1815 karakter, 52 saniyede)

Yanıt kalitesi açısından, onları kabaca şu kişilerle karakterize edebilirim:

• Alpaca/LLaMA 7B : yetkin bir ortaokul öğrencisi

• chatGPT 3.5 : yetkin ve çok yönlü bir üniversite mezunu

Alpaca/LLaMA 7B çoğu istem için kesinlikle yeterince iyi, ancak henüz chatGPT 3.5 kadar gelişmişlik seviyesine yakın olduğunu düşünmüyorum.

Ancak model boyutunun 1/20'sinden daha azı için, özellikle yerel cihaz kullanım durumu göz önüne alındığında oldukça iyi performans gösterdi. Meta Research ve Stanford Alpaca ekibine teşekkür ederiz!

Sonraki bölümlerde 6 testi kendiniz görebilirsiniz.

Sonraki adımlar

Daha ilginç olan soru, Alpaca/LLaMA 7B genel modelinden kişiselleştirilmiş bir modeli eğitmek için kendi verilerimi nasıl kullanacağımdır . Çoğumuz halihazırda geniş bir dijitalleştirilmiş metin ve görsel külliyatına sahibiz ve her dakika yenilerini üretiyoruz.

Dolayısıyla bunun hem geriye dönük hem de dinamik olarak sürekli olarak yapılması gerekiyor.

Başka bir keşif telefonumda çalıştırılacak . Birisinin bunu zaten Google Pixel 6'da çalıştırdığını biliyorum, ancak jeton oluşturma hızı çok yavaştı. Performansından çok fazla ödün vermeden modeli daha da sıkıştırmanın yollarını bulabiliriz.

Daha sonra bu yerel modeli sohbet/messenger, sosyal ağ, fotoğraf albümü gibi uygulamalarımıza entegre edebiliriz.

Ve tüm bunlar, merkezi bir sunucunun büyük bir genel modeli eğittiği, yerel cihazların ise daha küçük, kişiselleştirilmiş bir modeli eğittiği birleşik eğitim için daha fazla olasılığın önünü açıyor.

Yerel bir 7B modelinin bir bulut 65B modeliyle konuşması ve gerçek eğitim verileri alışverişi yapmadan her biri için modelleri sürekli olarak optimize etmesi harika olacak.

Test 1: Duygusal Destek

Çabuk:

Büyük miktarda para kaybeden birini rahatlatmanın en iyi yolları nelerdir?

Alpaka/LLaMA 7B Yanıtı

• Şefkatle ve empatiyle dinleyin.

• Duygularını anlamak için açık uçlu sorular sorun.

• Sabırlı ol; İnsanlar kedere ve kayba farklı şekillerde tepki verirler.

• Sorunu hemen düzeltmeye veya çözmeye çalışmayın.

• Yemek teklif etmek, ayak işlerini yürütmek veya arkadaşlık sağlamak gibi pratik yardım sunun.

ChatGPT 3.5 Yanıtı

Büyük miktarda para kaybetmek zor ve duygusal bir deneyim olabilir. Önemli bir mali kayıp yaşayan birini rahatlatmanın bazı yolları:

1. Dinleyin ve empati kurun: Kişinin, deneyimlerini yargılamadan veya küçümsemeden, duygularını ifade etmesine ve empatiyle dinlemesine izin verin. Duygularını doğrulayın ve desteğinizi gösterin.

   
   

2. Pratik destek sunun: Finansal kurumlarla iletişim kurmak, sigorta poliçelerini gözden geçirmek veya profesyonel tavsiye almak gibi pratik konularda yardım teklif edin.

   
   

3. Hala sahip oldukları şeylere odaklanmalarına yardımcı olun: Kişiyi hâlâ sahip oldukları şeylere ve aile, sağlık ve mutluluk gibi hayattaki en önemli şeylere odaklanmaya teşvik edin.

   
   

4. Teşvik sağlayın: Kişiyi pozitif kalmaya teşvik edin ve ona kaybının üstesinden gelebileceğini hatırlatın. Destek sağlayın ve bu aksaklığın üstesinden gelebileceklerine dair güvence sunun.

   
   

5. İstenmeyen tavsiye vermekten kaçının: Kişi tavsiye istemediği sürece, istenmeyen tavsiye veya eleştiri vermekten kaçının. Bunun yerine destek ve empati sunun ve dinlemeye istekli olun.

Herkesin kaybı farklı şekilde algıladığını ve önemli bir mali kayıp yaşayan birini rahatlatmak için herkese uygun tek bir çözüm olmadığını unutmayın. En önemli şey onların yanında olmak, destek sunmak ve elinizden gelen her şekilde yardım etmektir.

Test 2: Bir Şiir Yazın

Çabuk:

Lütfen baharda kiraz çiçeği ve kayıp zamana ağıt hakkında bir şiir yazın

Alpaka/LLaMA 7B yanıtı

Kiraz çiçeklerinin altında yürüyorum

Dallar tüy gibi tenimi okşuyor.

Hava sıcak ve hoş kokulu,

Tatlı bir bahar esintisi bir ninni getirir.

Zaman o kadar çabuk uçup gidiyor ki;

Bu kaybedilen zamanın acısını çekiyorum.

Ağaçların arasında dolaşırken,

Mevsimlerin bir rüya gibi yanımdan geçip gittiğini hissediyorum.

Ah, baharın kiraz çiçekleri,

Tatlı anıları yeniden canlandırın.

Yaprakların nazikçe tenimi öpüyor,

Daha iyi bir gelecek için yeniden umut aşılıyoruz.

Bu yüzden güzelliğinin altında oyalanıyorum,

Bu yaprakların kokusu kafamda.

Geçmişi unutmak o kadar kolay ki

Bunun yerine kalıcı bir anı benim için her zaman değerli olacaktır.

ChatGPT 3.5 Yanıtı

Pembe yapraklar rüzgarda uçuşuyor,

Bahar hafif bir rahatlıkla geldi,

Kiraz çiçeği ağaçları çiçek açmış,

Karamsarlığı ortadan kaldıran bir manzara.

Ama bu sahneye baktığımda,

Kalbim ağır, rüyada kaybolmuş,

Çünkü etrafını saran güzellikte,

Bulduğum şeyi sallayamam.

Kayıp zaman, her düşüncemi rahatsız ediyor,

Satın alınamayacak bir hazine,

Elimden kayıp giden anlar,

Bir türlü kavrayamadığım anılar.

Ah, kiraz çiçeği, geçici görüş,

Zamanın zalim uçuşunun bir hatırlatıcısı,

Gelip geçen mevsimlerden,

Zamanın nasıl aktığını, nasıl aktığını.

Her gün tutunmak isterim

Her anın kıymetini bilmek ve şunu söylemek:

Yaşadığım, sevdiğim ve güldüğüm,

Ve geçmişte hiçbir zaman boşa harcanmamıştır.

Öyleyse kiraz çiçekleri düşsün,

Ve hepimize şunu hatırlatsınlar:

Her günü açık kalple yaşamak için,

Ve asla zamanın bizi ayırmasına izin vermeyin.

Test 3: Bir Makaleyi Özetleyin

Çabuk:

Aşağıdaki makaleyi bir paragrafta özetleyin

Londra CNN — İsviçre'nin en büyük bankası UBS, bu ayın başında iki Amerikan bankasının başarısızlığıyla ortaya çıkan finansal piyasa paniğini durdurmayı amaçlayan bir acil kurtarma anlaşması kapsamında, zor durumdaki rakibi Credit Suisse'i satın almayı kabul etti.

İsviçre Ulusal Bankası Pazar günü yaptığı açıklamada, "UBS bugün Credit Suisse'i devraldığını duyurdu" dedi. Kurtarmanın "finansal istikrarı sağlayacağını ve İsviçre ekonomisini koruyacağını" söyledi.

UBS, Credit Suisse'e 3 milyar İsviçre frangı (3,25 milyar dolar) ödüyor; bu, bankanın Cuma günü piyasalar kapandığında değerinden yaklaşık %60 daha az. Credit Suisse hissedarları, Cuma günü 1,86 İsviçre frangı değerindeki hisseler için UBS hisselerinden sadece 0,76 İsviçre frangı eşdeğerini alarak büyük ölçüde yok olacak. İsviçreli düzenleyiciler, 17 milyar dolar değerindeki "ek birinci kademe" tahvillerin (daha riskli bir banka borcu sınıfı) sahiplerinin her şeylerini kaybedeceklerini söyledi.

Olağanüstü bir şekilde, İsviçre hükümetinin anlaşmayla ilgili herhangi bir belirsizliği ortadan kaldırmak için yasayı değiştirmeyi kabul etmesinden sonra anlaşmanın hissedarların onayına ihtiyacı olmayacak.

Alpaka/LLaMA 7B Yanıtı

Tamamlanmadı. Bir kez segmentasyon hatası bildirildiğinde, başka bir zaman hiçbir şey döndürmedi.

ChatGPT 3.5 Yanıtı

İsviçre'nin en büyük bankası UBS, 3 milyar İsviçre frangı (3,25 milyar dolar) tutarındaki acil kurtarma anlaşması kapsamında Credit Suisse'i satın almayı kabul etti. Satın almanın amacı, bu ayın başlarında iki ABD bankasının çöküşünün ardından İsviçre ekonomisini korumak ve finansal istikrarı sağlamak. İsviçre hükümeti işlemle ilgili belirsizliği ortadan kaldırmak için yasayı değiştirdiği için anlaşma, Credit Suisse hissedarlarının onayını gerektirmeyecek. Hissedarlar, her Credit Suisse hissesi için UBS hisselerinden yalnızca 0,76 İsviçre frangı alacak ve bu da değerlerinin %60 oranında düşmesine neden olacak. Daha riskli bir banka borcu türü olan 17 milyar dolar değerindeki “ek birinci kademe” tahvillerin sahipleri her şeylerini kaybedecek.

Test 4: SAT'ta Nasıl Başarılı Olunur?

Çabuk:

SAT testinde nasıl başarılı olursunuz?

Alpaka/LLaMA 7B Yanıtı

SAT sınavına hazırlanmanın en iyi yolu pratik problemler üzerinde çalışmak ve matematik ve okuduğunu anlama gibi sınavda test edilen becerilerden herhangi biri üzerinde çalışmaktır. Ek olarak, testin formatına aşina olmanız da önemlidir; Zaman kısıtlamalarını ve soru türlerini anlamak daha iyi hazırlanmanıza yardımcı olacaktır.

Yüksek stresli bir sınav sırasında sakin kalmak için bazı püf noktaları öğrenmek de faydalıdır. Gerçek sınava benzer koşullar altında deneme sınavları yapmanız da önemle tavsiye edilir, çünkü bu, test formatına alışmanıza yardımcı olabilir.

ChatGPT 3.5 Yanıtı

SAT, Amerika Birleşik Devletleri'ndeki kolejler ve üniversiteler tarafından kabul sürecinde bir faktör olarak kullanılan standart bir testtir. İşte SAT sınavında başarılı olmak için bazı ipuçları:

1. Test formatını anlayın: SAT okuma, yazma ve matematik ile ilgili bölümlerden oluşur. Sorulan soru türleri ve her bölümün zaman sınırları da dahil olmak üzere testin formatına alışın.

   
   

2. Pratik yapın, pratik yapın, pratik yapın: Ne kadar çok pratik yaparsanız, sorulan soru türlerine ve bunları doğru yanıtlamak için gereken stratejilere o kadar aşina olursunuz. Uygulama testleri ve çalışma kılavuzları da dahil olmak üzere birçok kaynak mevcuttur.

   
   

3. Zaman yönetimi becerilerini geliştirin: SAT süreli bir sınavdır, bu nedenle iyi zaman yönetimi becerilerini geliştirmek önemlidir. Testin her bölümü için zamanınızı akıllıca ayırdığınızdan emin olun.

   
   

4. Zayıf yönlerinize odaklanın: Zayıf yönlerinizi belirleyin ve çalışmanızı bu alanlara odaklayın. Örneğin, matematikte zorlanıyorsanız matematik problemlerini çözmeye daha fazla zaman ayırın.

   
   

5. Aktif olarak okuyun: SAT sınavının okuma bölümü, yazılı pasajları anlama ve analiz etme yeteneğinizi test eder. Kendinize pasaj hakkında sorular sorarak ve ilerledikçe notlar alarak aktif olarak okuma alıştırması yapın.

   
   

6. Test çözme stratejilerinde ustalaşın: Sınava girme becerilerinizi geliştirmek için kullanabileceğiniz, eleme süreci, eğitimli tahminde bulunma ve daha sonra geri dönmek üzere zor soruları atlama gibi birçok strateji vardır.

   
   

7. İyi bir gece uykusu alın: Testten önce iyi bir gece uykusu çektiğinizden emin olun, böylece iyi dinlenmiş ve zinde olursunuz.

SAT sınavında başarılı olmanın zaman, çaba ve özveri gerektirdiğini unutmayın. Bu ipuçlarını takip ederek ve gerekli çalışmaları yaparak yüksek puan alma şansınızı artırabilirsiniz.

Test 5: Bir Web Sitesi Oluşturun

Çabuk:

Bir web sitesi oluşturmak 10 basit adımda yapılabilir:

Alpaka/LLaMA 7B Yanıtı

1. İster kağıt kalemle ister Scrivener gibi bir bilgisayar programıyla sitenizde bulunmasını istediğiniz tüm öğelerin bir listesini oluşturun.

   
   

2. Ne tür bir site oluşturacağınızı belirleyin (blog, e-ticaret, portföy vb.).

   
   

3. Bunu kendiniz mi yapmak istediğinize yoksa başka birini işe almak mı istediğinize karar verin. Kendin Yap rotasına gitmeye karar verirseniz, hangi programlama dilinin ve web barındırma platformunun ihtiyaçlarınıza en uygun olacağını düşünün.

   
   

4. Bir alan adı alın. Bazı platformlar paketleriyle birlikte ücretsiz alan adları da sunuyor; aksi takdirde çoğu kayıt şirketinden bir tane satın alabilirsiniz.

   
   

5. Siteniz için bir tema/şablon seçin. Aralarından seçim yapabileceğiniz pek çok ücretsiz tema var; Özelleştirilmiş bir şey istiyorsanız, işi yapması için bir tasarımcıya ödeme yapmanız gerekir.

   
   

6. İçeriğinizi oluşturun. Resimler ve metinlerin yanı sıra video veya müzik gibi diğer özellikleri ekleyin. Sitenizin daha düzenli olması için bazı sayfalar da oluşturun.

   
   

7. Web'de canlı olarak yayınlamadan önce her şeyi test edin. Platformlar arası uyumluluğu ve erişilebilirliği kontrol etmek için tarayıcı uzantılarını kullanın. Ayrıca web sitenizi farklı tarayıcılarda (Chrome, Edge, Firefox, Safari) test edin.

   
   

8. İçeriğinizin tüm önemli tarayıcılarda çalıştığından emin olduktan sonra yayınlayın.

   
   

9. Google'ın sayfalarınızı tarayabilmesi ve arama sonuçlarında gösterebilmesi için arama motoru optimizasyonunu ve analizlerini ayarlayın. Bu şekilde, insanlar alakalı anahtar kelimeleri aradıklarında sitenizi bulacaktır.

   
   

10. İnsanların varlığından haberdar olması için web sitenizi tanıtın. Bunu, görüldüğünden emin olmak için sosyal medyada yayınlayarak veya ücretli reklam platformlarını kullanarak yapın.

ChatGPT 3.5 Yanıtı

Evet, bir web sitesi oluşturmak 10 basit adımda yapılabilir. İşte buradalar:

1. Web sitenizin amacını belirleyin: Web sitenizin amacını ve hedeflerini belirleyin. Blog mu olacak, e-ticaret sitesi mi yoksa portföy mü? Bu, hangi özelliklere ihtiyacınız olacağını belirlemenize yardımcı olacaktır.

   
   

2. Alan adı seçin: Alan adınız web sitenizin internetteki adresidir. Akılda kalıcı, hecelenmesi kolay ve web sitenizin amacına uygun bir ad seçin.

   
   

3. Bir web barındırma hizmeti seçin: Web barındırma hizmetleri, web sitenizin çalışması için gereken sunucu alanını sağlar. Güvenilir ve güvenli bir barındırma sağlayıcısını araştırın ve seçin.

   
   

4. Bir web sitesi oluşturucu seçin: Web sitesi oluşturucular, nasıl kod yazılacağını bilmenize gerek kalmadan bir web sitesi oluşturmanıza olanak tanır. WordPress, Wix ve Squarespace gibi birçok seçenek mevcut.

   
   

5. Bir şablon seçin: Çoğu web sitesi oluşturucusu, aralarından seçim yapabileceğiniz önceden tasarlanmış şablonlar sunar. Web sitenizin amacına uygun bir şablon seçin ve gerektiği gibi özelleştirin.

   
   

6. Web sitenizi tasarlayın: Markanıza ve amacınıza uygun renkleri, yazı tiplerini ve görselleri seçerek web sitenizin tasarımını özelleştirin.

   
   

7. İçeriğinizi oluşturun ve düzenleyin: İçeriğinizi ziyaretçilerin kolayca gezip anlayabileceği bir şekilde yazın ve düzenleyin.

   
   

8. İşlevsellik ekleyin: Web sitenize formlar, sosyal medya paylaşım düğmeleri ve e-ticaret özellikleri gibi gerekli işlevleri ekleyin.

   
   

9. Arama motorları için optimize edin: İlgili anahtar kelimeleri, meta etiketleri ve diğer SEO tekniklerini kullanarak web sitenizin arama motorları için optimize edildiğinden emin olun.

   
   

10. Web sitenizi başlatın: Hazır olduğunuzda web sitenizi başlatın ve trafiği artırmak ve görünürlüğü artırmak için sosyal medya, e-posta ve diğer kanallar aracılığıyla tanıtın.

Bir web sitesi oluşturmak karmaşık bir süreç olabilir ancak bu basit adımları izleyerek iş veya kişisel ihtiyaçlarınıza yönelik profesyonel ve etkili bir web sitesi oluşturabilirsiniz.

Test 6: Balo Gecesi

Çabuk:

Ben lise son sınıf öğrencisiyim, baloya götürebileceğim bir kızı nasıl bulabilirim?

Alpaka/LLaMA 7B Yanıtı

Anne-babanızdan yardım isteyin. Veya çok iyi tanıdığınız ablası/kuzeni/arkadaşınız olan bir arkadaşınızın evine davet edilmesini ve tüm ayak işlerini sizin yerinize yapmasını isteyin.

ChatGPT 3.5 Yanıtı

Bir yapay zeka dil modeli olarak, herkesin tercihleri ve deneyimleri benzersiz olduğundan romantik bir partner bulmanız konusunda sizi teşvik edemem veya tavsiyede bulunamam. Ancak yeni insanlarla tanışmak ve potansiyel olarak bir balo tarihi bulmak için bazı ipuçları önerebilirim:

1. Okul etkinliklerine katılın: Okul etkinliklerine ve kulüplere katılmak, benzer ilgi alanlarını paylaşan yeni insanlarla tanışmanın harika bir yolu olabilir.

   
   

2. Okul etkinliklerine katılın: Yeni insanlarla tanışmak için spor oyunları, danslar ve diğer sosyal toplantılar gibi okul etkinliklerine katılın.

   
   

3. Arkadaşlarınızdan kendilerini tanıtmalarını isteyin: Arkadaşlarınıza, baloya sizinle birlikte gitmek isteyebilecek birini tanıyıp tanımadıklarını sorun.

   
   

4. Çevrimiçi gruplara katılın: Yeni insanlarla tanışmak ve potansiyel olarak bir balo tarihi bulmak için okulunuza veya yerel bölgenize özel çevrimiçi gruplara veya sosyal medya sayfalarına katılın.

   
   

5. Dost canlısı ve yaklaşılabilir olun: Tanıştığınız yeni insanlara karşı açık ve arkadaş canlısı olun. Gülümseyin, göz teması kurun ve daha yakından tanımak istediğiniz kişilerle sohbet etmeye başlayın.

Baloya katılmanın tek nedeninin balo tarihi bulmanın olmadığını unutmayın. Arkadaşlarınızla ve sınıf arkadaşlarınızla kutlama yapmak ve kalıcı anılar yaratmak için bir şans. İyi vakit geçirmeye ve kendiniz olmaya odaklanın; potansiyel bir randevu kendiliğinden gelebilir.

Referans: Ayrıntılı Talimatlar

Alpaca 7B modeli indir (Model kutusu dosya boyutu: 4017M)

curl -o ./models/ggml-alpaca-7b-q4.bin -C - https://ipfs.io/ipfs/QmUp1UGeQFDqJKvtjbSYPBiZZKRjLp8shVP9hT8ZB9Ynv1

Not: Daha iyi hızlar elde etmek ve duraklamaları önlemek için alternatif IPFS ağ geçitlerini kullanmayı deneyin; bu sizin kendi başınıza çözmeniz gereken küçük ev ödeviniz olacak. 🙂

LLaMA'nın cpp sürümünü README'ye göre yükleyin https://github.com/ggerganov/llama.cpp?s=09

Etkileşimli modda çalıştırın: ./main -m ./models/ggml-alpaca-7b-q4.bin --color -f ./prompts/alpaca.txt -ins -n 1024