OpenAI Modelleri Karşı karşıya: GPT-4 ve GPT-3

GPT modellerinin yeni sürümü GPT-4'ün piyasaya sürülmesi, zaten ünlü olan OpenAI dil modellerine daha fazla ilgi gösterilmesini sağladı. Şaşmamalı!

GPT-4, daha geniş genel bilgisi ve problem çözme yetenekleri sayesinde karmaşık sorunları daha doğru bir şekilde çözebilen OpenAI'nin en gelişmiş sistemi olarak tanıtıldı.

Bu yazıda iki model grubu arasında yer alan GPT-3 ile GPT-4 ve GPT-3.5'i karşılaştırıyorum.

Hazır?

OpenAI GPT-3 nedir?

GPT-3, OpenAI tarafından geliştirilen bir dil modelidir. Haziran 2020'de piyasaya sürüldü ve olağanüstü dil oluşturma yetenekleriyle hızla dikkat çekti.

GPT-3, değişen sayıda parametre ve gereken hesaplama kaynaklarına sahip birden fazla temel modelle gelir. En tanınmışları Ada, Babbage, Curie ve Davinci'dir.

15 Mart 2022'de OpenAI, GPT-3'ün "text-davinci-003" adlı yeni sürümünü yayınladı. Bu model, GPT'nin önceki sürümlerine göre daha yetenekli olarak tanımlandı. Üstelik Haziran 2021'e kadar veriler üzerinde eğitilmiş, bu da onu modellerin önceki sürümlerine (Ekim 2019'a kadar verilerle eğitilmiş) göre çok daha güncel hale getiriyor. Sekiz ay sonra, Kasım 2022'de OpenAI, bu modelin "GPT-3.5" serisine ait olduğunu belirtmeye başladı. Ama zaman çizelgesini atlayalım.

GPT-3.5 nedir?

Bugün itibariyle GPT-3.5 serisine ait 5 farklı model varyantımız bulunuyor. Bunlardan dördü metin tamamlama görevleri için, biri ise kod tamamlama görevleri için optimize edilmiştir.

GPT-3.5 modelinin en son sürümü olan gpt-3.5-turbo , 1 Mart 2023'te piyasaya sürüldü ve GPT-3.5'e olan ilginin anında artmasına neden oldu. Sadece GPT-4 yayınlanmadan önce seyirciyi ısıtmak için.

OpenAI GPT-4 nedir?

GPT-4, OpenAI dil modellerinin en yeni ve en gelişmiş sürümüdür. 14 Mart 2023'te tanıtılan bu özelliğin, derin öğrenme gelişiminde yeni bir kilometre taşı olduğu söyleniyor.

GPT-4'ün, GPT-3 ve GPT-3.5'e göre daha gerçekçi ifadeler üretebildiği ve daha fazla güvenilirlik ve güvenilirlik sağladığı söyleniyor. Aynı zamanda çok modludur, yani görüntüleri girdi olarak kabul edebilir ve başlıklar, sınıflandırmalar ve analizler oluşturabilir.

Son olarak, bir miktar yaratıcılık kazanmıştır. Resmi ürün güncellemesinde okuyabileceğimiz gibi, "şarkı bestelemek, senaryo yazmak veya bir kullanıcının yazma stilini öğrenmek gibi yaratıcı ve teknik yazma görevlerini kullanıcılarla birlikte oluşturabilir, düzenleyebilir ve yineleyebilir."

Şimdilik Mart 2023'te GPT-4 iki model seçeneğiyle geliyor:

• gpt-4-8K

• gpt-4-32K

  
  

bağlam penceresinin boyutlarına göre farklılık gösterir. GPT-4 halihazırda ticari olarak kullanılıyor olsa da çoğu kullanıcının GPT-4 API'sine erişim elde edene ve kendi GPT-4 destekli uygulama ve hizmetlerini oluşturana kadar bir süre beklemesi gerekecektir.

Beklemeye değer mi? Görelim!

GPT-4 ile GPT-3 ve GPT-3.5 – temel farklar

OpenAI'nin kurucu ortaklarından ve başkanı Greg Brockman'dan GPT-4 ile GPT-3'ü karşılaştırması istendiğinde tek bir kelime vardı: Farklı . Techcrunch'a söylediği gibi:

Hala [modelin] yaptığı pek çok sorun ve hata var… ama matematik veya hukuk gibi şeylerde becerideki sıçramayı gerçekten görebilirsiniz; belirli alanlarda gerçekten kötü olmaktan, insanlara göre gerçekten oldukça iyi duruma geldi.

Bu konuyu biraz daha detaylandırmaya çalışalım. Özellikle OpenAI tarafından yayınlanan GPT-4 araştırması, yeni modellere dair şaşırtıcı derecede birçok detayı ortaya çıkardığı için.

GPT-4 ve GPT-3 modelinin yetenekleri

GPT-3 ile GPT-4 arasındaki en büyük farklardan biri yetenekleridir. GPT-4'ün daha güvenilir, yaratıcı, işbirlikçi olduğu ve GPT-3.5'ten çok daha incelikli talimatları işleyebildiği söyleniyor.

OpenAI geliştiricileri, iki model arasındaki farkı anlamak için bunları, orijinal olarak insanlar için tasarlanmış sınavların simülasyonu da dahil olmak üzere farklı ölçütlerde test etti.

Kamuya açık en yeni testleri (Olimpiyatlar ve AP ücretsiz yanıtlı sorular durumunda) kullanarak veya deneme sınavlarının 2022-2023 sürümlerini satın alarak ilerledik. Bu sınavlara özel bir eğitim yapmadık. Sınavlardaki sorunların az bir kısmı eğitim sırasında model tarafından görüldü, ancak sonuçların temsili olduğuna inanıyoruz.

(kaynak: OpenAI )

Sonuçlar çarpıcı!

GPT-3, AP Calculus BC sınavında 5 üzerinden yalnızca 1 puan alırken, GPT-4 4 puan aldı. Simüle edilmiş bir baro sınavını GPT-4, sınava girenlerin ilk %10'u civarında bir puanla geçti; GPT-3.5 ise - GPT-3 serisinin en gelişmiş versiyonu %10'un altındaydı.

Üstelik GPT-4… gerçek bir çok dillidir. GPT'nin İngilizce yeterliliği GPT-3 ve GPT-3.5 sürümlerinde zaten yüksekken (%70,1 atış doğruluğuyla), en yeni sürümde doğruluk oranı %85'in üzerine çıktı. Aslında Mandarin, Lehçe ve Svahili dahil olmak üzere atalarının İngilizce konuştuğundan 25 dili daha iyi konuşuyor. Mevcut makine öğrenimi kriterlerinin çoğunun İngilizce yazıldığı göz önüne alındığında bu oldukça etkileyici.

Bu yeterli değilse GPT-4, daha yüksek bağlam uzunluğu sayesinde tek bir istekte çok daha uzun metinleri işleyebilir.

GPT-3 ile GPT-4 arasındaki jeton sınırları

Bağlam uzunluğu, tek bir API isteğinde kaç jetonun kullanılabileceğini açıklamak için kullanılan bir parametredir. 2020'de piyasaya sürülen orijinal GPT-3 modelleri, maksimum istek değerini 2.049 token olarak ayarladı. GPT-3.5'te bu sınır 4.096 jetona çıkarıldı (bu, ~3 sayfalık tek satırlı İngilizce metin anlamına gelir). GPT-4'ün iki çeşidi vardır. Bunlardan biri (GPT-4-8K) 8.192 token içerik uzunluğuna sahipken, ikincisi (GPT-4-32K) 32.768 token kadar işleyebiliyor, bu da yaklaşık 50 sayfalık bir metin anlamına geliyor.

Bununla birlikte GPT-4'ün tüm yeni kullanım durumlarını düşünebiliriz. 50 sayfalık metni işleme yetenekleri sayesinde, yeni OpenAI modellerini daha uzun metin parçaları oluşturmak, daha büyük belgeleri veya raporları analiz etmek ve özetlemek veya bağlamı kaybetmeden konuşmaları yönetmek için kullanmak mümkün olacak. Greg Brockman'ın Techcrunch röportajında sunduğu gibi:

Daha önce modelin kim olduğunuz, neyle ilgilendiğiniz vb. hakkında hiçbir bilgisi yoktu. Bu tür bir geçmişe sahip olmak (daha geniş bağlam penceresiyle birlikte) onu kesinlikle daha yetenekli hale getirecek… İnsanların yapabileceklerini hızlandıracak.

Ancak bu işin sonu değil çünkü GPT-4, metin girişlerini işlemenin yanı sıra diğer giriş türlerini de yorumlayabiliyor.

GPT-4 ve GPT-3'teki giriş türleri

GPT-3 ve GPT-3.5 modelleri tek bir giriş türüyle (metin veya kod - daha doğrusu kod) sınırlıyken, GPT-4 ekstra bir giriş türünü kabul eder: resimler. Özellikle metin ve görsellerden oluşan girdilerden metin çıktıları üretir.

GPT-4 modelinden ne yapmasını istediğinize bağlı olarak başlıklar oluşturabilir, görünür öğeleri sınıflandırabilir veya görüntüyü analiz edebilir. GPT-4 araştırma dokümantasyonunda sunulan örnekler arasında grafikleri analiz eden, memleri açıklayan ve hatta metin ve görsellerden oluşan makaleleri özetleyen modelleri görebiliriz. GPT-4'ün görüntü anlama yeteneklerinin etkileyici olduğunu kabul etmeliyiz.

Sadece bir göz atın!

Görüntüleri işleme yeteneği, daha yüksek belirteç limitleriyle birleştiğinde, akademik araştırmalardan kişisel eğitime veya alışveriş asistanlarına kadar GPT-4'ün kullanılmasına yönelik yeni olanakların önünü açıyor. Ancak çok fazla heyecanlanmayın çünkü GPT-4'ün bu yeni becerisini kullanabilmeniz biraz zaman alabilir.

OpenAI sitesinde okuyabileceğimiz gibi, görüntü girdileri hâlâ bir araştırma önizlemesi niteliğindedir ve kamuya açık değildir.

GPT-4 ve GPT-3 görüşmesinin bağlamını tanımlama

GPT-3 ile GPT-4 arasındaki bir diğer büyük fark, modelin tonunu, tarzını ve davranışını nasıl belirleyebileceğimizdir.

GPT'nin en yeni sürümünde, "sistem" mesajları adı verilen mesajları ( OpenAI'nin Kullanım politikasında ayrıntılı olarak açıklanan sınırlar dahilinde) dahil ederek modele API düzeyinde talimatlar sağlamak mümkündür. Bu talimatlar mesajların tonunu belirler ve modelin nasıl davranması gerektiğini açıklar (örneğin, "Öğrenciye asla cevabı vermezsiniz, ancak her zaman kendi başlarına düşünmeyi öğrenmelerine yardımcı olmak için doğru soruyu sormaya çalışırsınız").

Ayrıca, aşağıdaki örnekte olduğu gibi, GPT-4'ün kullanıcının isteği üzerine davranışını değiştirmesini önlemek için "korkuluk" görevi görerek GPT-4'ün etkileşimleri için sınırlar oluştururlar:

Gördüğünüz gibi GPT-4, kullanıcının isteklerine rağmen sistem mesajında tanımlanan rolü dahilinde kalıyor.

Yakın zamanda piyasaya sürülen GPT-3.5-Turbo'da da benzer bir modelin yeteneğini bir dereceye kadar deneyimleyebiliyorduk. Modelin rolünü bir sistem isteminde tanımlayarak farklı bir yanıt alabiliriz. GPT modelinin kimmiş gibi davrandığına bağlı olarak mesajın nasıl farklılaştığını görün:

GPT-3.5-Turbo'nun piyasaya sürüldüğü Mart 2023'e kadar modele sistem mesajı vermek mümkün değildi. Bilgi isteminde bağlam bilgisinin verilmesi gerekiyordu ve konuşma boyunca kolaylıkla değişebiliyordu.

Yeni GPT-4'ün yeteneği, davranışının daha tutarlı olmasına ve harici spesifikasyonlara (örneğin, marka iletişim kurallarınıza) daha kolay uyum sağlamasına olanak tanır.

GPT-4 ve GPT-3 kullanmanın maliyeti

Elbette her şeyin bir bedeli var. GPT-3 modellerinin maliyeti her 1K token başına 0,0004 ila 0,02 $ arasında değişirken, en yeni GPT-3.5-Turbo en güçlü GPT davinci modelinden 10 kat daha ucuz (1K token başına 0,002 $) olsa da, GPT-4 kullanmanın maliyeti hiçbir şey bırakmıyor. yanılsamalar: En gelişmiş modelleri kullanmak istiyorsanız ekstra ödeme yapmanız gerekecektir.

8K bağlam penceresine sahip GPT-4'ün maliyeti 1K istem tokenı başına 0,03$ ve 1K tamamlama tokenı başına 0,06$ olacaktır. Öte yandan, 32K bağlam penceresine sahip GPT-4'ün maliyeti 1K istem tokenı başına 0,06$ ve 1K tamamlama tokenı başına 0,12$ olacak.

Ortalama 1500 istem belirteci ve 500 tamamlama belirteci uzunluğunda 100 bin isteğin işlenmesi, text-davinci-003 ile 4.000 ABD Doları ve gpt-3.5-turbo ile GPT-4 ile 400 ABD Doları tutarındaysa, 8K bağlam penceresiyle 7.500 ABD Doları ve 15.000 ABD Doları olacaktır. 32K bağlam penceresi.

Sadece pahalı olmakla kalmıyor, aynı zamanda hesaplaması da daha karmaşık . Bunun nedeni, bilgi istemi (girdi) belirteçlerinin maliyetinin, tamamlama (çıktı) belirteçlerinin maliyetinden farklı olmasıdır.GPT-3 fiyatlandırma deneyimimizi hatırlarsanız, giriş ve çıkış uzunluğu arasında çok düşük bir korelasyon olduğundan token kullanımını tahmin etmenin zor olduğunu zaten biliyorsunuzdur. Çıkış (tamamlama) belirteçlerinin maliyetinin yüksek olması nedeniyle, GPT-4 modellerini kullanmanın maliyeti daha da az öngörülebilir olacaktır.

OpenAI modellerinin ince ayarı

GPT-4 ve GPT-3.5-Turbo için sistem mesajındaki bağlamı nasıl tanımladığımızı hatırlıyor musunuz? İnce ayar, temel olarak modelin tonunu, stilini ve davranışını tanımlamak ve GPT modellerini belirli bir uygulamaya göre özelleştirmek için kullanılan bir geçici çözüm yöntemidir.

Modele ince ayar yapmak için onu, istemin sığabileceğinden çok daha fazla örnek üzerinde eğitirsiniz. Bir modelde ince ayar yapıldıktan sonra komut isteminde örnekler vermenize gerek yoktur. Bu, maliyetlerden tasarruf sağlar (her 1K token önemlidir!) ve isteklerin gecikmesinin daha düşük olmasını sağlar. Kulağa harika geliyor, değil mi? Ancak şu anda ince ayar yapılabilecek tek OpenAI modellerinin orijinal GPT-3 temel modelleri (davinci, curie, ada ve lahana) olması üzücü.

Hatalar ve sınırlamalar

GPT-4 hakkında farklı söylentiler çıktığında (örneğin kullandığı parametre sayısıyla ilgili), OpenAI CEO'su şu yorumu yaptı:

GPT-4 söylenti değirmeni çok saçma bir şey. Bütün bunların nereden geldiğini bilmiyorum. İnsanlar hayal kırıklığına uğramak için yalvarıyorlar ve öyle olacaklar. (…) Gerçek bir YGZ'miz yok ve bizden beklenen de bu.

Yaratıcılığı ve şaşırtıcı yetenekleri göz önüne alındığında GPT-4'ü hayal kırıklığı olarak adlandırmak zor olsa da sınırlamalarının farkında olmak önemlidir. Ürün araştırma belgelerinde de okuyabileceğimiz gibi: modelin önceki versiyonlarına kıyasla çok fazla değişmediler.

Tıpkı öncekiler gibi GPT-4 de Eylül 2021'den sonra meydana gelen olaylara ilişkin bilgiden yoksundur. Üstelik ChatGPT ne kadar akıllı görünürse görünsün, GPT-4 ile güçlendirildiğinde bile hala tam olarak güvenilir değildir. Önceki modellere göre halüsinasyonları önemli ölçüde azalttığı iddia edilse de (dahili değerlendirmelerde GPT-3.5'ten %40 daha yüksek puan aldı), yine de gerçekleri "halüsinasyona uğratıyor" ve mantık hataları yapıyor. Yine de zararlı tavsiyeler (her ne kadar yanıt vermeyi reddetme olasılığı daha yüksek olsa da), hatalı kodlar veya yanlış bilgiler üretebilir ve bu nedenle hata maliyetinin yüksek olduğu alanlarda kullanılmamalıdır.

GPT-3 ve GPT-4 – Temel çıkarımlar

OpenAI'nin en gelişmiş sistemi olan GPT-4, neredeyse her karşılaştırma alanında modellerin eski sürümlerini geride bırakıyor. GPT-3'ten daha yaratıcı ve daha tutarlıdır. Daha uzun metin parçalarını ve hatta görüntüleri işleyebilir. Daha doğrudur ve "gerçekleri" uydurma olasılığı daha düşüktür. Yetenekleri sayesinde üretken yapay zeka için birçok yeni olası kullanım senaryosu yaratıyor.

Bu, GPT-4'ün GPT-3 ve GPT-3.5'in yerini alacağı anlamına mı geliyor? Muhtemelen değil. GPT, OpenAI modellerinin önceki sürümlerinden daha güçlü olsa da kullanımı da çok daha pahalıdır. Çok sayfalı belgeleri işlemek veya uzun konuşmaları "hatırlamak" için bir modele ihtiyaç duymadığınız birçok kullanım durumunda, GPT-3 ve GPT-3.5'in yetenekleri yeterli olacaktır.

Burada da yayınlandı.