2025'in başlarından bu yana yapay zeka laboratuvarları o kadar çok yeni modelle bizi doldurdu ki, artık yetişmekte zorlanıyorum. Ama trendler kimsenin umursamadığını söylüyor! Sadece ChatGPT var: Nasıl yani? Yeni modeller harika, ancak isimleri tam bir karmaşa. Ayrıca, artık modelleri kıyaslamalara göre bile ayırt edemiyorsunuz. Basit "bu en iyisi, herkes kullansın" artık işe yaramıyor. Kısacası, piyasada gerçekten harika yapay zeka modelleri var, ancak bunları kullanan kişi sayısı çok az. Ve bu bir utanç! İsimlendirme karmaşasını anlamaya çalışacağım, kıyaslama krizini açıklayacağım ve ihtiyaçlarınıza uygun doğru modeli nasıl seçeceğinize dair ipuçları paylaşacağım. Çok Fazla Model, Korkunç İsimler Dario Amodei, modellerimizi açıkça adlandırmayı öğrenmeden önce AGI yaratabileceğimiz konusunda uzun zamandır şaka yapıyor. Google geleneksel olarak karışıklık oyununu yönetiyor: Dürüst olmak gerekirse, bu biraz mantıklı. Her "temel" model artık çok sayıda güncellemeye sahip. Her güncellemeyi yeni bir sürüm olarak haklı çıkaracak kadar çığır açıcı değiller. Tüm bu önekler buradan geliyor. İşleri basitleştirmek için, gereksiz tüm ayrıntıları kaldırarak, büyük laboratuvarlardan model tiplerini içeren bir tablo hazırladım. Peki bu model türleri nelerdir? Çok büyük, güçlü modeller var. Etkileyiciler ancak ölçek olarak yavaş ve maliyetliler. temel bu yüzden icat ettik: Bir temel model alın, onun cevapları üzerinde daha kompakt bir model eğitin ve hemen hemen aynı yetenekleri, sadece daha hızlı ve daha ucuza elde edin. Damıtmayı Bu, özellikle modelleri için kritiktir. En iyi performans gösterenler artık çok adımlı akıl yürütme zincirlerini takip ediyor: çözümü planlayın, uygulayın ve sonucu doğrulayın. Etkili ancak pahalı. akıl yürütme Ayrıca uzmanlaşmış modeller de var: arama için, basit görevler için süper ucuz olanlar veya tıp ve hukuk gibi belirli alanlar için modeller. Ayrıca resimler, video ve ses için ayrı bir grup. Karışıklığı önlemek için bunların hepsini dahil etmedim. Ayrıca mümkün olduğunca basit tutmak için diğer bazı modelleri ve laboratuvarları kasıtlı olarak görmezden geldim. Bazen daha fazla ayrıntı, işleri daha da kötüleştirir. Artık Tüm Modeller Temel Olarak Eşit Net bir kazanan seçmek zorlaştı. Andrej Karpathy yakın zamanda buna "değerlendirme krizi" adını verdi. Şimdi hangi metriklere bakılacağı belirsiz. MMLU güncelliğini yitirdi ve SWE-Bench çok dar. Chatbot Arena o kadar popüler ki laboratuvarlar onu "hacklemeyi" öğrendi. Şu anda modelleri değerlendirmenin birkaç yolu vardır: Dar ölçütler, Python kodlama veya halüsinasyon oranları gibi çok özel becerileri ölçer. Ancak modeller daha akıllı hale geliyor ve daha fazla görevde ustalaşıyor, bu yüzden artık seviyelerini yalnızca bir metrikle ölçemezsiniz. Kapsamlı kıyaslamalar, çok sayıda metrikle birden fazla boyutu yakalamaya çalışır. Ancak, tüm bu puanları karşılaştırmak hızla kaotik hale gelir. İnsanların bu karmaşık kıyaslamaların katlarını faktörlemeye çalıştığını unutmayın. Bir seferde beş veya on! Burada bir model kazanır, orada bir başkası—anlamını çıkarmak için iyi şanslar. İnsanların model cevaplarını kişisel tercihlerine göre körü körüne karşılaştırdığı Arena. Modeller, satranç oyuncuları gibi bir ELO derecesi alır. Daha sık kazanın, daha yüksek bir ELO alın. Ancak modeller birbirine çok yakınlaşana kadar bu harikaydı. 35 puanlık bir fark, bir modelin yalnızca %55 oranında daha iyi olduğu anlamına gelir. Satrançta olduğu gibi, daha düşük ELO'ya sahip oyuncunun kazanma şansı hala iyidir. 100 puanlık bir fark olsa bile, "daha kötü" bir model vakaların üçte birinde hala daha iyi performans gösterir. Ve yine—bazı görevler bir modelle, diğerleri başka bir modelle daha iyi çözülür. Listede daha yukarıda bir model seçin ve 10 isteğinizden biri daha iyi olabilir. Hangisi ve ne kadar daha iyi? Kim bilir. Peki Nasıl Seçersiniz? Daha iyi seçenekler bulunmadığı için Karpathy, titreşim kontrolüne güvenmeyi öneriyor. Modelleri kendiniz deneyin ve hangisinin doğru hissettirdiğini görün. Elbette, kendinizi kandırmak kolaydır. Öznel ve önyargıya açık ama pratik. Benim kişisel tavsiyem şu: Görev yeniyse—farklı modellerle birden fazla sekme açın ve sonuçları karşılaştırın. Hangi modelin daha az ince ayar veya düzenleme gerektirdiği konusunda içgüdülerinize güvenin. Eğer görev size daha tanıdık geliyorsa, sadece en iyi modelinizi kullanın. Karşılaştırma sayılarını kovalamayı unutun. Beğendiğiniz UX'e odaklanın ve halihazırda ödemeye istekli olduğunuz aboneliğe öncelik verin. Hala sayılar istiyorsanız, deneyin. Yaratıcıları, hackleme, eskime, darlık ve öznellik gibi yaygın kıyaslama sorunlarını çözdüğünü iddia ediyor. https://livebench.ai/#/ adresini Ürün yaratıcıları için, HuggingFace'in kendi kıyaslama ölçütünüzü nasıl kuracağınıza dair harika bir rehberi burada. https://github.com/huggingface/evaluation-guidebook/ Bu arada, eğer ChatGPT dışında bir şey denemek için bir işaret bekliyorsanız, işte karşınızda: https://claude.ai/ https://gemini.google.com/ https://grok.com/ https://sohbet.deepseek.com/ httprs://сhat.openai.сom Daha sonra her modelden önemli noktaları ele alacağım ve diğer kişilerin titreşim kontrollerini özetleyeceğim. Eğer bundan hoşlandıysanız ve bir sonraki makaleyi kaçırmak istemiyorsanız abone olun!
