Üretken Yapay Zeka: Gelişim, Zorluklar ve Gelecekteki Eğilimler Hakkında Uzman Görüşleri

Yapay zeka, uzun süredir teknoloji meraklılarının ve sektör uzmanlarının dikkatini çekiyor. Bu makalede yapay zekanın evrimini inceleyerek ortaya çıkardığı sorunlara ve ufukta ortaya çıkan trendlere ışık tutuyoruz.

Yapay zeka teknolojisinin katlanarak büyüdüğünü gözlemledikçe, potansiyel faydalarını en üst düzeye çıkarmak için yeteneklerinin kapsamlı bir şekilde anlaşılması giderek daha önemli hale geliyor. ELEKS Veri Bilimi Ofisi Başkanı Volodymyr Getmanskyi, bu karmaşık alanı derinlemesine inceleyerek bu trend konu hakkındaki içgörülerini ve uzmanlığını paylaşıyor.

Yapay Zeka ve GenAI – Açıklanan Temel Farklılıklar

İlk olarak, üretken yapay zeka, yapay zeka alanının bir parçasıdır. Yapay zeka esas olarak insan görevlerini otomatikleştirmeye veya optimize etmeye odaklanırken, üretken yapay zeka farklı nesneler yaratmaya odaklanır. Konuşma veya karar verme aracıları oluşturma, akıllı otomasyon, görüntü tanıma ve işlemenin yanı sıra çeviri gibi tipik yapay zeka görevleri GenAI ile geliştirilebilir. Metin ve raporların, görüntülerin ve tasarımların, konuşma ve müziğin ve daha fazlasının oluşturulmasına olanak tanır.

Sonuç olarak, üretken yapay zekanın günlük görevlere ve iş akışlarına entegrasyonu giderek daha kusursuz ve etkili hale geldi. Hangi tür veri oluşturmanın en popüler olduğu merak edilebilir. Ancak cevap basit değil.

Multimodal modeller, farklı girdilere dayalı olarak farklı türde verilerin üretilmesine olanak tanır. Dolayısıyla, kullanım istatistiklerimiz olsa bile, üretilen en popüler veri türünü belirlemek zor olurdu. Ancak mevcut iş ihtiyaçlarına göre büyük dil modelleri en popüler olanlar arasındadır.

Bu modeller hem metin hem de sayısal bilgileri işleyebilir ve soru cevaplama, metin dönüştürme (çeviri, yazım denetimi, zenginleştirme) ve rapor oluşturma gibi görevlerde kullanılabilir. Bu işlevsellik, daha az yaygın olan görüntü veya video oluşturmanın aksine, farklı sektörlerdeki kuruluşlar için operasyonel faaliyetlerin önemli bir parçasıdır.

Büyük Dil Modelleri: Metin Üretiminden Modern Devlere

Büyük dil modelleri (LLM'ler), bir tür derin öğrenme modeli veya basitçe söylemek gerekirse belirli sinir ağları olan devasa dönüştürücülerdir. Genel olarak Yüksek Lisans'lar 8 milyar ila 70 milyar arasında parametreye sahiptir ve çok büyük miktarda veri üzerinde eğitilir. Örneğin, en büyük veri kümelerinden biri olan Crawl, son on yıla ait düzinelerce petabayt veriye ulaşan web sayfalarını ve bilgileri içeriyor.

Perspektife koymak gerekirse, Titanik gemi enkazından hangi yolcuların hayatta kaldığını açıklayan yaklaşık 900 örnekten oluşan Titanik veri kümesinin boyutu 1 Mb'den küçüktür ve hayatta kalma olasılığını etkili bir şekilde tahmin edebilen model, yaklaşık 25 ila 100 parametreye sahip olabilir. .

Yüksek Lisans'ın da uzun bir geçmişi vardır ve birdenbire ortaya çıkmadılar. Örneğin, ELEKS veri bilimi departmanı 2019'da yanıt oluşturmak için GPT-2'yi kullanırken, ilk GPT (üretken önceden eğitilmiş transformatör) modeli 2018'de piyasaya sürüldü. Ancak bu bile metin oluşturma modellerinin ilk görünümü değildi. . 2017'de dönüştürücü çağı başlamadan önce metin oluşturma gibi görevler farklı yaklaşımlar kullanılarak ele alınıyordu; örneğin:

• Üretken çekişmeli ağlar - jeneratörün başka bir ağdan veya ayrımcıdan gelen geri bildirime dayalı olarak eğitim verdiği bir yaklaşım,
• Otomatik kodlayıcılar - modelin girişi yeniden üretmeye çalıştığı genel ve iyi bilinen bir yaklaşım.

2013'te word2vec gibi verimli vektör sözcük yerleştirmeleri önerildi ve hatta daha önce, önceki yüzyılda, 1964'teki Eliza sohbet robotu gibi olasılıksal ve desen tabanlı oluşturmanın örnekleri vardı. Görebildiğimiz gibi, doğal dil nesil (NLG) görevleri ve girişimleri uzun yıllardan beri mevcuttur.

ChatGPT, GPT, Gemini, Copilot, Claude vb. gibi mevcut LLM kullanıcılarının çoğu muhtemelen bunun farkında değil çünkü sonuçlar, OpenAI'nin halka açık erişimi önerdiği, InstructGPT'nin ilk sürümünden sonraki kadar umut verici değildi. BT. Sosyal medyada milyonlarca kez bahsedilen ChatGPT'nin Kasım 2022'deki ilk sürümünün ardından.

Yapay Zeka Düzenleme Tartışması: Yenilik ve Güvenliği Dengelemek

Günümüzde yapay zeka topluluğu yapay zeka riskleri ve uyumluluk ihtiyaçları konusunda bölünmüş durumda; bazıları yapay zeka düzenlemelerini ve güvenlik kontrolünü savunurken diğerleri bunlara karşı çıkıyor. Eleştirmenler arasında Meta (Facebook) Yapay Zeka Şefi Yann LeCun da bu tür yapay zeka ajanlarının bir köpeğinkine bile benzemeyen bir zekaya sahip olduğunu belirtti.

Meta AI grubu (eski adıyla Facebook AI Research), ücretsiz olarak indirilebilen ve yalnızca bazı ticari sınırlamalarla kullanılabilen Detectron, Llama, SegmentAnything ve ELF gibi ücretsiz ve halka açık AI modellerinin geliştiricilerinden biridir. Açık erişim, dünya çapındaki yapay zeka topluluğu tarafından kesinlikle olumlu karşılandı.

Bu sistemler hâlâ çok sınırlıdır; gerçek dünyanın altında yatan gerçekliğe dair herhangi bir anlayışa sahip değiller çünkü onlar yalnızca metin, çok büyük miktarda metin üzerinde eğitilmişler.

— Yann LeCun, Meta Yapay Zeka Baş Bilimcisi

Düzenlemelere ilişkin endişeler yetkililer tarafından da dile getirildi. Örneğin, Fransa Cumhurbaşkanı Emmanuel Macron, yapay zeka risklerinin geliştirilmesiyle mücadele etmek için tasarlanan dönüm noktası niteliğindeki AB mevzuatının, ABD, İngiltere ve Çin'deki rakiplerle karşılaştırıldığında Avrupalı teknoloji şirketlerini engellediği konusunda uyardı.

Öte yandan yapay zeka düzenlemesini destekleyenler de var. Tesla CEO'su Elon Musk'a göre yapay zeka uygarlığın geleceğine yönelik en büyük risklerden biri. Bu, kamuya açık olmayan/ücretli yapay zeka temsilcileriyle aynıdır, ancak burada böyle bir pozisyonun asıl heyecan verici unsuru, rakip yapay zeka modellerinin yayılmasını sınırlamak için piyasa rekabeti olabilir.

AB Yapay Zeka Yasasına Genel Bakış

2023 yılında AB parlamentosu, Avrupa Birliği'nde yapay zeka teknolojilerinin kullanımını düzenleyen ilk kapsamlı kurallar dizisi olan Yapay Zeka Yasasını kabul etti. Bu mevzuat, sorumlu ve etik yapay zeka geliştirme ve uygulaması için bir emsal teşkil etmektedir.

AB Yapay Zeka Kanununun ele aldığı temel konular:

• İlk olarak, GDPR (AB), APPI (Japonya), HIPPA (ABD) ve PIPEDA (Kanada) gibi kişisel veri işlemeyi, biyometrik tanımlamayı vb. kapsayan farklı standartlarda halihazırda belirtildiği gibi, kişisel verilere yönelik mantıksal sınırlamalar vardır.

• Buna bağlı olarak, model yanlılığının önemli bir etkiye sahip olabileceği ve potansiyel olarak ayrımcılığa yol açabileceği puanlama sistemleri veya herhangi bir insan kategorizasyonu biçimi vardır.

• Son olarak, bazı modellerin herhangi bir iş KPI'sını (dönüşüm oranları, aşırı tüketim) artırmaya çalışabileceği davranışsal manipülasyon vardır.

Yapay Zeka Modelinin Hazırlanması ve Kullanımı: Zorluklar ve Kaygılar

Model hazırlama, kullanma ve diğer gizli faaliyetlerle bağlantılı pek çok sorun ve endişe vardır. Örneğin model eğitimi için kullanılan veriler, bu amaçlar için yetkilendirilmemiş kişisel verilerden oluşmaktadır. Küresel sağlayıcılar, herhangi bir duyuru yapılmaksızın gizli modda model eğitimi için kullanılabilecek özel yazışmalara (e-postalar) veya diğer özel varlıklara (fotoğraflar, video) odaklanmış hizmetler sunmaktadır.

Yakın zamanda OpenAI'nin CTO'suna, metinsel sorgulara dayalı videolar oluşturmak için halka açık olmayan bir OpenAI hizmeti olan SORA eğitimi için özel videoların kullanımına ilişkin bir soru soruldu, ancak kendisi net bir cevap veremedi.

Başka bir sorun, veri etiketleme ve filtrelemeyle ilgili olabilir; orada görev alan uzmanların kişisel özelliklerini, becerilerini, stereotiplerini ve bilgilerini bilmiyoruz ve bu, verilere istenmeyen ifadelerin/içeriklerin girmesine neden olabilir. Ayrıca etik bir sorun da vardı; küresel GenAI sağlayıcılarından bazılarının Kenya'dan etiketleyicileri işe aldığına ve onlara düşük ücret ödediğine dair bilgiler vardı.

Modellerin mükemmel gibi görünen yanlış veya kısmen yanlış cevaplar verdiği model yanlılığı ve sözde model halüsinasyonları da sorundur. Son zamanlarda ELEKS veri bilimi ekibi, model için bazı verilerin gösterilmesini kapsayan ve modelin bu verilere dayalı olarak yanıtlar sunmasını veya özetlemesini kapsayan, müşterilerimizin erişim artırılmış nesil (RAG) çözümünü geliştirmek için çalışıyordu.

Süreç içerisinde ekibimiz birçok modern çevrimiçi (daha büyük ama ücretli) veya çevrimdışı (daha küçük ve herkese açık) modellerin kurum adlarını ve numaralarını karıştırdığını fark etti.

• Elimizde birkaç şirketin mali tablolarını ve denetim bilgilerini içeren veriler vardı ve talep, A şirketinin gelirinin gösterilmesiydi. Ancak A şirketinin geliri verilerde doğrudan yer almıyordu ve hesaplanması gerekiyordu. LLM Arena karşılaştırmasındaki liderler de dahil olmak üzere çoğu model, B şirketine ait olan yanlış gelir düzeyiyle yanıt verdi. Bu hata, şirketlerin adlarındaki "Ltd", "Service" vb. gibi kısmen benzer karakter kombinasyonlarından kaynaklandı.

  
  

  Burada hızlı öğrenmenin bile faydası olmadı; "Eğer kendinize güvenmiyorsanız ya da bazı bilgiler eksikse lütfen bilmiyorum yanıtını verin" gibi bir ifade eklemek sorunu çözmedi.

  
  

• Diğer bir konu ise sayısal gösterimle ilgilidir; LLM'ler sayıları jeton olarak algılar, hatta 0,33333 gibi birçok jeton bayt çifti kodlama yaklaşımına göre '0,3' ve '3333' olarak kodlanabilir, bu nedenle karmaşık sayısal verilerle baş etmek zordur ek adaptörler olmadan dönüşümler.

Emekli ABD Ordusu Generali Paul M. Nakasone'nin yakın zamanda OpenAI'nin yönetim kuruluna atanması karışık tepkilere yol açtı. Bir yandan, Nakasone'nin siber güvenlik ve istihbarat konusundaki kapsamlı geçmişi, yapay zeka araştırma ve geliştirmeyle uğraşan bir şirket için hayati önem taşıyan, siber saldırılara karşı savunmaya yönelik sağlam stratejiler uygulayabilecek önemli bir varlık olarak görülüyor.

Öte yandan, Nakasone'nin atanmasının, askeri ve istihbarat geçmişi (Ulusal Güvenlik Ajansı (NSA) ve ABD Siber Komutanlığı'nın eski başkanı) nedeniyle hükümet gözetimi ve müdahalesinin artmasına yol açabilecek olası sonuçları hakkında endişeler var.

Korku, Nakasone'un devlet kurumlarının OpenAI verilerine ve hizmetlerine daha kapsamlı erişimini kolaylaştırabilmesidir. Bu nedenle, bazıları bu atamanın hem hizmetin kullanımını, verileri, devlet kurumlarının taleplerini hem de hizmetin sınırlamalarını etkileyebileceğinden korkuyor.

Son olarak, oluşturulan kod güvenlik açığı, çelişkili öneriler, uygunsuz kullanım (sınavları geçmek veya bombanın nasıl oluşturulacağına dair talimat almak) ve daha fazlası gibi başka endişeler de var.

Daha Sağlam Sonuçlar İçin Yüksek Lisans Kullanımı Nasıl Geliştirilir?

İlk olarak, Yüksek Lisans kullanmanın gerekli olup olmadığını ve bunun genel bir temel model olup olmadığını belirlemek çok önemlidir. Bazı durumlarda amaç ve ayrıştırılan görev o kadar karmaşık değildir ve yazım hatası, kalıp tabanlı oluşturma ve ayrıştırma/bilgi alma gibi daha basit çevrimdışı modellerle çözülebilir. Ek olarak genel model, LLM entegrasyonunun amaçlanan amacı ile ilgili olmayan soruları yanıtlayabilir.

Şirketin herhangi bir ek bağdaştırıcı (ön ve son işlemci) olmadan çevrimiçi LLM entegrasyonunu (örneğin, GPT, Gemini) teşvik ettiği ve beklenmedik davranışlarla karşılaştığı örnekler vardır. Örneğin, kullanıcı bir araba satıcısı chatbotundan Navier-Stokes akışkan akışı denklemini çözmek için Python betiğini yazmasını istedi ve chatbot "Elbette! Bunu yapacağım" dedi.

Daha sonra hangi LLM'nin kullanılacağı sorusu geliyor: herkese açık ve çevrimdışı mı yoksa ücretli ve çevrimdışı mı? Karar, görevin karmaşıklığına ve hesaplama olanaklarına bağlıdır. Çevrimiçi ve ücretli modeller daha büyüktür ve daha yüksek performansa sahiptir; çevrimdışı ve genel modeller ise barındırma için önemli harcamalar gerektirir ve genellikle en az 40 Gb VRAM gerektirir. Çevrimiçi modelleri kullanırken, sağlayıcıyla paylaşılan hassas veriler üzerinde sıkı bir kontrole sahip olmak önemlidir.

Tipik olarak, bu tür şeyler için, bağlamı korumak için sorguyu önemli ölçüde değiştirmeden, gerekirse işletme boyutu veya yaklaşık konum gibi bilgileri bırakarak, finansal ayrıntılar veya özel anlaşmalar gibi kişisel veya hassas bilgileri kaldırabilen ön işleme modülünü oluştururuz.

Modelin yanlılığını azaltmanın ve halüsinasyonlardan kaçınmanın ilk adımı, doğru veriyi veya bağlamı seçmek veya adayları sıralamaktır (örneğin RAG için). Bazen vektör gösterimi ve kosinüs benzerliği gibi benzerlik ölçümleri etkili olmayabilir. Bunun nedeni, "hayır" kelimesinin varlığı veya adlardaki küçük farklılıklar (örn. Oracle ve Orache) gibi küçük değişikliklerin önemli bir etkiye sahip olabilmesidir.

Son işleme gelince, güvenin düşük olması durumunda modele "bilmiyorum" yanıtı vermesini söyleyebilir ve modelin yanıtlarının doğruluğunu kontrol eden bir doğrulama bağdaştırıcısı geliştirebiliriz.

LLM Alanında Yükselen Eğilimler ve Gelecek Yönelimleri

Yüksek Lisans alanında çok sayıda araştırma yönü mevcuttur ve haftalık olarak yeni bilimsel makaleler ortaya çıkmaktadır. Bu makaleler, transformatör/LLM optimizasyonu, sağlamlık, verimlilik (modellerin boyutlarını veya parametre sayısını önemli ölçüde artırmadan nasıl genelleştirileceği gibi), tipik optimizasyon teknikleri (damıtma gibi) ve girdiyi artırma yöntemleri (bağlam) dahil olmak üzere bir dizi konuyu kapsar. uzunluk.

Çeşitli yönler arasında son dönemde öne çıkanlar arasında jeton karışımı, uzman karışımı, derinlik karışımı, düşünce iskeleti, RoPE ve düşünce zinciri yönlendirmesi yer alıyor. Bunların her birinin ne anlama geldiğini kısaca açıklayalım.

1. Uzmanlar Karması (MoE'ler) farklı bir transformatör mimarisidir. Genellikle farklı bilgileri temsil eden birkaç (Mixtral'da 8) veya çok sayıda yoğun/düzleştirilmiş katmandan oluşan dinamik bir katmana sahiptir. Bu mimari, anahtar veya yönlendirme yöntemlerini içerir; örneğin, hangi belirteçlerin hangi uzmanlar tarafından işlenmesi gerektiğinin seçilmesine olanak tanıyan bir geçiş işlevi, bu da bir uzmana (anahtar katmanı) yönelik belirteç veya belirteç grubu başına düşen katman ("uzman") sayısının azaltılmasına yol açar. ).

   
   

   Bu, verimli model ölçeklendirmeye olanak tanır ve girdi parçaları için farklı alt modeller (uzmanlar) kullanarak performansı artırır; bu da onu tek bir genel ve hatta daha büyük katman kullanmaktan daha etkili hale getirir.

   
   

2. Belirteçlerin Karışımı, belirteçleri belirli bir uzman için önemlerine (softmax aktivasyonu) göre gruplandırdığımız söz konusu Uzmanlar Karışımı ile bağlantılıdır.

   
   

3. Derinlik karışımı tekniği, özellikle yönlendirme açısından bahsedilen MoE'lerle de bağlantılıdır. Hesaplama grafiğini (bilgi işlem bütçesi) azaltmayı ve onu dikkat mekanizmasında kullanılacak en iyi tokenlarla sınırlandırmayı amaçlamaktadır. Belirli bir sıra için daha az önemli görülen belirteçler (örneğin noktalama işaretleri) atlanır. Bu, dinamik belirteç katılımıyla sonuçlanır, ancak k (en üst k belirteç) belirteç sayısı statik olduğundan, işlem bütçesine (veya seçtiğimiz k'ye) göre boyutları azaltabiliriz.

   
   

4. Düşünce iskeleti LLM ölçeklendirmesi için etkilidir ve paralelleştirilebilecek noktalardan oluşan birincil iskelet isteğine dayalı olarak tamamlama parçalarının (model yanıtı) paralel olarak oluşturulmasına olanak tanır.

   
   

5. Giriş boyutu gibi başka zorluklar da var. Kullanıcılar genellikle parametre sayısını değiştirmeden yüksek lisansa büyük miktarda bilgi, hatta bazen kitapların tamamını sağlamak isterler. Burada ALiBi (Doğrusal Önyargılı Dikkat Katmanı) ve RoPE (Döner Konum Gömme) , dinamik konumsal kodlama ve ölçeklendirme faktörünü kullanarak giriş yerleştirmeyi tahmin edebilen veya muhtemelen enterpolasyon yapabilen, kullanıcıların bağlam uzunluğunu karşılaştırmada artırmasına olanak tanıyan bilinen iki yöntem vardır. eğitim için kullanıldı.

   
   

6. Birkaç adımlık ipucunun bir örneği olan düşünce zinciri ipucu (kullanıcı bağlamda LLM'nin denetimini sağlar), soruyu birkaç adıma ayırmayı amaçlar. Çoğunlukla, mantığı bazı hesaplamalı planlara bölebileceğiniz durumlar gibi muhakeme problemlerine uygulanır. Başlangıç makalesinden örnek: "Roger'ın 5 tenis topu var. 2 kutu daha tenis topu satın alıyor. Her kutuda 3 tenis topu var. Şu anda kaç tenis topu var? Düşünce planı: Roger 5 topla başladı. 2 kutu 3 tenis topunun her biri 6 tenis topuna eşittir 5 + 6 = 11. Cevap 11'dir."

Bunun yanı sıra başka birçok yön var ve her hafta bunların etrafında birkaç yeni önemli makale yayınlanıyor. Bazen veri bilimcileri için tüm bu zorlukları ve başarıları takip etmede ek bir sorun ortaya çıkıyor.

Son Kullanıcılar En Son Yapay Zeka Gelişmelerinden Neler Bekleyebilir?

Özetlemek gerekirse, farklı çözümleri sınırlayacak ve son olarak mevcut modellerin genelleştirilmesi veya alan kapsamına alınmasıyla sonuçlanacak daha güçlü yapay zeka düzenlemeleri olabilir. Diğer eğilimler çoğunlukla mevcut yaklaşımların iyileştirilmesiyle ilgilidir, örneğin parametre sayısının ve ihtiyaç duyulan belleğin azaltılması (örneğin niceleme veya hatta 1 bitlik LLM'ler - burada her parametre üçlüdür (-1, 0, 1 değerlerini alabilir)).

Bu nedenle, çevrimdışı LLM'lerin veya Difüzyon Transformatörlerinin (DiT - modern Difüzyon modelleri ve Görsel Transformers ardılları (görüntü oluşturma görevleri için birincil)) telefonlarımızda bile çalışmasını bekleyebiliriz (bugünlerde birkaç örnek var, örneğin Microsoft'un Phi-2 modeli) modern Snapdragon tabanlı Android cihazlarda üretim hızı saniyede yaklaşık 3-10 jetondur).

Ayrıca dijital ikizlere kadar daha gelişmiş kişiselleştirme (daha uygun sonuçlar sağlamak için önceki tüm kullanıcı deneyimlerini ve geri bildirimlerini kullanmak) mümkün olacak. Şu anda mevcut olan diğer pek çok şey iyileştirilmiş olacak: asistanlar/model özelleştirme ve pazarlar, her şey için tek bir model (çok modlu yön), güvenlik (kişisel verilerle çalışmak, bunları kodlamak için daha etkili bir mekanizma vb.) ve diğerleri.

İşletmeniz için yapay zekanın potansiyelini açığa çıkarmaya hazır mısınız? ELEKS uzmanıyla iletişime geçin .