Üretken yapay zeka, bir kuruluşun kendi sınırları içinde sıkışıp kalan verilerin kilidini açmak için kullanabileceği en son tekniği temsil eder. Üretken Yapay Zeka ile neyin mümkün olabileceğini kavramsallaştırmanın en kolay yolu, güvenlik duvarınızın içinde çalışan, ChatGPT'yi çalıştıran modele benzer, özelleştirilmiş bir Büyük Dil Modeli hayal etmektir. Bu özel LLM, OpenAI'nin halka açık internette barındırdığı LLM ile aynı değil. Bunun yerine, işinizle ilgili bir “ileri eğitim” almıştır. Bu, dış dünyanın erişemeyeceği bir belge külliyatına erişim izni verilerek yapılır. Ancak bu yeni araç, incelemeniz ve daha fazla filtrelemeniz saatler sürecek bağlantıların bir listesini sağlayacak geleneksel bir arama motoru değildir. Daha ziyade ihtiyacınız olan içeriği üretebilecek bir çözümdür. Zamanla kendinizi ona sorular sorarken aynı zamanda komutlar verirken de bulacaksınız. Aşağıda size neyin mümkün olduğuna dair bir fikir verecek birkaç örnek verilmiştir:

• “Avrupa borsasındaki son bulgularımızı bulun.”

• "Üretken Yapay Zeka hakkındaki konuşmam için bir özet oluşturun."

• “Bu çeyrekte yayınladığımız her şeyi bulun.”

  
  

Yukarıdaki örnekler araştırma senaryolarıdır, ancak iyi yapılandırılmış bir Büyük Dil Modeli (LLM), yalnızca birkaçını saymak gerekirse müşteri desteği (sohbet robotu), özetleme, araştırma, çeviri ve belge oluşturma için de kullanılabilir.

Bu basit örnekler, Üretken Yapay Zeka'nın gücünü vurgulamaktadır; bu, bir okuma listesi oluşturmak yerine işinizi daha verimli bir şekilde halletmenizi sağlayan bir araçtır.

Böyle bir aracın var olması istenemez ve güvenlik, veri kalitesi gibi kaygılar dikkate alınmazsa işler çok ters gidebilir. Ek olarak, üretken yapay zekaya güç veren modeller geleneksel bir veri merkezinde çalışamaz. Yapılandırılmamış verileri yönetmek (veri gölü), LLM'leriniz için AI/ML işlem hatları oluşturmak (MLOP araçları) ve LLM'lerin özel derlemenizle ilgili ihtiyaç duydukları eğitimi almalarına olanak tanıyan yeni araçlara sahip modern araçlara sahip modern bir ortama ihtiyaçları var. (Geri Alma Artırılmış Üretimi uygulamaya yönelik vektör veritabanlarından bahsediyorum - bu yazının ilerleyen kısımlarında daha ayrıntılı olarak açıklayacağım).

Bu yazıda, bir Kuruluşun Üretken Yapay Zekayı başarılı bir şekilde uygulaması için nelere dikkat edilmesi gerektiğini kavramsal düzeyde ele almak istiyorum.

Verilerle ilgili bir konuşmayla başlayalım.

Veri Kaynakları (Ham Veri)

Önemli bir ayrım, üretken yapay zeka için gereken verilerin, geleneksel yapay zeka için kullanılan verilerle aynı olmamasıdır. Veriler yapılandırılmamış olacaktır; özellikle ihtiyacınız olan veriler, SharePoint, Confluence ve ağ dosya paylaşımları gibi araçlara kilitlenmiş belgeler olacaktır. İyi bir Üretken Yapay Zeka çözümü, ses ve video dosyaları gibi metinsel olmayan içerikleri de işleyebilir. Tüm bu verileri toplayan ve tek bir çatı altında toplayan bir veri hattına ihtiyacınız olacak.

Bu, Üretken Yapay Zeka girişiminin en zorlu görevi olabilir. Confluence sitelerinin ve Sharepoint sitelerinin bir kuruluş içinde ne kadar hızlı ortaya çıktığını hepimiz biliyoruz. İçlerindeki belgelerin tam, gerçek ve doğru olduğunun garantisi yoktur. Diğer endişeler arasında güvenlik, kişisel bilgiler ve belgelerin dış bir kaynaktan gelmesi durumunda lisans koşulları yer alır.

Gerçek istihbarat içeren belgeleri belirledikten sonra bunları koyacak bir yere ihtiyacınız var. Maalesef orijinal yerlerinde kalamazlar. SharePoint, Confluence ve ağ dosya paylaşımları, eğitim ve çıkarım amacıyla belgeleri hızlı bir şekilde sunmak üzere tasarlanmamış araçlardır. MinIO'nun devreye girdiği yer burasıdır. Belgelerinizi, alışık olduğunuz tüm özelliklere sahip bir depolama çözümünde depolamak isteyeceksiniz: İhtiyaçlarınıza göre ölçeklenir , Uygun Ölçekte Performans , Güvenilir , Hata Toleranslı ve Bulutta Yerel Arayüz . Sonuç olarak, birden fazla kaynaktan gelen ham verileri toplayan ve ardından bunları bir Yüksek Lisans tarafından tüketilmek üzere dönüştüren bir veri hattı oluşturmanız gerekir. Aşağıdaki şema, bir kuruluşta bulunabilecek kaynakların çeşitliliğini ve gerçekleşmesi gereken üst düzey kontrolleri göstermektedir.

Ham verileri kaliteli verilere dönüştürmek için gereken güvenlik ve kalite kontrollerini derinlemesine inceleyerek veri hattına daha yakından bakalım.

Veri Ön İşleme (Kalite Verileri)

Kuruluşlar tüm belge kaynaklarının bir envanterini alarak başlamalıdır. Her belge kaynağı için bulunan tüm belgeler kataloglanmalıdır. Lisanslama ve güvenlikle ilgili dokümanlar gözden geçirilmelidir. Bazı belgelerin çözümünüzün dışında tutulması gerekebilir. Bu sürecin önemli bir kısmı, üretken yapay zeka çözümünüze dahil edilmeden önce değiştirilmesi gereken kısıtlı verileri tanımlamaktır.

Belgelerinizi güvenlik ve lisanslama açısından inceledikten sonra, kalite kontrolleri yapılır. Örneğin doğruluk, çeşitlilik (eğer insanlarla ilgiliyse) ve fazlalık. Yüksek kaliteli veriler olmadan doğru modeller oluşturulamaz. Bu, geleneksel yapay zeka (denetimli öğrenme, denetimsiz öğrenme ve takviyeli öğrenme) için geçerlidir ve özellikle üretken yapay zeka için geçerlidir. Düşük kaliteli belgeler, gereksiz belgeler ve hatalı veriler içeren belgeler, LLM'den gelen yanıtları sulandıracak ve hatta halüsinasyonlar yaratacaktır.

Daha ayrıntılı bir boru hattının görselleştirmesi şuna benzer:

Depolama çözümünün önemi üzerine birkaç düşünce: Kaliteli belgelerinizin, eğitim, ince ayar ve çıkarım için verilerinizi hızlı bir şekilde sunabilen bir depolama çözümünde olması gerekir. Mühendisleriniz ne kadar çok deney yürütebilirse, modelleriniz de o kadar iyi performans gösterecektir. Ayrıca deneyleri takip etmek, işlenmiş verileri kaydetmek ve modellerinizi versiyonlandırmak isteyeceksiniz. Bu, bu bilgiyi doğrudan MinIO'ya kaydederek veya seçtiğiniz MLOP aracını kullanarak manuel olarak yapılabilir. Birçok MLOP aracı, başlık altında nesne depolamayı kullanır. Örneğin, DataBricks'ten MLFlow ve Google'dan KubeFlow'un her ikisi de MinIO'yu kullanıyor. Ek olarak, yukarıdaki diyagramlarda gösterilen MinIO örneği, modern bir veri gölü uygulamasından gelmelidir. Modern bir veri gölü, yapay zekayı destekleyebilecek bir sistem mimarisinin merkezidir.

Devam edelim ve Yüksek Lisans'ların kalite belgelerinizi içeren nesne deposunu nasıl kullanabileceğini tartışalım.

Yüksek Lisans'lar Kalite Verilerini Nasıl Kullanır?

Bu bölümde, alana özgü içerik oluşturmak için açık kaynaklı LLM'leri ve kaliteli belgelerinizi kullanmanın iki yoluna bakacağız. Bu iki teknik, ince ayar ve erişim artırılmış üretimidir (RAG).

Açık Kaynak Modeline İnce Ayar Yapın

Bir modele ince ayar yaptığımızda onu özel bilgilerle biraz daha eğitiriz. Bu, alana özgü bir LLM almanın iyi bir yolu olabilir. Bu seçenek, özel derlemenize göre ince ayar yapmak için bilgi işlem gerektirse de, bir modeli sıfırdan eğitmek kadar yoğun değildir ve mütevazı bir zaman diliminde tamamlanabilir.

Alanınız günlük kullanımda bulunmayan terimler içeriyorsa, ince ayar yapmak LLM'nin yanıtlarının kalitesini artıracaktır. Örneğin, tıbbi araştırmalardan, çevre araştırmalarından ve doğa bilimleriyle ilgili herhangi bir şeyden elde edilen belgeleri kullanacak projeler ince ayardan yararlanacaktır. İnce ayar, belgelerinizde bulunan oldukça spesifik yerel dili alır ve bunları modelin parametrik parametrelerine dönüştürür.

Dezavantajları

• İnce ayar, bilgi işlem kaynakları gerektirecektir.

• Açıklanabilirlik mümkün değildir.

• Derleminiz geliştikçe yeni verilerle periyodik olarak yeniden ince ayar yapmanız gerekecektir.

• Halüsinasyonlar endişe vericidir.

  
  

Avantajları

• LLM, ince ayar yoluyla özel korpusunuzdan bilgi alır.

• RAG'a kıyasla daha iyi değer elde etme süresi.

  
  

İnce ayar, bir Yüksek Lisans'a işletmenizin dilini öğretmenin iyi bir yolu olsa da, çoğu Yüksek Lisans'ın milyarlarca parametre içermesi ve verileriniz tüm bu parametrelere yayılacağı için verileri seyreltir.

Özel verilerinizi ve parametrik verilerinizi çıkarım anında birleştiren bir tekniğe bakalım.

Erişim Artırılmış Nesil (RAG)

Erişim Artırılmış Üretim (RAG), sorulan soruyla başlayan, onu ek verilerle birleştiren ve ardından soruyu ve verileri içerik oluşturmak için bir LLM'ye ve bir vektör veritabanına aktaran bir tekniktir. RAG ile herhangi bir eğitime gerek yoktur çünkü LLM'yi kaliteli belgeler topluluğumuzdan ilgili metin parçacıklarını göndererek eğitiriz.

Soru yanıtlama görevi kullanılarak şu şekilde çalışır: Bir kullanıcı, uygulamanızın kullanıcı arayüzünde bir soru sorar. Uygulamanız soruyu - özellikle de içindeki kelimeleri - alacak ve bir vektör veritabanı kullanarak, bağlamsal olarak alakalı metin parçacıkları için kaliteli belgeler topluluğunuzda arama yapacaktır. Bu parçalar orijinal soruyla birlikte Yüksek Lisans'a gönderilir. Bu paketin tamamı - soru artı parçacıklar (bağlam) bilgi istemi olarak bilinir. Yüksek Lisans bu bilgiyi cevabınızı oluşturmak için kullanacaktır. Bu aptalca bir şey gibi görünebilir - eğer cevabı (parçacıkları) zaten biliyorsanız, neden Yüksek Lisans ile uğraşasınız ki? Unutmayın, bu gerçek zamanlı olarak gerçekleşiyor ve amaç, kopyalayıp araştırmanıza yapıştırabileceğiniz bir metin oluşturuyor. Özel derleminizdeki bilgileri içeren metni oluşturmak için Yüksek Lisans'a ihtiyacınız var.

Bu, ince ayardan daha karmaşıktır. Vektör veritabanlarını duymuş olabilirsiniz; bunlar bir soru için en iyi bağlamı ararken önemli bir bileşendir. Vektör veritabanlarını ayarlamak zor olabilir. Basit bir geçici çözüme ihtiyacınız varsa Elastic Search gibi bir metin arama aracı kullanabilirsiniz. Ancak vektör veritabanları daha iyidir çünkü kelimelerin anlamsal anlamlarını öğrenebilirler ve aynı veya benzer anlamlara sahip farklı kelimelerin kullanıldığı bir bağlamı ortaya çıkarabilirler.

Dezavantajları

• Bir vektör veritabanı gerektirir.

• İnce ayara kıyasla değer elde etme süresi daha uzundur. (Vektör veri tabanı ve LLM'ye bir istek göndermeden önce gereken ön işleme nedeniyle.)

  
  

Avantajları

• LLM, özel külliyatınızdan doğrudan bilgiye sahiptir.
• Açıklanabilirlik mümkündür.
• İnce ayar yapılmasına gerek yoktur.
• Halüsinasyonlar önemli ölçüde azalır ve vektör veritabanı sorgularından elde edilen sonuçlar incelenerek kontrol edilebilir.

Özet

Üretken yapay zekanın başarılı bir şekilde uygulanması, uygun şekilde planlama yapmak isteyen her işletmenin erişimindedir.

Yapay zekayla ilgili her şey gibi üretken yapay zeka da verilerle başlar. Üretken yapay zekaya güç veren Büyük Dil Modellerinin ihtiyaç duyduğu veriler, güvenlik duvarlarınız içindeki benzersiz bilgiyi tanımlayan özel bir bütündür. Kendinizi metin tabanlı belgelerle sınırlamayın. Hem ses hem de video formatında eğitim videoları, kayıtlı toplantılar ve kayıtlı etkinlikler kullanılabilir. Bir veri hattı oluşturmak kolay olmayacak; kaliteyi sağlarken aynı zamanda güvenlik ve lisanslamayı korumaya özen gösterilmesi gerekiyor.

Açık kaynaklı modeller, model tasarlamanın karmaşıklığını ortadan kaldırır ve çoğu önceden eğitildiğinden, aynı zamanda başlangıç eğitiminin yüksek maliyetini de ortadan kaldırır. Kuruluşlar, oluşturulan içeriğin kalitesini artırıp artırmadığını görmek için ince ayar denemeleri yapmalıdır.

Son olarak, erişim artırılmış oluşturma (RAG), kuruluşunuzun özel belge koleksiyonundaki bilgiyi bir Yüksek Lisans'ın parametrik bilgisiyle birleştirmek için kullanılabilecek güçlü bir tekniktir. İnce ayarın aksine, derleminizdeki bilgiler modelin parametrik parametrelerine göre eğitilmez. Bunun yerine, ilgili parçacıklar çıkarım zamanında bulunur ve bağlam olarak modele aktarılır.

Sonraki adımlar

Üretken yapay zeka yeni bir teknolojidir ve yeni teknolojiler altyapı güncellemeleri gerektirir. Üretken AI konusunda ciddi olan kuruluşlar için bir sonraki adım, AI/ML Pipeline, Data Pipeline, Modern Data Lake ve Vector veritabanı (eğer RAG kullanılacaksa) içeren bir sistem mimarisi oluşturmaktır. Bu yazıda bu teknolojileri üst düzeyde ele aldım.

Üretken Yapay Zeka Sistem Mimarisinin daha ayrıntılı bir açıklaması için bu blogu takip etmeye devam edin. Sorularınız varsa [email protected] adresinden bize mesaj gönderin veya Slack topluluğuna katılın.