CassIO: OpenAI'den Esinlenen, Üretken Yapay Zeka için En İyi Kütüphane

ChatGPT'yi sık sık kullanan biriyseniz, halüsinasyon olarak bilinen şeye doğru gitme eğilimini bilirsiniz. Gerçekte hiçbir temeli olmayan, istatistiksel olarak doğru kelimelerden oluşan harika bir koleksiyon. Birkaç ay önce, Apache Cassandra'nın büyük dil modelleri (LLM'ler) ve LangChain için kullanılmasına ilişkin bir soru merak uyandırıcı bir yanıtla sonuçlandı. ChatGPT, Cassandra'nın LLM'ler oluştururken sadece iyi bir araç seçimi olmadığını, OpenAI'nin Cassandra'yı CassIO adını verdikleri MIT lisanslı bir Python kütüphanesiyle kullandığını bildirdi.

Tavşan deliğine girdik ve daha fazla ipucu vererek ChatGPT, CassIO'nun nasıl kullanıldığına dair birçok ayrıntıyı anlattı. Hatta bazı örnek kodlar ve bir web sitesi bile içeriyordu. Sonraki araştırmalar, ChatGPT yanıtları dışında CassIO'ya dair hiçbir kanıt bulamadı, ancak tohum ekildi. Bu kütüphane yoksa olması gerekiyordu ve kısa süre sonra üzerinde çalışmaya başladık.

Şimdiye kadarki en iyi halüsinasyon.

Gerçek CassIO lütfen ayağa kalkar mı?

ChatGPT'nin (ve dolayısıyla OpenAI'nin) ilham verdiği bu harika fikir neydi? Harika bir Python kütüphanesi, geliştiricilerin daha azıyla daha fazlasını yapmasını sağlar. DataStax ve Anant geliştirmede güçlerini birleştirdi CassIO Cassandra'nın üretken yapay zeka ve diğer makine öğrenimi iş yükleriyle entegrasyonunu kusursuz hale getirmek. Temel amacı Cassandra veri tabanına erişim sürecini özetlemektir. vektör arama ek kod ihtiyacını en aza indiren bir dizi kullanıma hazır araç sunar. Sonuç olarak geliştiriciler, CassIO'nun temeldeki veritabanı karmaşıklıklarını hallettiğini bilerek yapay zeka sistemlerini tasarlamaya ve uygulamaya odaklanabilirler. Sonuç, uygun fiyatlı ölçek ve düşük gecikme süresi için kanıtlanmış bir veritabanına erişimdir. CassIO'nun özü, uygulama sürecini kolaylaştırmak ve basitleştirmektir.

CassIO'nun gücü, belirli yapay zeka çerçevelerine yönelik agnostisizminde yatmaktadır. Gibi arayüzlerin spesifik uygulama ayrıntılarıyla ilgilenmez. LangChain , LlamaIndex , Microsoft Anlamsal Çekirdek veya diğer çeşitli üretken yapay zeka araç kitleri. Bunun yerine, CassIO'nun yeteneklerini kullanırken çerçevenin arayüzlerine uygun bir dizi "ince adaptör" sağlar. Bu, CassIO'nun yapay zeka uygulamanız ile veritabanı arasındaki boşluğu doldurmasına olanak tanır ve böylece uygulamanın, Cassandra'nın ayrıntılarına takılmadan gücünden yararlanmasını sağlar.

LangChain ile entegrasyon

LangChain Yönetim görevlerinin ve LLM'lerle etkileşimlerin çoğunu otomatikleştirir. Bellek, vektör tabanlı benzerlik araması, gelişmiş bilgi istemi şablonlama soyutlaması ve diğer birçok özellik için destek sağlar. CassIO, LangChain ile sorunsuz bir şekilde bütünleşerek Cassandra'ya özgü araçları genişleterek aşağıdaki gibi görevleri kolaylaştırır:

• Depolama için Cassandra'yı kullanan, bir sohbet etkileşimindeki son alışverişleri hatırlayabilen ve hatta geçmiş konuşmanın tamamının bir özetini tutabilen LLM'ler için bir bellek modülü.

• Cassandra'da LLM yanıtlarını önbelleğe alma ve böylece mümkün olan yerlerde gecikme ve belirteçlerden tasarruf etme özelliği. Verilerin Cassandra'dan bir komut istemine veya daha uzun bir LLM görüşmesine otomatik olarak eklenmesi.

• İstemlerin "kısmileştirilmesi" desteği, gelecekteki tedarik için bazı girdilerin belirtilmemiş bırakılması.

• Verilerin otomatik olarak enjeksiyonu Bayram özellik deposu (potansiyel olarak Cassandra tarafından desteklenmektedir ) bir istem haline getirin.

  
  

Bu bileşenler, verileri istemlere dahil etme sürecini kolaylaştırmak ve LLM ile veritabanı arasında sorunsuz etkileşimi sağlamak için birlikte çalışır.

Vektör aramayla entegrasyon

Dahil edilmesi vektör arama Cassandra ve DataStax'taki yetenekler Astra DB yakın zamanda (haberleri buradan okuyun) işlem verileri için zaten popüler olan bir veritabanına önemli bir özelliği entegre etti. Cassandra'nın yüksek ölçek konusundaki itibarı, maliyetli operasyonlarda verileri hareket ettirmeden verileri depolamak ve işlemek için tek bir yere sahip olduğunuz anlamına gelir. Vektör aramanın eklenmesi, CassIO'da sunulan aşağıdaki gibi "anlamsal olarak bilinçli" bir araç paketinin kapılarını açtı:

• Bir sorgunun tam ifadesine bağlı olmayan LLM yanıtlarının önbelleği.
• Belirli bir soruya en iyi cevabı oluşturmak için bir bilgi tabanını saklayabilen ve ilgili kısımları alabilen bir "anlamsal dizin". Bu araç, birçok özel ihtiyaca uyacak şekilde uyarlanabilir ve cevaba akan gerçek bilgiyi en üst düzeye çıkarmak için çeşitli bilgileri alacak şekilde yapılandırılabilir.
• LLM sohbet etkileşimleri için, uzak geçmişte gerçekleşmiş olsalar bile ilgili geçmiş alışverişleri alabilen bir "anlamsal bellek" öğesi.

CassIO ve LangChain'in birleşimi, LLM yönetiminin sürekli gelişen ihtiyaçlarını karşılamak için zaman içinde bu yetenekleri genişletmeye ve iyileştirmeye devam ediyor. Mevcut son teknoloji, LLM'lerden daha doğru yanıtlar almak için istemlerin zincirlenmesidir. Yakın zamanda yayınlanan bir makalede, adı verilen bir tekniği anlatan düşünce ağacı , vektör aramanın rolü bir istemden diğerine kalıcılıkta kritik bir rol oynar. Bu fikirler akademiden üretime geçerken Cassandra uygulamanın önemli bir parçası olarak görev yapacak.

Sonraki komut: CassIO'yu gelecekte neler bekliyor?

Gelişen bir araç olarak CassIO, sık sık eklenen yeni gelişmeler ve güncellemelerle hızla büyüyor. Bu yazının yazıldığı sırada CassIO, LangChain'i desteklemektedir ve LlamaIndex yakında kullanıma sunulacaktır. Bu projenin uzun vadeli hedefi, otonom yapay zeka aracıları için yüksek ölçekli belleği desteklemektir. JARVİS proje. Yüksek Lisanslı acenteler, karmaşık görev yönetimine sahip birçok endüstri üzerinde inanılmaz bir etki yaratacak heyecan verici bir gelişmedir. Bu temsilcilerin veri ve etkileşimlerin birçok yönünü takip etmesi gerekecek ve Cassandra bu iş için doğru veritabanıdır. Güvenilir ve performanslı.

Yaklaşan bir temel eğitim kampı, " NoCode, Veri ve Yapay Zeka: Cassandra ile Yüksek Lisans Eğitim Kampı ", geliştiricilere bir sohbet botu oluşturmak için kütüphaneyle uygulamalı çalışma şansı sunacak. Yakınınızdaki bir şehre gelen buna benzer daha fazla aktivite arayın! Kullanıcıları keşfetmeye teşvik ediyoruz CassIO ile dosya sorunları , a katılmak forumlar ve hızla gerçekleşen bu halüsinasyonu iyileştirmemize yardımcı olun.

Kim bilir tarih bu anı nasıl yargılayacak? OpenAI'den dahili bilgi sızıntısı mıydı? Veya biraz daha karanlık bir açıdan düşünürsek, bu, yapay zekanın insanlara emirlerini yerine getirmesini sağlayacak ilk adım mı? Her iki durumda da geliştiriciler artık üretken yapay zeka dünyasına adım atarken Cassandra'nın neredeyse sonsuz ölçeğinden yararlanabilecekleri kullanımı kolay bir kitaplığa sahip.

ChatGPT bize bir hediye verdi, peki bununla ne inşa edeceksiniz? Yaklaşan bir web seminerinde vektör arama konusuna dalacağım (kayıt olun) Burada !) ve eğer bugün içeri girip çalışmaya başlamak istiyorsanız, DataStax Astra harika eğitimler var.

Yazan: Patrick McFadin, DataStax

Patrick McFadin, O'Reilly'nin 'Kubernetes'te Bulut Yerel Verilerini Yönetme' kitabının ortak yazarıdır. Halen DataStax'ta geliştirici ilişkileri alanında ve Apache Cassandra projesine katkıda bulunan kişi olarak çalışmaktadır. Patrick, Apache Cassandra'da baş müjdeci olarak çalıştı (aynı zamanda Cassandra'nın yeni kurulmuş bir üyesi!) ve DataStax'ta danışman olarak çalıştı; burada üretimdeki en büyük dağıtımlardan bazılarını oluştururken harika zaman geçirdi.