AI dayalı uygulamalar deneylerden gerçek zamanlı üretim sistemlerine geçtikçe, vektor benzerlik arama beklentileri dramatik bir şekilde artmaya devam ediyor. Ekipler şimdi milyarlarca ölçekli veri kümelerini, yüksek birleşikliği, sıkı p99 gecikme bütçelerini ve mimari aşırı yükü azaltmak yerine buna eklemek yerine işletme basitliğini desteklemeli. ScyllaDB Vector Search, bu kısıtlamaları göz önünde bulundurarak inşa edilmiştir. Yapısal olmayan entegrelerle birlikte yapılandırılmış verileri depolamak için birleşik bir motor sunar ve yönetilen bir veritabanı sisteminin ölçekte sağlayabileceğinin sınırlarını aşan performans sağlar. Bir bakışta mimarlık ScyllaDB, büyük vektör kümelerinde düşük bir milisekundelik performans elde etmek için, depolama ve endeksleme sorumluluklarını ayırt eden bir mimari kullanırken, sistemin kullanıcı bakış açısından birleştirilmesini sağlar. ScyllaDB düğmeleri hem yapılandırılmış özellikleri hem de vektor entegrelerini aynı dağıtılmış tabloya depolamaktadır. Bu arada, Rust'ta uygulanan ve USearch motoru tarafından desteklenen özel bir Vector Store hizmeti, ScyllaDB'nin tahmin edilebilir tek rakamlı milisekundelik gecikmelerini desteklemek için optimize edilmiştir - ScyllaDB'den CDC aracılığıyla güncelleştirmeler tüketir ve hafızada yaklaşık yakın komşu (ANN) endeksleri oluşturur. SELECT … ORDER BY vector_column ANN_OF ? LIMIT k; Ardından, benzerlik aramasını gerçekleştiren ve aday satırları iade eden Vector Store'a içsel olarak yönlendirilir.Bu tasarım, her katmanın kendi çalışma yükü özelliklerine göre optimize edilmesi ve kaynak müdahalesini ortadan kaldırarak bağımsız olarak ölçeklenmesine izin verir. 1 Milyar Vektör Benchmarking Gerçek dünya performansını değerlendirmek için, ScyllaDB bir Yandex-deep_1b veritabanını kullanarak, 96 boyutlu 1 milyar vektor içeriyordu. Kurulum altı düğümden oluşuyordu: i4i.16xlarge varsayımları üzerinde çalışan üç ScyllaDB düğüm, her biri 64 vCPU ile donatılmış ve her biri 192 vCPU ile çalışan r7i.48xlarge varsayımları üzerinde çalışan üç Vector Store düğüm. Bu donanım yapılandırması, veritabanı ve vektor endeksleme düzeylerinin farklı kaynak profilleri ile sağlandığı gerçekçi üretim dağıtımlarını yansıtıyor. Sonuçlar, farklı doğruluk ve gecikme hedefleri olan iki kullanım senaryosuna odaklanıyor. Sıkı benchmark Diagramlar, performans kompromisleri ve daha yüksek boyutlu veri kümeleri için genişletilmiş referans sonuçları da dahil olmak üzere tam bir mimari derin dalış, teknik blog yazısında bulunabilir. Bu ek sonuçlar, 96 boyutlu testlerde gördüğümüz aynı şablonu takip ediyor: olağanüstü düşük latans, yüksek geçiş ve geniş bir yelpazede eşzamanlı yük profilleri üzerinde istikrar. ScyllaDB için Low-Latency Vector Arama Motoru ScyllaDB için Low-Latency Vector Arama Motoru Senaryo #1 – Orta dereceli geri bildirim ile ultra düşük latensi İlk senaryo, önerme motorları ve gerçek zamanlı kişiselleştirme sistemleri gibi çalışma yükleri için tasarlanmıştır, ana hedefin son derece düşük gecikme olduğu ve geri bildirim hafifçe hafifletilebileceği durumlarda. indeksleme parametreleri m = 16, ef-konstrüksiyon = 128, ef-search = 64 ve Euclidean mesafesi kullandık. Yaklaşık% 70 geri çağırma ve 30 eşzamanlı arama ile, sistem saniyede 25.000 sorguyu desteklerken, sadece 1.7 milisekundaki bir p99 gecikmesi ve sadece 1.2 milisekundaki bir p50'yi korudu. Geçerlilik penceresini genişlettiğinde (p99 geçişini 10 milisekunden daha düşük tutarken), k = 100 için 60.000 QPS, 4.5 milisekundaki bir p50 geçişine ve 2.2 milisekundaki bir p50 geçişine sahip k = 10 için 252.000 QPS'ye ulaştı. Senaryo #2 - Yüksek geri bildirim, hafifçe daha yüksek gecikme İkinci senaryo, yüksek güvenilirlik semantik arama ve arama artırılmış üretim borularını içeren neredeyse mükemmel geri çağırma gerektiren sistemleri hedefliyor. burada, endeks parametreleri m = 64'e, ef-konstrüksiyon = 512 ve ef-search = 512'e önemli ölçüde arttı. 50 aynı anda arama ve geri çağırma ile %98 yaklaştıkça, ScyllaDB, p99 latansını 12 milisekundaki altındaki ve p50’yi yaklaşık 8 milisekundaki altındayken, 6.500 QPS’yi sağlarken odaklanmayı maksimum sürdürülebilir akışa taşıdığında, p99 latansını 20 milisekundaki altındaki ve p50’yi 10 milisekundaki altındaki tutarken, sistem 16.600 QPS’ye ulaştı. Detaylı sonuçlar Aşağıdaki tablo, bazı temsilci rekabet seviyeleri için sonuçların özetini sunar. Karmaşıklık olmadan Unified Vector Search Vector Search ile ScyllaDB'yi entegre etmenin büyük bir avantajı, önemli performans ve ağ maliyeti avantajları sunmasıdır. Vector store, metadata ve yerleştirme depolama arasında tek bir ağ hop ile verilere yakındır. Bu yerleşim, ScyllaDB'nin shard-per-core yürütme modeli ile birlikte, sistemin ağır yük altında bile gerçek zamanlı gecikme ve büyük ulaşım sağlamasını sağlar. Sonuç olarak, ekipler, özel vektor arama sistemleri ile karşılaştırıldığında daha az kaynakla daha fazlasını başarabilir. ScyllaDB'nin Vector Araması, büyüme hızının yanı sıra daha kolay çalışabiliyor. Anahtar avantajı, yapısal ve yapısal olmayan arama işlemlerini tek bir veritabanı içinde birleştirme yeteneğidir. Bu, geleneksel özellikleri ve vektor embeddings'i yan yana saklayabilir ve semantik arama ile geleneksel arama birleştiren soruları ifade edebilir. Örneğin, veritabanını "en iyi beş benzer belge bulmak, ancak yalnızca bu belirli müşteriye ait olanlar ve son 30 gün içinde oluşturulanlar." Bu yaklaşım, işlem verileri ve vektor arama için ayrı sistemler tutmanın yaygın acısını ortadan kaldırır ve iki gerçek kaynağı arasındaki senkronizasyonla ilişkili operasyonel kırılganlığı ortadan kaldırır. Bu da ETL akışının ve çift yazma riskinin olmadığı anlamına gelir. Bağlantıları ayrı bir vektör veritabanına göndermek yerine, bir işlem depolarında meta verileri saklarken, ScyllaDB her şeyi tek bir sistemde birleştirir. Tek ihtiyacınız olan boru hattı, tercih ettiğiniz LLM veya ML modeli kullanılarak eklentileri oluşturan hesaplama aşamasıdır. Yazdığınızda, veriler ek koordinasyon, geri doldurma veya karmaşık akış işleri olmadan tutarlı kalır. İşlevsel olarak, ScyllaDB, tüm arama kümesini basitleştirir. ScyllaDB'nin kanıtlanmış dağıtılmış mimarisine dayanarak, sistem çok kullanılabilir, yatay olarak ölçeklenebilir ve erişilebilirlik bölgelerinde ve bölgelerinde dayanıklıdır. İki veya üç farklı teknolojiyi çalıştırmak yerine - her biri kendi izleme, güvenlik yapılandırmaları ve arıza modları ile - yalnızca birini yönetebilirsiniz. Yol Haritası Ürün şu anda Geeral Availability’de. Bu, Cloud Portal provisioning, on-demand fatura, tam bir dizi örneğin türü ve ek performans optimizasyonları içerir. Öz hizmet ölçeği Q1 için planlanmıştır. Q1’in sonuna kadar, vektor arama sorgularının ANN sonuçlarını daha hassas hibrit arama için geleneksel predikatlarla birleştirmesine olanak tanıtacağız. Daha ileri bakıldığında, yol haritası, hafıza kullanımını azaltmak için scalar ve ikili kuantizasyonun desteğini, vektör verilerinin yaşam döngüsü otomasyonu için TTL işlevselliğini ve ANN'yi BM25'le birleştiren entegre hibrit arama özelliğini içerir. Sonuç ScyllaDB, endüstrinin önde gelen vektor arama performansını büyük ölçekte sunabildiğini, 1 milyar vektörün bir veritabanını 1.7 milisekunden düşük bir p99 gecikme ile ve 252.000 QPS'ye kadar aktarma kapasitesine sahip olduğunu göstermiştir.Bu sonuçlar, yapılandırılmış verileri ve yapılandırılmamış entegreyi bir araya getirerek gerçek zamanlı AI uygulamalarının operasyonel karmaşıklığını basitleştiren birleşik, yüksek performanslı bir çözüm olarak ScyllaDB Vector Search'i doğrulamaktadır. Mevcut kılavuzlar, ScyllaDB’nin şu anki ölçeklenebilirlik durumunu gösteriyor.Gelecek yol haritasında, ölçeklenmiş ölçüm ve kısaltma dahil olmak üzere planlanan geliştirmelerle, bu performans sınırları önümüzdeki yılda artmaya devam edecektir.Ancak, bu özellik, dolandırıcılık algılama veya önerme sistemleri gibi gecikme kritik iş yüklerini çalıştırmaya hazırdır.
