जैसा कि एआई-आधारित एप्लिकेशन प्रयोग से वास्तविक समय के उत्पादन प्रणालियों में चले जाते हैं, वेक्टर समानता खोज पर लगाए गए अपेक्षाएं काफी बढ़ती रहती हैं। ScyllaDB Vector Search इन प्रतिबंधों को ध्यान में रखते हुए बनाया गया था. यह संरचित डेटा को संरचित एम्बेडमेंट के साथ संग्रहीत करने के लिए एक एकीकृत इंजन प्रदान करता है, और यह प्रदर्शन प्राप्त करता है जो एक प्रबंधित डेटाबेस सिस्टम की सीमाओं को बढ़ाता है। एक नज़र में वास्तुकला बड़े विक्टर सेटों पर एक मिलिसी सेकंड की कम प्रदर्शन प्राप्त करने के लिए, ScyllaDB एक आर्किटेक्चर अपनाता है जो स्टोरेज और इंडेक्सिंग जिम्मेदारियों को अलग करता है, जबकि सिस्टम को उपयोगकर्ता के दृष्टिकोण से एकीकृत रखता है। ScyllaDB नोड्स एक ही वितरित तालिका में संरचित गुणों और वेक्टर एम्बेडमेंट दोनों को स्टोरेज करते हैं। इस बीच, एक समर्पित वेक्टर स्टोर सेवा – Rust में लागू और USearch इंजन द्वारा संचालित, ScyllaDB के पूर्वानुमानित एक-श्रेष्ठ मिलिसी सेकंड लाटेन्स का समर्थन करने के लिए अनुकूलित किया जाता है – सीडीसी के माध्यम से ScyllaDB से अपडेट का उपभोग करता है और स्मृति SELECT … ORDER BY vector_column ANN_OF ? LIMIT k; फिर उन्हें आंतरिक रूप से वेक्टर स्टोर पर राउटर किया जाता है, जो समानता खोज करता है और उम्मीदवार पंक्तियों को वापस करता है. यह डिजाइन प्रत्येक परत को स्वतंत्र रूप से स्केल करने की अनुमति देता है, अपने स्वयं के कार्य भार विशेषताओं के लिए अनुकूलित करता है और संसाधन हस्तक्षेप को समाप्त करता है। 1 बिलियन वेक्टर की तुलना वास्तविक दुनिया के प्रदर्शन का मूल्यांकन करने के लिए, ScyllaDB ने एक सार्वजनिक रूप से उपलब्ध yandex-deep_1b डेटासेट का उपयोग करके, जिसमें 96 आयामों के 1 बिलियन वेक्टर होते हैं। सेटअप में छह नोड शामिल थे: तीन ScyllaDB नोड्स i4i.16xlarge संस्करणों पर चलते हैं, प्रत्येक 64 vCPU के साथ सुसज्जित, और तीन Vector Store नोड्स r7i.48xlarge संस्करणों पर चलते हैं, प्रत्येक 192 vCPU के साथ। सख्त बेंचमार्क एक पूर्ण आर्किटेक्चरल डीप, जिसमें चार्ट, प्रदर्शन संतुलन, और उच्च आयाम डेटासेट्स के लिए विस्तारित संदर्भ परिणाम शामिल हैं, तकनीकी ब्लॉग पोस्ट में पाया जा सकता है ये अतिरिक्त परिणाम 96 आयामी परीक्षणों में देखा गया एक ही पैटर्न का पालन करते हैं: असाधारण रूप से कम लाटेन, उच्च पारगमन, और एक विस्तृत श्रृंखला के साथ-साथ लोड प्रोफाइलों में स्थिरता। ScyllaDB के लिए एक कम लाइटेंसी वेक्टर खोज इंजन का निर्माण ScyllaDB के लिए एक कम लाइटेंसी वेक्टर खोज इंजन का निर्माण परिदृश्य #1 - मध्यम वापसी के साथ अल्ट्रा-कम लाटेनिस पहला परिदृश्य अनुशंसा इंजन और वास्तविक समय अनुकूलन सिस्टम जैसे कार्य भारों के लिए डिज़ाइन किया गया था, जहां प्राथमिक उद्देश्य अत्यधिक कम लाटेनता है और वापसी को मध्यम रूप से आराम किया जा सकता है। लगभग 70% वापसी और 30 समकक्ष खोजों के साथ, सिस्टम ने केवल 1.7 मिलीसेकंड की एक p99 लाटेनता और केवल 1.2 मिलीसेकंड की एक p50 को बनाए रखा, जबकि प्रति सेकंड 25,000 पूछताछ का समर्थन किया। पारदर्शिता विंडो का विस्तार करते समय (यह अभी भी 10 मिलीसेकंड से नीचे p99 देरी रखता है), क्लस्टर ने 4.5 मिलीसेकंड की p50 देरी के साथ k = 100 के लिए 60,000 QPS और 2.2 मिलीसेकंड की p50 देरी के साथ k = 10 के लिए 252,000 QPS तक पहुंच लिया। परिदृश्य #2 - थोड़ा उच्च लाटेनता के साथ उच्च याद दिलाने दूसरा परिदृश्य उन प्रणालियों को लक्षित करता है जिनके लिए लगभग सही वापसी की आवश्यकता होती है, जिसमें उच्च भरोसेमंदता सेमेंटिक खोज और रीसेट-आउट जनरेटिंग पाइपलाइन शामिल हैं. यहां, इंडेक्स पैरामीटरों को m = 64 तक, ef-construction = 512 और ef-search = 512 तक काफी बढ़ाया गया था. यह कॉन्फ़िगरेशन कंप्यूटिंग आवश्यकताओं को बढ़ाता है लेकिन रीसेट में काफी सुधार करता है. 50 समान खोजों और पुनरावृत्ति के साथ 98% तक पहुंचने के साथ, ScyllaDB ने p99 latency को 12 मिलीसेकंड से नीचे रखा और p50 को 8 मिलीसेकंड के आसपास रखा, जबकि 6500 QPS को वितरित किया। जब p99 latency को 20 मिलीसेकंड से नीचे रखते हुए और p50 को 10 मिलीसेकंड से नीचे रखते हुए अधिकतम स्थायी प्रवाह पर फोकस को स्थानांतरित किया गया, तो सिस्टम ने 16 600 QPS हासिल किया। विस्तृत परिणाम नीचे दिए गए तालिका में कुछ प्रतिनिधिमंडल समकक्ष स्तरों के लिए परिणामों का संक्षेप प्रस्तुत किया गया है। जटिलता के बिना एकीकृत वेक्टर खोज ScyllaDB के साथ Vector Search को एकीकृत करने का एक बड़ा लाभ यह है कि यह महत्वपूर्ण प्रदर्शन और नेटवर्किंग लागत लाभ प्रदान करता है। वेक्टर स्टोर डेटा के करीब रहता है, केवल एक ही उपलब्धता क्षेत्र में मेटाडेटा और एम्बेडिंग भंडारण के बीच एक ही नेटवर्क स्कोप के साथ। बड़े पैमाने पर तेजी से होने के अलावा, ScyllaDB का वेक्टर खोज भी संचालित करने में आसान है. इसका मुख्य लाभ यह है कि यह एकल डेटासेट के भीतर संरचित और अस्थिर खोज को एकीकृत करने की क्षमता है. इसका मतलब है कि आप पारंपरिक गुणों और वेक्टर इनबॉइड्स को एक साथ संग्रहीत कर सकते हैं और व्यावहारिक खोज और पारंपरिक खोज को जोड़ने वाले पूछताछ व्यक्त कर सकते हैं. उदाहरण के लिए, आप डेटाबेस से पूछ सकते हैं कि "पहले पांच सबसे समान दस्तावेजों को ढूंढें, लेकिन केवल उन दस्तावेजों को जो इस विशिष्ट ग्राहक से संबंधित हैं और पिछले 30 दिनों में बनाए गए हैं." यह दृष्टिकोण लेनदेन डेटा और वेक्टर खोज के लिए इसका मतलब यह भी है कि कोई ईटीएल ड्रिफ्ट नहीं है और कोई दोहरी लिखने का जोखिम नहीं है। एक लेन-देन स्टोर में मेटाडेटा रखने के दौरान अलग-अलग वेक्टर डेटाबेस में एम्बेडमेंट भेजने के बजाय, ScyllaDB सब कुछ एक ही सिस्टम में एकीकृत करता है। ऑपरेटिंग दृष्टिकोण से, ScyllaDB पूरे रिकॉर्डिंग स्टैक को सरल बनाता है. चूंकि यह ScyllaDB के सिद्ध वितरित आर्किटेक्चर पर बनाया गया है, इसलिए सिस्टम अत्यधिक उपलब्ध है, क्षैतिज रूप से स्केल किया जा सकता है, और उपलब्धता क्षेत्रों और क्षेत्रों पर प्रतिरोधी है. दो या तीन अलग-अलग प्रौद्योगिकियों का संचालन करने के बजाय - प्रत्येक अपनी निगरानी, सुरक्षा कॉन्फ़िगरेशन और विफलता मोड के साथ - आप केवल एक को प्रबंधित करते हैं। रोडमैप उत्पाद अब जनरल उपलब्धता में है. इसमें क्लाउड पोर्टल प्रविज़न, अनुरोध पर बिलिंग, पूर्ण प्रकार के इंस्टीट्यूट प्रकार, और अतिरिक्त प्रदर्शन अनुकूलन शामिल हैं. स्व-सेवा स्केलिंग Q1 के लिए योजना बनाई गई है. Q1 के अंत तक हम मूल फ़िल्टरिंग क्षमताओं को पेश करेंगे, जिससे वेक्टर खोज पूछताछ को अधिक सटीक हाइब्रिड रिकॉर्डिंग के लिए पारंपरिक predicates के साथ ANN परिणामों को जोड़ने की अनुमति मिलती है. आगे देखते हुए, मार्गदर्शिका में स्मृति उपयोग को कम करने के लिए स्केलर और बाइनरी कुंटाइज़ेशन के लिए समर्थन शामिल है, वेक्टर डेटा के जीवन चक्र ऑटोमेशन के लिए TTL कार्यक्षमता, और एकीकृत हाइब्रिड खोज जो ANN और BM25 को एकीकृत lexical और semantic प्रासंगिकता के लिए जोड़ती है। निष्कर्ष ScyllaDB ने साबित किया है कि यह बड़े पैमाने पर वेक्टर खोज के लिए उद्योग के अग्रणी प्रदर्शन प्रदान करने में सक्षम है, एक 1 अरब वेक्टर डेटासेट को संभालने में सक्षम है, जबकि p99 लाटेशन 1.7 मिलीसेकंड तक कम है और 252,000 QPS तक की पारदर्शिता। वर्तमान मानदंड ScyllaDB की स्केलेबलता की वर्तमान स्थिति को दर्शाते हैं. आने वाले मार्गदर्शिका में योजनाबद्ध सुधारों के साथ, जिसमें स्केलर मात्राकरण और sharding शामिल हैं, इन प्रदर्शन सीमाओं को अगले वर्ष में बढ़ाने के लिए निर्धारित किया गया है. हालांकि, अभी भी, सुविधा धोखाधड़ी का पता लगाने या सिफारिश प्रणाली जैसे लंबी अवधि के महत्वपूर्ण कार्य भार को चलाने के लिए तैयार है।
