যখন আইটি-ভিত্তিক অ্যাপ্লিকেশনগুলি পরীক্ষা থেকে বাস্তব সময়ের উৎপাদন সিস্টেমে স্থানান্তরিত হয়, তখন ভেক্টর অনুরূপতা অনুসন্ধানের প্রত্যাশাগুলি উল্লেখযোগ্যভাবে বৃদ্ধি পাচ্ছে। ScyllaDB ভেক্টর সার্চ এই সীমাবদ্ধতাগুলি মনোযোগ দিয়ে তৈরি করা হয়েছিল. এটি অস্থিতিশীল অন্তর্নির্মিতগুলির পাশাপাশি গঠিত ডেটা সঞ্চয় করার জন্য একটি একক ইঞ্জিন সরবরাহ করে, এবং এটি এমন কর্মক্ষমতা অর্জন করে যা একটি পরিচালিত ডাটাবেস সিস্টেমের মাপের সীমানাগুলি ছাড়িয়ে দেয়। এক নজরে আর্কিটেকচার বিশাল ভেক্টর সেটগুলিতে নিম্ন-মিলিসেকেন্ড পারফরম্যান্স অর্জন করার জন্য, ScyllaDB একটি আর্কিটেকচার গ্রহণ করে যা স্টোরেজ এবং ইন্ডেক্সিং দায়িত্বগুলি আলাদা করে এবং ব্যবহারকারীর দৃষ্টিকোণ থেকে সিস্টেমকে একত্রিত রাখে। ScyllaDB নোডগুলি একই বিতরণ টেবিলের মধ্যে গঠিত বৈশিষ্ট্যগুলি এবং ভেক্টর অন্তর্ভুক্তগুলি উভয়ই সংরক্ষণ করে। SELECT … ORDER BY vector_column ANN_OF ? LIMIT k; তারপর তারা ভেক্টর স্টোরে অভ্যন্তরীণভাবে রুট করা হয়, যা অনুরূপতা অনুসন্ধান করে এবং প্রার্থী লাইনগুলি ফেরত দেয়। Benchmarking 1 বিলিয়ন ভেক্টর বাস্তব বিশ্বের কর্মক্ষমতা মূল্যায়ন করার জন্য, ScyllaDB একটি জনসাধারণের জন্য উপলব্ধ yandex-deep_1b ডেটা সেট ব্যবহার করে, যা 96 মাত্রার 1 বিলিয়ন ভেক্টর অন্তর্ভুক্ত করে। সেটআপটি ছয়টি নোডের মধ্যে গঠিত ছিল: তিনটি ScyllaDB নোডগুলি i4i.16xlarge ইনস্ট্যান্সগুলিতে চলছে, প্রত্যেকটিতে 64 vCPUs রয়েছে, এবং তিনটি ভেক্টর স্টোর নোডগুলি r7i.48xlarge ইনস্ট্যান্সগুলিতে চলছে, প্রত্যেকটিতে 192 vCPUs রয়েছে। এই হার্ডওয়্যার কনফিগারেশনটি বাস্তবিক উৎপাদন বিস্তারগুলি প্রদর্শন করে, যেখানে ডাটাবেস এবং ভেক্টর ইনডেক্সিং কঠোর benchmark একটি সম্পূর্ণ আর্কিটেকচারিক গভীর ডাইভ, ডিগ্রী, পারফরম্যান্স কমফোর্স এবং উচ্চতর মাত্রার ডাটা সেটের জন্য বিস্তৃত রেফারেল ফলাফল সহ, প্রযুক্তিগত ব্লগ পোস্টে পাওয়া যাবে এই অতিরিক্ত ফলাফলগুলি 96-দৈর্ঘ্য পরীক্ষায় দেখা যাওয়া একই প্যাটার্ন অনুসরণ করে: ব্যতিক্রমীভাবে কম দীর্ঘস্থায়ীতা, উচ্চ পারফরম্যান্স এবং সমান্তরাল লোড প্রোফাইলগুলির একটি বিস্তৃত পরিসীমা জুড়ে স্থিতিশীলতা। ScyllaDB জন্য একটি Low-Latency ভেক্টর সার্চ ইঞ্জিন তৈরি করুন ScyllaDB জন্য একটি Low-Latency ভেক্টর সার্চ ইঞ্জিন তৈরি করুন পরিস্থিতি # 1 - মাঝারি প্রত্যাহারের সাথে অত্যন্ত নিম্ন ল্যাটেনশন প্রথম পরিস্থিতিটি সুপারিশ ইঞ্জিন এবং রিয়েল টাইম ব্যক্তিগতকরণ সিস্টেমগুলির মতো কাজের লোডগুলির জন্য ডিজাইন করা হয়েছিল, যেখানে প্রাথমিক উদ্দেশ্য অত্যন্ত কম দেরি এবং পুনরাবৃত্তি হালকা হতে পারে। প্রায় 70% পুনরাবৃত্তি এবং 30 একই সময়ে অনুসন্ধানের সাথে, সিস্টেমটি মাত্র 1.7 মিলিসেকেন্ডের একটি p99 ল্যাটিনতা এবং মাত্র 1.2 মিলিসেকেন্ডের একটি p50 বজায় রাখে, যখন প্রতি সেকেন্ডে 25,000 অনুরোধ বজায় রাখে। পাসপোর্ট উইন্ডোটি প্রসারিত করার সময় (এখনও 10 মিলি সেকেন্ডের নিচে p99 latency বজায় রাখে), ক্লাস্টারটি k = 100 এর জন্য 60,000 QPS এবং 4.5 মিলি সেকেন্ডের জন্য p50 latency এবং 2.2 মিলি সেকেন্ডের জন্য k = 10 এর জন্য 252,000 QPS পৌঁছায়। পরিস্থিতি #2 - উচ্চ প্রত্যাহারের সাথে কিছুটা উচ্চতর দেরি দ্বিতীয় পরিস্থিতিটি এমন সিস্টেমগুলিকে লক্ষ্য করে যা প্রায় নিখুঁত পুনরাবৃত্তি প্রয়োজন, যার মধ্যে উচ্চ নির্ভুলতা সিমেন্টিক অনুসন্ধান এবং পুনরুদ্ধারের বৃদ্ধি পাওয়ার পাইপলাইন রয়েছে. এখানে, সূচক প্যারামিটারগুলি m = 64, ef-construction = 512, এবং ef-search = 512-এ উল্লেখযোগ্যভাবে বৃদ্ধি পেয়েছে। 50 একই সময়ে অনুসন্ধান এবং পুনরাবৃত্তি 98% কাছাকাছি, ScyllaDB p99 দীর্ঘস্থায়ী 12 মিলিসেকেন্ডের নিচে এবং p50 প্রায় 8 মিলিসেকেন্ডের নিচে, যখন 6.500 QPS প্রদান. যখন সর্বোচ্চ স্থিতিশীল পারফরম্যান্সে ফোকাস পরিবর্তন করে p99 দীর্ঘস্থায়ী 20 মিলিসেকেন্ডের নিচে এবং p50 10 মিলিসেকেন্ডের নিচে রাখে, সিস্টেমটি 16.600 QPS অর্জন করে। বিস্তারিত ফলাফল নিম্নলিখিত টেবিলটি কিছু প্রতিনিধিত্বপূর্ণ সমন্বয় স্তরগুলির জন্য ফলাফল সংক্ষিপ্ত করে। জটিলতা ছাড়াই একীভূত ভেক্টর অনুসন্ধান ScyllaDB সঙ্গে ভেক্টর সার্চ ইন্টিগ্রেশন একটি বড় সুবিধা হল যে এটি উল্লেখযোগ্য পারফরম্যান্স এবং নেটওয়ার্কিং খরচ সুবিধা সরবরাহ করে। ভেক্টর স্টোর ডেটাগুলির কাছাকাছি অবস্থিত, একই উপলব্ধির অঞ্চলে মেটাডেটা ডেটা এবং অন্তর্নির্মিত স্টোরেজের মধ্যে শুধুমাত্র একক নেটওয়ার্ক hop সঙ্গে। ScyllaDB এর ভেক্টর অনুসন্ধানটি দ্রুত পরিমাপের পাশাপাশি অপারেশন করা সহজ। এর প্রধান সুবিধা হল এটি একটি একক ডেটা সেটের মধ্যে গঠিত এবং অস্থিতিশীল অনুসন্ধানকে একত্রিত করার ক্ষমতা। এর মানে হল আপনি ঐতিহ্যগত বৈশিষ্ট্যগুলি এবং ভেক্টর অন্তর্ভুক্তগুলি পাশাপাশি সংরক্ষণ করতে পারেন এবং বর্ণালী অনুসন্ধানকে ঐতিহ্যগত অনুসন্ধানের সাথে একত্রিত করার জন্য অনুরোধগুলি প্রকাশ করতে পারেন। উদাহরণস্বরূপ, আপনি ডাটাবেসকে "প্রথম পাঁচটি সবচেয়ে অনুরূপ ডকুমেন্টগুলি খুঁজে বের করতে পারেন, কিন্তু শুধুমাত্র এই নির্দিষ্ট গ্রাহকের কাছে এটি এছাড়াও মানে কোন ইটিএল ড্রাইভ এবং কোন ডাবল-টাইপিং ঝুঁকি নেই। একটি ট্রান্সমিশন স্টোরে মেটাডেটা রাখার সময় ভেক্টর ডেটাবেসের মধ্যে ইনব্যাডিংগুলি পাঠানোর পরিবর্তে, ScyllaDB সবকিছু একটি একক সিস্টেমে একত্রিত করে। অপারেটিংভাবে, ScyllaDB পুরো পুনরুদ্ধার স্ট্যাককে সহজ করে তোলে. ScyllaDB এর প্রমাণিত বিতরণী আর্কিটেকচারের উপর ভিত্তি করে এটি নির্মাণ করা হয়, তাই সিস্টেমটি উচ্চতর উপলব্ধ, হাইড্রোজেনালভাবে স্কেলযোগ্য এবং উপলব্ধতা অঞ্চল এবং অঞ্চলে প্রতিরোধযোগ্য। রোডম্যাপ পণ্যটি বর্তমানে জার্নাল উপলব্ধির মধ্যে রয়েছে। এটি ক্লাউড পোর্টাল সরবরাহ, অনুরোধের ফিচারিং, সম্পূর্ণ ধরনের ইনস্ট্যান্স টাইপ এবং অতিরিক্ত পারফরম্যান্স অপ্টিমাইজেশন অন্তর্ভুক্ত করে। স্ব-সার্ভিস স্ক্যালিং Q1 এর জন্য পরিকল্পিত। ভবিষ্যতের দিকে তাকিয়ে, রুটফর্মটি মেমরি ব্যবহার হ্রাস করার জন্য স্ক্যালার এবং বাইনারি কোয়ান্টেশনের জন্য সমর্থন, ভেক্টর ডেটাগুলির লাইফ সাইকেল অটোমেশন জন্য TTL ফাংশনালি এবং ইন্টিগ্রেটেড হাইব্রিড সার্চ ANN এবং BM25 সংযুক্ত করার জন্য একীভূত পাঠিকাল এবং সিমেন্টিক প্রাসঙ্গিকতার জন্য অন্তর্ভুক্ত করে। উপসংহার ScyllaDB ব্যাপক পরিমাণে ভেক্টর অনুসন্ধানের জন্য শিল্পের নেতৃস্থানীয় কর্মক্ষমতা প্রদানের ক্ষমতা প্রদর্শন করেছে, p99 দীর্ঘ 1.7 মিলিসেকেন্ড এবং 252,000 QPS পর্যন্ত পারফরম্যান্সের সাথে 1 বিলিয়ন ভেক্টর ডেটা সেট পরিচালনা করে. এই ফলাফলগুলি ScyllaDB ভেক্টর অনুসন্ধানকে একটি একীভূত, উচ্চ কর্মক্ষমতা সমাধান হিসাবে সনাক্ত করে যা গঠনমূলক ডেটা এবং অস্থিতিশীল অন্তর্ভুক্তগুলি সমন্বয় করে রিয়েল টাইম এআই অ্যাপ্লিকেশনগুলির অপারেটিং জটিলতা সহজ করে। বর্তমান রেফারেন্সগুলি ScyllaDB এর স্ক্যালিংয়ের বর্তমান পরিস্থিতি দেখায়। ভবিষ্যতের রোডম্যাপে পরিকল্পিত উন্নতিগুলির সাথে, স্ক্যালার কয়েনটাইজেশন এবং শার্ডিং সহ, এই কর্মক্ষমতা সীমাগুলি আগামী বছর বৃদ্ধি পাবে।
