The Database Zoo: Exotic Data Storage Engines (විශාල දත්ත ගබඩා යන්ත්ර) මෙම ලිපිය කොටසක් වන්නේ සෑම පණිවිඩයක්ම විශේෂිත යන්ත්රය වර්ගයේ වෙනස් ආකාරයට පිවිසෙන අතර, එය විසඳන ප්රශ්නය, එහි ආකෘතිය පිටුපස ඇති සැලසුම් තීරණ, එය දත්ත ක්රියාත්මකව ගබඩා කරන ආකාරය සහ ප්රශ්න සහ සැබෑ ලෝකයේ භාවිත ප්රශ්න පැහැදිලි කිරීමයි. ඇතුළත් කිරීම සෑම LLM යෙදුම, නිර්දේශ යන්ත්රය, සංසන්දනීය සෙවුම් ක්රියාකාරකම්, රූප සමානත්වය මෙවලමක්, වංචා පරීක්ෂක, සහ "මේ වගේ දේවල් මට සොයා ගන්න" වැඩ ක්රියාවලිය අවසානයේ එකම ක්රියාකාරිත්වයට වැටෙනු ඇත: සමහර ඇතුලත් කිරීම් උසස් ප්රමාණයේ විචල්යයක් බවට පරිවර්තනය, පසුව එහි ආසන්නතම අසල්වැසියන් සොයන්න. Vector ආකෘති කුඩා ප්රමාණවලදී මෙය සරලයි, නමුත් දත්ත ප්රමාණය සහ ප්රමාණශීලීත්වය වර්ධනය වන විට, එය සාමාන් ය පරිශීලක දත්ත සමුද්රව්ය සිගරට් බවට පත් වන ප්රශ්නයයි. Vector search workloads වලට සාමාන් ය OLTP (Online Transaction Processing) හෝ document-store workloads වලට වඩා ඉතා වෙනස් ලක්ෂණ ඇත: ඔබ නිවැරදි වටිනාකම් සඳහා ප්රශ්න කරන්නේ නැහැ, ඔබ සංකේත සමානත්වය සඳහා ප්රශ්න කරනවා. දත්ත දහස් ගණනක ප්රමාණයක ජීවත් වන අතර, සම්ප් රදායික ඉංජිනේරු කිරීම බිඳ වැටේ. ගබඩා පඩිපෙළ විශාල වේ, සහ සංරක්ෂණය අත්යවශ්ය වේ. ගබඩා ප්රතිශතය බොහෝ විට නිශ්චිතව නව ඇතුළත් කිරීම් නිෂ්පාදනය කරන ආකෘති පයිප්ලයින් වලට සම්බන්ධ වේ. ප්රශ්න නිතරම ව්යුහගත ෆයිල්ටර් සමග වික්රීය සමානතාවක් සකසයි ("ඔබ ළඟම අමුද්රව්ය සොයා, නමුත් පමණක් ප්රවර්ගය X, ස්ථානය Y"). එබැවින් වකට් දත්ත සමුදායන් පවතී.ඔවුන් "බොටෝරයක් ගබඩා කරන දත්ත සමුදායන්" නොවේ, ඔවුන් වටා පරිශීලක කර ඇති ඉලක්කය ඉදි කරන යන්ත්ර වේ. (ANN) සෙවුම්, දුරස්ථ ප්රවේශ ප්රවේශ ප්රවේශය, මෙටා දත්ත ෆිල්ටර කිරීම, උසස් ප්රවේශය ගබඩා කිරීම, හා ප්රමාණවත් ඇතුළත් කිරීම සඳහා ජීවන චක්රය කළමනාකරණය. සමීපතම අසල්වැසියා මෙම ලිපියේදී අපි විගණක දත්ත සමුදායන් ව්යුහය කරන්නේ කෙසේද, ඔවුන් කරන්නේ කෙසේද යන්න, ඔවුන් භාවිතා කරන්නේ කුමන ඉංජිනේරු කිරීමේ තාක්ෂණයන්, ප්රශ්න ක්රියාත්මක කරන්නේ කෙසේද, කුමක්ද සීමා වැදගත් වන අතර, මෙම පද්ධති ක්රියාත්මකව ආලෝකය හෝ සටන් කරන්නේ කොතැනද, අවසානයේදී, ඔබ ඇල්ජිම තෝරා ගැනීම, ගබඩා සැලසුම්, ප්රතිඵල සකස් කිරීම සහ ඕනෑම විගණක සෙවුම් කිරීමේ වැඩපිළිවෙළ සඳහා ආකෘති තීරණ ගැන හිතන තරම් ශක්තිමත් මානසික ආකෘතියක් තිබිය යුතුය. General-Purpose Databases සටන් කරන්නේ ඇයි වඩාත් ශක්තිමත් සබඳතා සහ ලේඛන ප්රවේශම් දත්ත සමුදාය දර්ශක සෙවුම් වැඩපිළිවෙළකට මුහුණ දී ඇත.High-dimensional embeddingsගේ ආකෘති සහ ප්රමාණයන් නිශ්චිත ගැලපෙන හෝ අඩු-dimensional indexing සඳහා නිර්මාණය කරන පද්ධතිවල මූලික සීමාවන් හෙළි කරයි. High-Dimensional Similarity ප්රශ්න විගණක සෙවීම මූලික වශයෙන් සමානකම, සමානකම නොවේ. අගය හෝ ප්රමාණයක් සොයන සම්ප් රදායික SQL ප්රශ්නයකට වඩා, විගණක ප්රශ්නය සාමාන් යයෙන් ඇණවුම් කරයි: එවැනි දුරකථනවලට වඩාත් සමීප වන්නේ මොනවාද? එවැනි දුරකථනවලට වඩාත් සමීප වන්නේ මොනවාද? General-purpose database are optimized for exact-match or low-dimensional range queries. Index such as B-trees or hash maps fall apart in high dimensions – (B-බර්ස් හෝ හෙෂි මෑත වැනි ඉංජිනේරු දර්ශන) ප්රමාණයන් වැඩි වන විට, සියලුම ප්රමාණයන් සමාන දුරින් පෙනෙන අතර, ස්කෑන් සහ සම්ප්රදායික ඉංජිනේරු වඩාත් අහිතකර වේ. curse of dimensionality Approximate Nearest Neighbour Workload මිලියන ගණනක හෝ බිලියන ගණනක ඇතුළත් කිරීම් හරහා අර්බුද බලශක්ති සොයීම් පරිගණකයෙන් කළ නොහැකි ය: සෑම ප්රශ්නයකටම සෑම candidate වකට්ටරයකටම පරිගණක දුර (උදාහරණයක් ලෙස, cosine සමානකම, Euclidean දුර) අවශ් ය වේ. උසස් ප්රමාණයේ ප්රමාණයන් සඳහා (සාමාන්යයෙන් 128-2048 හෝ ඊට වැඩි ප්රමාණයන්), මෙය CPU / GPU චක්ර සහ මතකය බැංකු පුළුල්කම දෙකම වියදම් කරයි. සාමාන් ය අරමුණු වෙළඳසැල් ස්වයංක්රීය වේගවත් කිරීම හෝ කැපීම උපාය මාර්ගයක් ලබා නොගනිති, යෙදුම් මිල අධික යෙදුම් පැත්තේ ෆිල්ටර කිරීම ක්රියාත්මක කිරීමට ඉඩ ඇත. ප්රමාණවත් අසල්වැසියන් (ANN) ආකෘති මෙම ගැටලුව විසඳා, නමුත් සාමාන්ය පරිශීලක දත්ත ගබඩාව ඒවා ක්රියාත්මක නොකරයි. Metadata Filtering සහ Hybrid Queries Vector searches rarely occur in isolation.Most real-world applications require hybrid queries, වැනි: "මෙම ඇතුළත් කිරීම වැනි භාණ්ඩ සොයා ගන්න, නමුත් X ප්රවර්ගය හෝ Y දිනය ප්රමාණය ඇතුළත පමණි." "මෙම ප්රශ්නය සඳහා ළඟම වික්රම සොයා ගන්න, ටැග් හෝ පරිශීලක ලක්ෂණ අනුව ෆිල්ටර් කර ගන්න." Relational databases can filter metadata efficiently, but they cannot combine these filters with high-dimensional distance calculations without either brute-force scanning or complex application-level pipelines. මට්ටමක ඉවතට වර්තමානය වන වික්ටෝර් කුඩු දිගින් දිගටම ඇතුළත් කිරීම් නිෂ්පාදනය කළ හැකිය: ආකෘති නව ලේඛන, පින්තූර, හෝ පරිශීලක සන්නිවේදන සඳහා සැබෑ කාලය තුළ ආකෘති නිර්මාණය කරයි. දිනපතා මිලියන ගණනාවක් ඇතුළත් කිරීමෙන් ගබඩා කිරීම සහ ඉංජිනේරු කිරීම සඳහා පයිප්ලයින් ඉක්මනින් පිරිසිදු කළ හැකිය. සාමාන් ය පරිශීලක දත්ත ගබඩාවලට උසස් ප්රමාණයේ විචල්ය සඳහා පරිශීලක ලියාපදිංචි මාර්ග නොමැතිව, බොහෝ විට ප්රමාණවත් serialization අවශ්ය වන අතර ප්රමාණවත් කාර්ය සාධනය අහිමි වේ. Storage සහ Compression අභියෝග Embeddings යනු ගැඹුරු, උසස් ප්රමාණයේ පෘථිවිය-පිළිවෙළ විගණකයකි.Naive storage in relational tables or JSON documents results in: විශාල ගබඩා පඩිපෙළ (දහස් ගණනක් GB ට ටීඑස් මිලියන ගණනක් සඳහා). නරක cache ස්ථානය සහ මතකය ඵලදායී. වේගවත් ස්කෑන් ක්රියාකාරීත්වය, විශේෂයෙන් වික්රව්යයන් අනුකූලතාවය සෙවීම සඳහා පරිශීලක කර ඇති කොලුවර් හෝ බ්ලැක් ඇණවුම් වෙනුවට රේඛා-මාර්ට් ආකෘතිවල රඳා පවතී නම්. විශේෂිත වක්රට් දත්ත සමුදාය, අඛණ්ඩ කිරීම, හෝ බ්ලැක්ස් ආකෘතිගත ගබඩා පද්ධති ක්රියාත්මක කිරීම, ප්රශ්න නිවැරදිතාවය පවත්වාගෙන යන අතර ඩිස්ක් සහ මතකය භාවිතය අඩු කිරීම සඳහා. සමුදාය සාමාන්ය අරමුණු සබඳතා සහ ලේඛන වෙළඳසැල් නිවැරදි ගැලපෙන හෝ අඩු ප්රමාණ ප්රශ්න සඳහා විශ්වාසදායක වේ, නමුත් විකීටර් සෙවුම් වැඩපිළිවෙළ සුවිශේෂී අභියෝග ඉදිරිපත් කරයි: සම්ප් රදායික ඉංජිනේරුවන් බිඳ දැමීම සඳහා උසස් ප්රමාණයේ, සමානකම මත පදනම් වූ ප්රශ්න. විශාල දත්ත රැස්වීමේ දී දුරකථන පරිගණක වියදම්. Vector similarity සහ metadata filtration එකතුවෙන හයිබ්රිඩ් ප්රශ්න. උණුසුමින් පිළිගන්නා සභාවකි; එය (ජනතාව) කැඳවාගෙන යන සභාවකි; එය සවන් දෙන සභාවකි ගබඩා කිරීම සහ මතක ශක්තිය අවශ්ය වේ. මෙම අභියෝගයන් විකීර්ට් දත්ත ගබඩාවන් වර්ධනය කිරීමට සාධාරණ වේ: ඵලදායී ලෙස ගබඩා කිරීම, ඉංජිනේරු කිරීම, සහ ප්රශ්න ඇතුළත් කිරීම සඳහා සැලසුම් කරන ලද ඉංජිනේරුවන් අතර, මෙටා දත්ත ෆයිල්ටර්, උසස් ප්රමාණය සහ සමීපතම අසල්වැසි ඇල්ගාටීන් ප්රමාණවත් කිරීම. මූලික ආකෘතිය Vector දත්ත සංකේතයන් උසස් ප්රමාණයේ ඇතුළත් කිරීම සඳහා ඵලදායීව නිර්මාණය කර ඇති අතර, පොදු අරමුණු පද්ධති සඳහා නොහැකි වන පරිගණක හා ගබඩා අභියෝග දෙකම විසඳා ගත හැකිය.Their architecture revolves around optimized storage, indexing, and query execution tailored to similarity search workloads. ගබඩා Layouts සබඳතා දත්ත ගබඩාවන්ට වෙනස්ව, විකීටර් දත්ත ගබඩා ගබඩා ප්රමුඛතාවය මතකය කාර්ය සාධනය හා වේගවත් දුරකථන පරිගණක: ගැඹුරු විචල්ය ගබඩා කිරීම: Embeddings are stored as contiguous array of floats or quantified integers, improving cache localization and enabling SIMD or GPU acceleration. Block-aligned layouts: vectors are grouped in blocks to facilitate batch calculation of distances, I/O overhead reduction, and leverage vectorized hardware instructions.බොක්ස්-අනුකූලව අමුද් රව් ය ගණනය කිරීම, I/O overhead අඩු කිරීම, සහ වක්රොටරීය උපාංග උපදෙස් ප්රයෝජන. Hybrid memory and disk storage: Recent or frequently queried vectors may reside in RAM for low latency access, while older or less critical vectors persist on disk with fast retrieval mechanisms. Quantization & Compression: නිෂ්පාදන Quantization (PQ), Scalar Quantization, හෝ HNSW මත පදනම්ව කෙටි කිරීම වැනි තාක්ෂණයන් ගබඩා ප්රමාණය අඩු කිරීම සහ අවම නිවැරදිත්වය අහිමි කිරීම සමඟ දුර ගණනය කිරීම වේගවත් කරයි. මෙම තැපැල් විකල්පයන් පර්යේෂණ කාර්ය සාධනය අහිමි නොකිරීමෙන් දහස් ගණනක් ඇතුළත් කිරීම සඳහා විකෘති දත්ත ගබඩාව පුළුල් කිරීමට ඉඩ සලසයි. Indexing ව් යාපෘති ඵලදායී ඉංජිනේරු කිරීම වේගවත් සමානතාව සොයා ගැනීම සඳහා ප්රධාන වේ: සමීපතම අසල්වැසි (ANN) ව්යුහයන්: HNSW (Hierarchical Navigable Small Worlds), IVF (Inverted File Index), හෝ PQ මත පදනම් වූ ග්රැෆිස් වැනි ඉංජිනේරුවන් උසස් ප්රමාණයේ විකාශයන් තුළ සඟරාවක සොයන කාලය ලබා දෙයි. Metadata-aware indexes: sekundary indexes track categorical or temporal attributes, allowing hybrid queries that filter embeddings by tags before performing vector distance calculations.මෙම අමුද්රව්ය-අවශ්ය අමුද්රව්ය-අවශ්ය අමුද්රව්ය-අවශ්ය අමුද්රව්ය-අවශ්ය අමුද්රව්ය-අවශ්ය අමුද්රව්ය-අවශ්ය අමුද්රව්ය-අවශ්ය අමුද්රව්ය-අවශ්ය අමුද්රව්ය-අවශ්ය අමුද්රව්ය-අවශ්ය අමුද්රව්ය-අවශ්ය අමුද්රව්ය-අවශ්ය අමුද්රව්ය-අවශ්ය අමුද්රව්ය-අවශ් Multi-level indexes: සමහර පද්ධති මුලින්ම (උදාහරණයක් වශයෙන්, එක්තරා ආකාරයකින්) සහ පසුව බෙදාහැරීම් ඇතුළත දෘෂ්ටි ග්රැෆික් පරාසය, ප්රශ්න වේගය සහ මතකය භාවිතය සාධනය කරයි. දෛනික යාවත්කාලීන කිරීම්: ඉංජිනේරුවන් සම්පූර්ණ නැවත ගොඩනැගීමකින් තොරව නව විචල්යයන් සැබෑ කාලය තුළ ඇතුළත් කිරීම සඳහා නිර්මාණය කර ඇති අතර, ඉහළ ප්රමාණයේ වැඩ කාර්යක්ෂමතා යටතේ ප්රතිචාරශීලීත්වය පවත්වාගෙන ඇත. එක්ව, මෙම ව්යුහයන් දර්ශක දත්ත සංකේතයන් මිලියන හෝ බිලියන ගණනක දර්ශකවල ANN සොයමින් millisecond-scale latency ක්රියාත්මක කිරීමට ඉඩ සලසයි. Query-Aware සංකීර්ණ කිරීම Vector databases often store embeddings in compressed formats, enabling efficient computation without fully decompressing: Product Quantization (PQ) : සෑම පැකේජයම sub-vector වලට බෙදා හැරීම සහ සෑම පැකේජයම සංකීර්ණ codebook මගින් codes කරයි.Distance calculations can then be approximated directly in the compressed domain. : High-dimensional vectors are converted into binary codes to allow extremely fast distance computations using Hamming distance. Binary hashing / Hamming embeddings : Index structures like can store edge lists and vector representations in quantized form, reducing memory footprint while preserving search quality. Graph-aware compression HNSW මෙම තාක්ෂණයන් RAM භාවිතය සහ ඩිස්ක් I/O දෙකම අඩු කර ගැනීම, විශාල ප්රමාණයේ වක්රට් දත්ත සමුදායන් සඳහා ප්රධාන වේ. හයිබ්රිඩ් ෆිල්ටර් සහ සෙවුම් සැබෑ ලෝකයේ යෙදුම් බොහෝ විට විචල්ය සමානතාවය සහ ව්යුහගත ෆයිල්ටර කිරීම සඳහා සංකේතයක් අවශ්ය වේ: විශ්ලේෂිත ANN සෙවුම්: ඉංජිනේරුවන්ට මෙටා දත්ත සීමාවන් (උදාහරණයක් ලෙස, ප්රවර්ගය, දිනය, අයිතිකරුවා) සංඛ්යාත ගණනය කිරීමට පෙර candidate වක්රොටීන් සකස් කළ හැකිය. Multi-modal ප්රශ්න: සමහර දත්ත ගබඩා ප්රශ්න අනුකූල කර ඇති අතර, ෆයිල්ටර් ප්රතිපත්තිය අනුකූල කර ඇති අතර, බොහෝ ප්රවේශයන් හෝ ක්රමයන් (උදාහරණයක් ලෙස, රූපය + ලිපිය ඇතුළත් කිරීම) එකතු කරන ප්රශ්න සහාය වේ. Lazy Assessment: Distance calculations are performed only on a subset of candidates returned from the ANN index, වේගයෙන් සහ නිවැරදිතාවයෙන් සමන්විත වේ. මෙම හයිබරිඩ් ප්රවේශය සහතික කරයි වක්රීය දත්ත සංකේත වේගවත් පමණක් නොව අමුද්රව්ය සමානතාවය සොයන නමුත් සංකීර්ණ යෙදුම් ප්රශ්න සඳහා ප්රයෝජනවත් වේ. සමුදාය Vector Databases වල මූලික ආකෘතිය වන්නේ: Contiguous, cache-friendly storage for dense embeddings. ANN-based indexing structures for sub-linear high-dimensional search සඳහා ANN-based indexing structures. Query-aware පරිගණක පරිගණක පරිගණක පරිගණක පරිගණක පරිගණක පරිගණක පරිගණක පරිගණක පරිගණක පරිගණක Metadata integration and hybrid filtering to support real-world application requirements. By combining these elements, vector databases achieve fast, scalable similarity search while managing storage, memory, and computational efficiency in ways that general-purpose databases cannot match. Query Execution සහ Patterns Vector databases are designed around the unique demands of similarity search in high-dimensional spaces. Queries typically involve finding the closest vectors to a given embedding, often combined with filters or aggregations. Efficient execution requires careful coordination between indexing structures, storage layouts, and distance computation strategies. Common Query Types k-Nearest Neighbor (k-NN) Search ප්රවේශය ඇතුළත් කිරීම සඳහා වඩාත් සමාන ප්රවේශය ප්රවේශය ප්රවේශය (උදාහරණයක් ලෙස, Kosine සමානත්වය, Euclidean ප්රවේශය, අභ්යන්තර නිෂ්පාදනයක්) අනුව ඉහළම k ප්රවේශය ලබා ගන්න. උදාහරණයක්: නව ප්රකාශයට වඩාත් සමාන නිෂ්පාදන ඡායාරූප 10 සොයා ගැනීම. ANN ඉංජිනේරු (HNSW, IVF, PQ) විසින් පරිශීලක කර ඇති අතර, සෙවුම් ක්ෂේත්රය සංකීර්ණ කර ඇති අතර, සියළු විචල්යයන් සකස් නොකිරීම. Range / Radius Search ප්රශ්නය ඇතුලත සීමාව ඇතුලත සියලු වික්රම සොයා ගන්න.Return all vectors within a specified distance threshold from the query embedding. Example: Returning all text embeddings within a similarity score > 0.8 for semantic search. Optimized by: ප්රමාණවත් දුර සීමාවන් මත පදනම්ව ප්රවණතා මට්ටමකින් සකස් කරන ලද ප්රමාණවත් ඉංජිනේරු පරාසය. Filtered / Hybrid Queries Combine vector similarity search with structured filters on metadata or attributes. උදාහරණයක්: මිල < $ 500 සහිත "තැපැල්" ප්රවර්ගය තුළ ළඟම නිෂ්පාදන ඇතුළත් කිරීම 5 ක් සොයා ගන්න. Optimized by: Pre-filtering candidates using secondary indexes, then performing ANN search on the reduced set. Batch Search Execute multiple vector queries simultaneously, often in parallel. උදාහරණයක්: නිර්දේශ පයිප්පලයේ සිය ගණනක් භාවිතා කරන පරිශීලක ප්රශ්න සඳහා සමානත්වය සොයන්න. Optimized by: Vectorized computing leveraging SIMD or GPU acceleration, and batching index traversal. : විගණක පරිගණකයේ SIMD හෝ GPU වේගවත් කිරීම, සහ අංකය හරහා පැතිරීම. Query ක්රියාත්මක කිරීම් Vector databases translate high-level queries into efficient execution plans tailored for high-dimensional search: Candidate Selection via ANN Index සංකේතය සියලු ඇතුළත් කිරීම් ස්කෑන් කිරීම වෙනුවට පොරොන්දු වන ප්රතිසංස්කරණ සංකේතයක් හඳුනා ගනී. HNSW හෝ IVF බෙදාහැරීම් ප්රදේශයේ අදාළ ප්රදේශවලට සොයන්න. Distance Computation Exact distances are computed only for candidate vectors. Some systems perform computations directly in the compressed domain (PQ or binary embeddings) to reduce CPU cost. Parallel and GPU Execution ප්රශ්න බොහෝ විට ඉන්දීය බෙදාහැරීම්, CPU කේබල්, හෝ GPU අඟල් හරහා සමන්විතව ක්රියාත්මක වේ. Large-scale search over millions of vectors benefits significantly from hardware acceleration. Hybrid Filtering මෙටා දත්ත හෝ ප්රවර්ගය ෆයිල්ටර් ප්රවේශ වන්නේ candidate තෝරා ගැනීමකට පෙර හෝ කාලය තුළය. Reduces unnecessary distance calculations and ensures relevance of results. Dynamic Updates ඉන්දීය සංරක්ෂණය ක්රියාත්මකව පවත්වාගෙන යනු ඇත, සම්පූර්ණ නැවත ගොඩනැගීමකින් තොරව සැබෑ කාලය තුළ නව විචල්ය ඇතුළත් කිරීමට ඉඩ සලසයි. Ensures query latency remains low even as the dataset grows continuously. උදාහරණයක් Query Patterns : Find the top 10 most similar embeddings to a query image. Single vector search Filtered similarity: විශේෂ භාෂාවක් හෝ ප්රවර්ගය ඇතුළත් කිරීම සඳහා ළඟම අසල්වැසියන් ආපසු ලබා දෙයි. Batch Recommendation: සිය ගණනක පරිශීලකයින් සඳහා Top-N නිර්දේශ ගණනය කරන්න. : Retrieve the closest matches to a query vector that also meet attribute constraints (e.g., price, date, tags). Hybrid multi-modal search ප් රධාන Takeaways Vector database queries differ from traditional relational lookups: බොහෝ සෙවුම් ප්රමාණවත් උපාංග මත ප්රමාණවත් දුරකථන ගණනය මත පදනම් වේ. ANN indexes, compressed storage, and hardware acceleration මත ක්රියාත්මකව ප්රශ්න ක්රියාත්මක කිරීම. Real-world applications often combine vector similarity with structured metadata filtering. Batch and hybrid query support is essential for scalable recommendation, search, and personalization pipelines. embedding spaces ව්යුහය හා විශේෂිත ඉංජිනේරුවන් භාවිතා කිරීමෙන් ඉංජිනේරු දත්ත සංකේතයන් සකස් කිරීමෙන් sub-linear search times and millisecond-scale responses, even for billions of vectors. Popular Vector Database Engines Several purpose-built vector databases have emerged to handle the challenges of high-dimensional similarity search, each optimized for scale, query latency, and integration with other data systems. Here, we highlight a few widely adopted engines: මිල්විස් Overview: Milvus යනු විශාල ප්රමාණයේ සමානතාවයක් සොයන්නට සැලසුම් කරන විවෘත මූලාශ්ර විගණක දත්ත දත්ත දත්ත දත්තය.It supports multiple ANN index types, high-competition queries, and integration with both CPU and GPU acceleration. Architecture Highlights: : Hybrid approach with in-memory and disk-based vector storage. Storage engine දර්ශක: HNSW, IVF, PQ, සහ ද්විත්ව දර්ශක සහාය වේගය සහ නිවැරදිතාවය අතර සහාය සපයයි. : Real-time and batch similarity search with support for filtered queries. Query execution Scalability: Milvus cluster සහ sharding සහාය සමඟ ප්රදේශීය පුළුල් කිරීම. Trade-offs: Excellent for large-scale, real-time vector search workloads. Requires tuning index types and parameters to balance speed and recall. GPU acceleration improves throughput but increases infrastructure complexity. Use Cases: Recommendation engines, multimedia search (images, videos), NLP semantic search. Weaviate Overview: Weaviate is an open-source vector search engine with strong integration for structured data and machine learning pipelines. It provides a GraphQL interface and supports semantic search with AI models. Architecture Highlights: : Combines vectors with structured objects for hybrid queries. Storage engine : HNSW-based ANN indexes optimized for low-latency retrieval. Indexes : Integrates filtering on object properties with vector similarity search. Query execution : Supports on-the-fly embedding generation via built-in models or external pipelines. ML integration Trade-offs: Excellent for applications combining vector search with structured metadata. Milvus හෝ FAISS කූඩුවලට වඩා අතිශයින් විශාල දත්ත රැස්වීම් සඳහා අඩුම තරමින් පරිශීලක කර ඇත. Query performance can depend on the complexity of combined filters. Use Cases: Semantic search in knowledge bases, enterprise search, AI-powered chatbots. Pinecone Overview: Pinecone is a managed vector database service with a focus on operational simplicity, low-latency search, and scalability for production workloads. Architecture Highlights: : Fully managed cloud infrastructure with automated replication and scaling. Storage engine : Provides multiple ANN options, abstracting complexity from users. Indexes : Automatic vector indexing, hybrid search, and batch queries. Query execution : SLA-backed uptime, automatic failover, and consistency guarantees. Monitoring & reliability Trade-offs: Fully managed, reducing operational overhead. Less flexibility in index tuning compared to open-source engines. දත්ත සමුදාය ප්රමාණය සහ ප්රශ්න ප්රමාණය සහිත වියදම් මට්ටම්.Cost scales with dataset size and query volume. Use Cases: සැබෑ කාලීන නිර්දේශ, පෞද්ගලිකත්වය යන්ත්ර, ව්යාපාරික යෙදුම් සඳහා සමිති සොයන්න. FAISS Overview: FAISS is a library for efficient similarity search over dense vectors. Unlike full database engines, it provides the building blocks to integrate ANN search into custom systems. Architecture Highlights: : In-memory with optional persistence. Storage engine : Supports IVF, HNSW, PQ, and combinations for memory-efficient search. Indexes : Highly optimized CPU and GPU kernels for fast distance computation. Query execution : Designed for research and production pipelines with custom integrations. Scalability Trade-offs: පරිශීලක යෙදුම් සඳහා ඉතා වේගවත් හා සංයෝගී වේ. Lacks built-in metadata storage, transaction support, or full DB features. Requires additional engineering for distributed deployment and persistence. Use Cases: Large-scale research experiments, AI model embeddings search, custom recommendation systems. Other Notable Engines : Real-time search engine with support for vector search alongside structured queries. VESPA : Open-source vector database optimized for hybrid search and easy integration with ML workflows. Qdrant : Adds vector similarity search capabilities to Redis, allowing hybrid queries and fast in-memory search. RedisVector / RedisAI VESPA Qdrant RedisVector / RedisAI ප් රධාන Takeaways While each vector database has its strengths and trade-offs, they share common characteristics: : Optimized for ANN search, often in combination with compressed or quantized representations. Vector-focused storage : Ability to combine similarity search with structured metadata filters. Hybrid query support : From in-memory single-node searches to distributed clusters handling billions of embeddings. Scalability : Speed, accuracy, and cost must be balanced based on workload, dataset size, and latency requirements. Trade-offs Selecting the right vector database depends on use case requirements: whether you need full operational simplicity, extreme scalability, hybrid queries, or tight ML integration. Understanding these distinctions allows engineers to choose the best engine for their high-dimensional search workloads, rather than relying on general-purpose databases or custom implementations. Trade-offs and Considerations Vector දත්ත ගබඩාව උසස් ප්රමාණයේ සමානතාවය සොයන වැඩ ප්රමාණයේදී විශිෂ්ට වේ, නමුත් ඔවුන්ගේ පරිශීලකයන් සීමා සහිත වේ. Accuracy vs. Latency අසල්වැසිම අසල්වැසි (ANN) ඉංජිනේරුවන් සහාය සපයන අතර, බිලියන ගණනක් පුරා වේගවත් සෙවීමක් ලබා දෙයි. However, faster indexes (like HNSW or IVF+PQ) may return approximate results, potentially missing the exact nearest neighbors. ඉංජිනේරුවන්ට සෙවුම් වේගය සහ ප්රවේශ අවශ්යතා සකස් කළ යුතු අතර, සමහර යෙදුම් වලදී, ඉතා වේගවත් ප්රශ්න සඳහා ටිකක් අඩු නිවැරදිතාවය පිළිගත හැකි අතර, අනෙක් අය සමීප ගැලපීම් අවශ්ය වේ. Storage Efficiency vs. Query Speed Many vector databases use quantization, compression, or dimension reduction to reduce storage footprint. Aggressive compression lowers disk and memory usage but can increase query latency or reduce search accuracy. Choosing the right index type and vector representation is critical: dense embeddings may need more storage but allow higher accuracy, while compact representations reduce cost but may degrade results. හයිබරිඩ් සෙවුම් trade-offs Modern vector databases support filtering on structured metadata alongside vector similarity search. Hybrid queries can add complexity, increasing latency or requiring additional indexing. Designers must weigh the benefit of richer queries against the performance impact of combining vector and structured filters. Scalability Considerations Some engines (e.g., Milvus, Pinecone) scale horizontally via sharding, replication, or GPU clusters. Distributed systems add operational complexity, including network overhead, consistency management, and fault tolerance. කුඩා දත්ත රැස්වීම් ක්රියාත්මකව single-node හෝ in-memory ස්ථාපනයක (එනම්, FAISS) ක්රියාත්මක කළ හැක, බෙදාහැරෙන clusters overhead වළක්වා ගැනීමට. Operational Complexity Open-source vector databases require domain knowledge for tuning index parameters, embedding storage, and query optimization. Managed services like Pinecone reduce operational burden but limit low-level control over index configurations or hardware choices. Backup, Replication, සහ අධීක්ෂණය උපාය මාර්ගයන් එන්ජින් හරහා වෙනස් වේ; ඉංජිනේරුවන් නිෂ්පාදන වැඩපිළිවෙළ තුළ ස්ථාවරත්වය සහ විශ්වාසනීයත්වය සඳහා සැලසුම් කළ යුතුය. Lifecycle සහ Updates වක්රීය දත්ත ගබඩාව බොහෝ විට අමතරව බර වැඩ කාර්යක්ෂමතා සඳහා පරිශීලනය කරන අතර, වක්රීය දත්ත නිතරම යාවත්කාලීන වේ. Frequent updates or deletions can degrade index performance or require expensive rebuilds. දෛනික ඇතුළත් කිරීම් සහිත භාවිත කොන්දේසි (උදාහරණයක් ලෙස, නිර්දේශ පද්ධතිවල පරිශීලක ප්රවේශයන්) ප්රශ්න කාර්ය සාධනය රැක ගැනීමට සැලකිලිමත් උපායමාර්ගයක් අවශ්ය වේ. වියදම් vs. ප්රතිලාභ GPU acceleration improves throughput and lowers latency but increases infrastructure cost. බෙදාහැරෙන ගබඩා කිරීම සහ ඉංජිනේරු කිරීම ද මෙහෙයුම් වියදම් එකතු කරයි. Decisions around performance, recall, and hardware resources must align with application requirements and budget constraints. Key Takeaways Vector දත්ත ගබඩාව ඉහළ ප්රමාණයේ සමානතාවයක් සොයමින් වැඩ ප්රවාහන ඇතුළත් වන විට විශිෂ්ට වේ, නමුත් එක් එක් එන්ජිම සෑම තත්වයකම ගැලපෙනු ඇත. Engineers must balance accuracy, latency, storage efficiency, scalability, operational complexity, and cost. ප්රශ්න ආකෘති, යාවත්කාලීන සංඛ්යාව, හයිබ්රිඩ් ෆිල්ටර කිරීම, සහ ආකෘතිය තෝරා ගැනීමේ විශේෂාංග සලකා බැලිය යුතුය.මෙම විනිශ්චයයන් තේරුම් ගැනීමෙන් වක්රට් සෙවුම් යෙදුම් අදාළ ප්රතිඵල ක්රියාත්මකව ප්රතිඵල ලබා දෙනු ඇත, බෝතලයක් වළක්වා ගැනීම හෝ වැඩිපුර ක්රියාකාරී වළක්වා ගැනීම වළක්වා ගැනීමට. Use Cases and Real-World Examples Vector databases are not just theoretical tools, they solve practical, high-dimensional search problems across industries. Below are concrete scenarios illustrating why purpose-built vector search engines are indispensable: Semantic Search and Document Retrieval : A company wants to allow users to search large text corpora or knowledge bases by meaning rather than exact keywords. Scenario Challenges: ලේඛන සහ ප්රශ්න සඳහා උසස් ප්රමාණයේ ඇතුළත් කිරීම Large-scale search over millions of vectors Low-latency responses for interactive applications Vector Database Benefits: ANN indexes like HNSW or IVF+PQ enable fast semantic similarity searches. මෙටා දත්ත (උදාහරණයක් ලෙස, ලේඛන වර්ගය, දිනය) අනුව ෆිල්ටර් කිරීම හයිබරිඩ් ප්රශ්න සහාය වේ. Scalable vector storage accommodates ever-growing corpora. : A customer support platform uses Milvus to index millions of support tickets and FAQs. Users can ask questions in natural language, and the system retrieves semantically relevant answers in milliseconds. Example Recommendation Systems : An e-commerce platform wants to suggest products based on user behavior, item embeddings, or content features. Scenario Challenges: Generating embeddings for millions of users and products පෞද්ගලික නිර්දේශ සඳහා සමාන භාණ්ඩ සැබෑ කාලීන සොයා ගැනීම Hybrid filtering combining vector similarity and categorical constraints (e.g., in-stock, region) Vector Database Benefits: Efficient similarity search over large embedding spaces. Supports filtering by metadata for contextual recommendations. Handles dynamic updates for new items and changing user preferences. : A streaming service leverages FAISS to provide real-time content recommendations, using vector embeddings for movies, shows, and user preferences to improve engagement. Example Image, Audio, and Video Search : A media platform wants users to search for images or video clips using example content instead of keywords. Scenario Challenges: High-dimensional embeddings for visual or audio features Similarity search across millions of media items Low-latency response for interactive exploration Vector Database Benefits: Stores and indexes embeddings from CNNs, transformers, or other feature extractors. ANN search enables fast retrieval of visually or auditorily similar content. Scales with GPU acceleration for massive media collections. : An online fashion retailer uses Pinecone to allow users to upload photos of clothing items and find visually similar products instantly. Example Fraud Detection and Anomaly Detection : මූල්ය ආයතන සැබෑ කාලය තුළ සැක සහිත ගනුදෙනු හෝ ආකෘති හඳුනා ගත යුතුය. Scenario Challenges: ගනුදෙනු ආකෘති හෝ පරිශීලක හැසිරීම් නියෝජනය කරන ආකෘති Continuous ingestion of high-dimensional data streams Detection of anomalies or unusual similarity patterns among accounts Vector Database Benefits: ANN search identifies nearest neighbors in embedding space quickly. සැකකාරී ක්රියාකාරිත්වයේ පිටපත් හෝ කට්ටයන් හඳුනා ගැනීමට උපකාරී වේ. මෙටා දත්ත ෆයිල්ටර් ඇතුළත් කළ හැකි අතර, සෙවුම් සීමා කිරීම සඳහා අදාළ සංකේතවලට සීමා කළ හැකිය. : A bank uses Milvus to monitor transaction embeddings, flagging unusual patterns that deviate from typical user behavior, enabling early fraud detection. Example සන්නිවේදන AI සහ Chatbots : සමාගම සබැඳි තේරුම් ගැනීම සහ ප්රවේශය වැඩි කර ඇති පරම්පරාව සමඟ චැට්බෝට් වැඩි දියුණු කිරීමට කැමතියි. Scenario Challenges: සංවාද ඉතිහාසය, ලේඛන හෝ FAQs සඳහා විශාල ඇතුළත් කිරීම Matching user queries to the most relevant context for AI response generation Low-latency retrieval in live interactions - සජීවී සන්නිවේදන වල පහසුකම් Vector Database Benefits: Fast similarity search to find relevant passages or prior interactions. Supports hybrid filtering for domain-specific context (e.g., product manuals, policies). Enables scalable, real-time RAG workflows. : A SaaS company integrates Pinecone with a large language model to provide contextual, accurate, and fast answers to user queries, improving support efficiency and satisfaction. Example උදාහරණ ක්රියාවලිය: Milvus සමඟ සමුද්රව්ය සෙවුම් යන්ත්රය ගොඩනැගීම This section provides a concrete end-to-end example of a vector search workflow, using Milvus to illustrate how data moves from embedding generation to similarity search, highlighting architecture and optimizations discussed earlier. Scenario පරිශීලකයින් ස්වාභාවික භාෂා ප්රශ්න ඇතුළත් කරනු ඇත, සහ පද්ධතිය වඩාත් සංකේතයෙන් අදාළ ලේඛන ආපසු කරනු ඇත. Workflow ඇතුළත් වේ: Embedding generation Vector storage and indexing Query execution Hybrid filtering Retrieval සහ Presentation Following this workflow demonstrates how a vector database enables fast, accurate similarity search at scale. Step 1: Embedding Generation Each document is transformed into a high-dimensional vector using a transformer model (e.g., ): විනිසුරු බර්ට් from sentence_transformers import SentenceTransformer model = SentenceTransformer('all-MiniLM-L6-v2') document_embedding = model.encode("The quick brown fox jumps over the lazy dog") Key Concepts Illustrated: Converts unstructured text into fixed-size numeric vectors. Captures semantic meaning, enabling similarity-based retrieval. Embeddings are the core data type stored in vector databases. Step 2: Vector Storage and Indexing Vectors are stored in Milvus with an ANN index (HNSW): from pymilvus import connections, FieldSchema, CollectionSchema, DataType, Collection connections.connect("default", host="localhost", port="19530") fields = [ FieldSchema(name="doc_id", dtype=DataType.INT64, is_primary=True), FieldSchema(name="embedding", dtype=DataType.FLOAT_VECTOR, dim=384) ] schema = CollectionSchema(fields, description="Knowledge Base Vectors") collection = Collection("kb_vectors", schema) collection.insert([list(range(1_000_000)), embeddings]) collection.create_index("embedding", {"index_type": "HNSW", "metric_type": "COSINE"}) Storage Highlights: ANN index allows sub-linear similarity search over millions of vectors. Dynamic Document Collections සඳහා incremental inserts සහාය වේ. උසස් පරිමාණ දත්ත සඳහා ඩිස්ක් සහ මතකය කළමනාකරණය. පියවර 3: Query Execution A user submits a query: query_embedding = model.encode("How do I reset my password?") results = collection.search([query_embedding], "embedding", param={"metric_type":"COSINE"}, limit=5) ක් රියාත්මක කිරීමේ පියවර : Transform query into embedding space. ANN search retrieves nearest neighbors efficiently using HNSW. Results ranked by similarity score. Only top-k results returned for low-latency response. Step 4: Hybrid Filtering Optionally, filter results by metadata, e.g., document category or publication date: results = collection.search( [query_embedding], "embedding", expr="category == 'FAQ' && publish_date > '2025-01-01'", param={"metric_type":"COSINE"}, limit=5 ) Highlights: Combines vector similarity with traditional attribute filters. නිවැරදිව, පරිච්ඡේද අවබෝධයක් ලබා ගත හැකිය. අනවශ් ය ප්රතිඵල අඩු කරන අතර ANN ඵලදායීත්වය ප්රයෝජනවත් කරයි. Step 5: Retrieval and Presentation පද්ධතිය ඖෂධ ID සහ සමානත්වය ලකුණු ආපසු ලබා දෙයි, එවිට සම්පූර්ණ ඖෂධ ආපසු ක්රියාත්මක වේ: for res in results[0]: print(f"Doc ID: {res.id}, Score: {res.score}") Output: වේගවත්, සංඥාත්මකව අදාළ ප්රතිඵල පරිශීලකයාට පෙන්නුම් කරයි. Low latency enables interactive search experiences. System can scale horizontally with additional nodes or shards for larger datasets. Key Concepts Illustrated : From raw text → embeddings → storage → similarity search → filtered results. End-to-end vector workflow : Provide sub-linear query performance on millions of vectors. ANN indexes හයිබ්රිඩ් ෆිල්ටර් කිරීම: නිශ්චිත ප්රතිඵල සඳහා සම්ප් රදායික ලක්ෂණ සමඟ විකෘති සමානත්වය සකසයි. : Supports incremental inserts, sharding, and distributed deployment. Scalability By following this workflow, engineers can build production-grade semantic search engines, recommendation systems, or retrieval-augmented applications using vector databases like Milvus, Pinecone, or FAISS. ප් රතිඵල වේගවත් දත්ත සමුදාය මත වේගවත් සහ නිවැරදි සමානතාව ප්රශ්න සකස් කිරීම සඳහා නිර්මාණය කරන ලද ඉලෙක්ට්රොනික දත්ත සමුදාය වේගවත් දත්ත සමුදාය වේගවත් දත්ත සමුදාය වේගවත් දත්ත සමුදාය වේගවත් දත්ත සමුදාය, HNSW හෝ IVF වැනි ඉලෙක්ට්රොනික ව්යුහයන් සහ ආකෘති ක්රියාත්මක කිරීම සමඟ සකස් කිරීමෙන්, ඔවුන් සාමාන්ය අරමුණු දත්ත සමුදාය සමඟ සටන් කරන වැඩ ප්රවේශ. ප්රධාන මූලධර්මය තේරුම් ගැනීම: ඇතුළත් උපකරණ, විගණක ඉංජිනේරු කිරීම සහ සමීපතම අසල්වැසි සෙවීම ඉංජිනේරුවන්ට නිවැරදි විගණක දත්ත පදනම තෝරා ගැනීමට සහ ඵලදායී සංඥාත්මක සෙවීම හෝ නිර්දේශ පද්ධති නිර්මාණය කිරීමට උපකාරී වේ.
