ইলাস্টিকসার্চে ডেটা মডেলিং: নেস্টেড কোয়েরি এবং পিতামাতা-সন্তানের সম্পর্ক ব্যবহার করা

ইলাস্টিকসার্চে ডেটা মডেলিং ততটা স্পষ্ট নয় যতটা রিলেশনাল ডাটাবেস নিয়ে কাজ করার সময়। প্রথাগত রিলেশনাল ডেটাবেসগুলির বিপরীতে যা ডেটা স্বাভাবিককরণ এবং SQL যোগদানের উপর নির্ভর করে, ইলাস্টিকসার্চ সম্পর্ক পরিচালনার জন্য বিকল্প পদ্ধতির প্রয়োজন।

ইলাস্টিকসার্চে সম্পর্ক পরিচালনার জন্য চারটি সাধারণ সমাধান রয়েছে:

• অ্যাপ্লিকেশন-সাইড যোগদান

• ডেটা অস্বাভাবিককরণ

• নেস্টেড ফিল্ডের ধরন এবং নেস্টেড কোয়েরি

• পিতা-মাতা-সন্তানের সম্পর্ক

  
  

এই ব্লগে, আমরা আলোচনা করব কিভাবে আপনি নেস্টেড ফিল্ডের ধরন এবং পিতামাতা-সন্তানের সম্পর্ক ব্যবহার করে সম্পর্ক পরিচালনা করতে আপনার ডেটা মডেল ডিজাইন করতে পারেন। আমরা এই দুটি কৌশলের জন্য আর্কিটেকচার, কর্মক্ষমতার প্রভাব এবং কেস ব্যবহার করব।

নেস্টেড ফিল্ডের ধরন এবং নেস্টেড কোয়েরি

ইলাস্টিকসার্চ নেস্টেড স্ট্রাকচারকে সমর্থন করে, যেখানে অবজেক্টে অন্যান্য অবজেক্ট থাকতে পারে। নেস্টেড ক্ষেত্র প্রকারগুলি হল প্রধান নথির মধ্যে JSON অবজেক্ট, যেগুলির নিজস্ব স্বতন্ত্র ক্ষেত্র এবং প্রকার থাকতে পারে। এই নেস্টেড অবজেক্টগুলিকে আলাদা, লুকানো নথি হিসাবে বিবেচনা করা হয় যা শুধুমাত্র নেস্টেড ক্যোয়ারী ব্যবহার করে অ্যাক্সেস করা যেতে পারে।

নেস্টেড ক্ষেত্র প্রকারগুলি সম্পর্কের জন্য উপযুক্ত যেখানে ডেটা অখণ্ডতা, ক্লোজ কাপলিং, এবং শ্রেণীবদ্ধ কাঠামো গুরুত্বপূর্ণ। এর মধ্যে এক-থেকে-এক এবং এক-থেকে-অনেক সম্পর্ক রয়েছে যেখানে একটি প্রধান সত্তা রয়েছে। উদাহরণস্বরূপ, একটি নথিতে একজন ব্যক্তি এবং তাদের একাধিক ঠিকানা এবং ফোন নম্বর প্রতিনিধিত্ব করা।

নেস্টেড ফিল্ডের ধরন সহ, ইলাস্টিকসার্চ সম্পূর্ণ নথি, সেইসাথে প্যারেন্ট এবং নেস্টেড অবজেক্টগুলিকে একটি একক লুসিন ব্লক এবং সেগমেন্টে সঞ্চয় করে। এর ফলে দ্রুত ক্যোয়ারী গতি হতে পারে কারণ সম্পর্কটি একটি নথিতে থাকে।

নেস্টেড ফিল্ড টাইপ এবং নেস্টেড কোয়েরির উদাহরণ

আসুন মন্তব্য সহ একটি ব্লগ পোস্টের উদাহরণ দেখি। আমরা ব্লগ পোস্টের নীচে মন্তব্যগুলিকে নেস্ট করতে চাই যাতে সেগুলি একই নথিতে একসাথে জিজ্ঞাসা করা যায়৷

গিথাব জুলি-মিলস

 { "post_id": "1", "title": "Introduction to Elasticsearch Data Modeling", "content": "Exploring various data modeling options in Elasticsearch.", "comments": [ { "comment_id": "101", "text": "Great overview of data modeling!" }, { "comment_id": "102", "text": "Looking forward to more content." } ] }

নেস্টেড ফিল্ডের ধরন এবং নেস্টেড কোয়েরির সুবিধা

নেস্টেড অবজেক্ট সম্পর্কের সুবিধার মধ্যে রয়েছে:

• একই লুসেন ব্লক এবং সেগমেন্টে ডেটা সংরক্ষণ করা হয়: একই লুসিন ব্লক এবং সেগমেন্টে নেস্টেড অবজেক্ট সংরক্ষণ করা হলে তা দ্রুত ক্যোয়ারির দিকে নিয়ে যায় কারণ ডেটা সংযোজিত হয়।
• ডেটা অখণ্ডতা: যেহেতু সম্পর্কগুলি একই নথির মধ্যে রক্ষণাবেক্ষণ করা হয়, তাই এটি নেস্টেড প্রশ্নগুলির সঠিকতা নিশ্চিত করতে পারে।
• ডকুমেন্ট ডেটা মডেল: NoSQL ডেটা মডেলের সাথে পরিচিত ডেভেলপারদের জন্য সহজ যেখানে আপনি তাদের মধ্যে নথি এবং নেস্টেড ডেটা অনুসন্ধান করছেন।

নেস্টেড ফিল্ডের ধরন এবং নেস্টেড কোয়েরির ত্রুটি

• আপডেটের অদক্ষতা : নেস্টেড অবজেক্ট সহ একটি নথির যেকোনো অংশে আপডেট, সন্নিবেশ এবং মুছে ফেলার জন্য সম্পূর্ণ নথির পুনঃসূচীকরণ প্রয়োজন, যা মেমরি-নিবিড় হতে পারে, বিশেষ করে যদি নথিগুলি বড় হয় বা আপডেটগুলি ঘন ঘন হয়।

  
  

• বৃহৎ নেস্টেড ক্ষেত্রগুলির সাথে কর্মক্ষমতা ক্যোয়ারী : যদি আপনার কাছে বিশেষ করে বড় নেস্টেড ক্ষেত্রগুলির সাথে নথি থাকে তবে এটির কার্যকারিতা প্রভাব থাকতে পারে। কারণ অনুসন্ধানের অনুরোধ পুরো নথিটি পুনরুদ্ধার করে।

  
  

• একাধিক স্তরের নেস্টিং জটিল হয়ে উঠতে পারে : একাধিক স্তর সহ নেস্টেড কাঠামো জুড়ে অনুসন্ধান চালানো এখনও জটিল হয়ে উঠতে পারে। কারণ কোয়েরি নেস্টেড কোয়েরির মধ্যে নেস্টেড কোয়েরি জড়িত থাকতে পারে, যা কম পঠনযোগ্য কোডের দিকে পরিচালিত করে।

পিতা-মাতা-সন্তানের সম্পর্ক

পিতামাতা-সন্তান ম্যাপিং-এ, নথিগুলি পিতামাতা এবং শিশু প্রকারে সংগঠিত হয়। প্রতিটি শিশু নথির একটি পিতামাতার নথির সাথে সরাসরি সম্পর্ক রয়েছে৷ এই সম্পর্কটি সন্তানের নথিতে একটি নির্দিষ্ট ক্ষেত্রের মানের মাধ্যমে প্রতিষ্ঠিত হয় যা পিতামাতার আইডির সাথে মেলে। পিতামাতা-সন্তান মডেল একটি বিকেন্দ্রীকরণ পদ্ধতি গ্রহণ করে যেখানে পিতামাতা এবং শিশুর নথি স্বাধীনভাবে বিদ্যমান।

অভিভাবক-সন্তান যোগদান সত্তার মধ্যে এক-থেকে-অনেক বা বহু-থেকে-অনেক সম্পর্কের জন্য উপযুক্ত। একটি অ্যাপ্লিকেশন কল্পনা করুন যেখানে আপনি কোম্পানি এবং পরিচিতিগুলির মধ্যে সম্পর্ক তৈরি করতে চান এবং কোম্পানি এবং পরিচিতিগুলির পাশাপাশি নির্দিষ্ট কোম্পানিতে পরিচিতিগুলি অনুসন্ধান করতে চান৷

ইলাস্টিকসার্চ অভিভাবক-সন্তানের যোগদানকারীকে পারফরম্যান্ট করে তোলে কোন বাবা-মা কোন সন্তানের সাথে সংযুক্ত তা ট্র্যাক করে এবং উভয় সত্ত্বা একই শার্ডে থাকে। যোগদানের ক্রিয়াকলাপকে স্থানীয়করণ করে, ইলাস্টিকসার্চ বিস্তৃত আন্তঃ-শার্ড যোগাযোগের প্রয়োজনীয়তা এড়ায়, যা কার্যক্ষমতার বাধা হতে পারে।

পিতা-মাতা-সন্তান সম্পর্কের উদাহরণ

ব্লগ পোস্ট এবং মন্তব্যের জন্য পিতামাতা-সন্তান সম্পর্কের উদাহরণ নেওয়া যাক। প্রতিটি ব্লগ পোস্টে, অর্থাৎ, পিতামাতার, বিভিন্ন মন্তব্য থাকতে পারে, অর্থাৎ, শিশুরা। পিতামাতা-সন্তানের সম্পর্ক তৈরি করতে, আসুন নিম্নরূপ ডেটা সূচী করি:

 PUT my-index-000001 { "mappings": { "properties": { "post_id": { "type": "keyword" }, "post_id": { "type": "join", "relations": { "post": "comment" } } } } }

একটি অভিভাবক নথি এমন একটি পোস্ট হবে যা এইরকম দেখায়:

 { "post_id": "1", "title": "Introduction to Elasticsearch Data Modeling", "content": "Exploring various data modeling options in Elasticsearch." }

শিশু দস্তাবেজটি তখন একটি মন্তব্য হবে যাতে পোস্ট_আইডি এটিকে তার পিতামাতার সাথে লিঙ্ক করে।

 { "comment_id": "101", "text": "Great overview of data modeling!", "post_id": "1" }

পিতা-মাতা-সন্তানের সম্পর্কের সুবিধা

পিতামাতা-সন্তান মডেলিংয়ের সুবিধাগুলির মধ্যে রয়েছে:

• রিলেশনাল ডেটা মডেলের সাদৃশ্য : পিতামাতা-সন্তান সম্পর্কের ক্ষেত্রে, পিতামাতা এবং শিশুর নথিগুলি পৃথক এবং একটি অনন্য পিতামাতার আইডি দ্বারা সংযুক্ত থাকে। এই সেটআপটি একটি রিলেশনাল ডাটাবেস মডেলের কাছাকাছি এবং যারা এই ধরনের ধারণার সাথে পরিচিত তাদের জন্য আরও স্বজ্ঞাত হতে পারে।

  
  

• হালনাগাদ কার্যকারিতা : শিশু নথিগুলি পিতামাতার নথি বা অন্যান্য শিশু নথিগুলিকে প্রভাবিত না করেই যুক্ত, পরিবর্তন বা মুছে ফেলা যেতে পারে। এটি বিশেষভাবে উপকারী যখন প্রচুর পরিমাণে শিশু নথিগুলির সাথে কাজ করে যার জন্য ঘন ঘন আপডেটের প্রয়োজন হয়৷ মনে রাখবেন যে একটি শিশুর দস্তাবেজ একটি ভিন্ন পিতামাতার সাথে সংযুক্ত করা একটি আরও জটিল প্রক্রিয়া কারণ নতুন পিতামাতা অন্য শার্ডে থাকতে পারে৷

  
  

• ভিন্নধর্মী শিশুদের জন্য আরও উপযুক্ত : যেহেতু শিশু নথিগুলি আলাদাভাবে সংরক্ষণ করা হয়, তাই সেগুলি আরও মেমরি এবং সঞ্চয়-দক্ষ হতে পারে, বিশেষ করে যেখানে উল্লেখযোগ্য আকারের পার্থক্য সহ অনেক শিশু নথি রয়েছে।

পিতা-মাতা-সন্তানের সম্পর্কের ত্রুটি

পিতামাতা-সন্তানের সম্পর্কের ত্রুটিগুলির মধ্যে রয়েছে:

• ব্যয়বহুল, ধীরগতির প্রশ্ন : পৃথক সূচকে নথিতে যোগদান ক্যোয়ারী সম্পাদনের সময় গণনামূলক কাজ যোগ করে, আবার কার্যক্ষমতাকে প্রভাবিত করে। ইলাস্টিকসার্চ নোট করে যে পিতামাতা-সন্তানের ক্যোয়ারী নেস্টেড অবজেক্টের অনুসন্ধানের চেয়ে 5-10x ধীর হতে পারে।

  
  

• ওভারহেড ম্যাপিং : পিতামাতা-সন্তানের সম্পর্ক আরও মেমরি এবং ক্যাশে সংস্থান গ্রহণ করতে পারে। ইলাস্টিকসার্চ পিতামাতা-সন্তানের সম্পর্কের একটি মানচিত্র বজায় রাখে, যা বড় হতে পারে এবং উল্লেখযোগ্য মেমরি গ্রাস করতে পারে, বিশেষ করে প্রচুর নথির সাথে।

  
  

• শার্ড আকার ব্যবস্থাপনা : যেহেতু পিতামাতা এবং শিশু উভয় নথি একই শার্ডে থাকে, তাই ক্লাস্টার জুড়ে অসম ডেটা বিতরণের সম্ভাব্য ঝুঁকি রয়েছে। কিছু শার্ড অন্যদের তুলনায় উল্লেখযোগ্যভাবে বড় হতে পারে, বিশেষ করে যদি অনেক সন্তানের সাথে পিতামাতার নথি থাকে। এটি ইলাস্টিকসার্চ ক্লাস্টার পরিচালনা এবং স্কেল করার ক্ষেত্রে চ্যালেঞ্জের দিকে নিয়ে যেতে পারে।

  
  

• পুনঃসূচীকরণ এবং ক্লাস্টার রক্ষণাবেক্ষণ : আপনার যদি ডেটা পুনঃসূচীকরণ বা শার্ডিং কৌশল পরিবর্তন করতে হয়, পিতামাতা-সন্তানের সম্পর্ক এই প্রক্রিয়াটিকে জটিল করে তুলতে পারে। আপনাকে নিশ্চিত করতে হবে যে এই ধরনের অপারেশনের সময় সম্পর্কের অখণ্ডতা বজায় রাখা হয়েছে। রুটিন ক্লাস্টার রক্ষণাবেক্ষণের কাজ, যেমন শার্ড রিব্যালেন্সিং বা নোড আপগ্রেড, আরও জটিল হয়ে উঠতে পারে। এই প্রক্রিয়াগুলির সময় পিতামাতা-সন্তানের সম্পর্ক যাতে ব্যাহত না হয় তা নিশ্চিত করার জন্য বিশেষ যত্ন নেওয়া উচিত।

  
  

Elastic , Elasticsearch-এর পিছনে কোম্পানি, সবসময় সুপারিশ করবে যে আপনি পিতামাতা-সন্তানের সম্পর্কের পথে যাওয়ার আগে অ্যাপ্লিকেশন-সাইড যোগদান, ডেটা ডিনরমালাইজেশন এবং/অথবা নেস্টেড অবজেক্টগুলি করবেন৷

নেস্টেড প্রশ্ন এবং পিতামাতা-সন্তান সম্পর্কের বৈশিষ্ট্য তুলনা

নীচের সারণীটি নেস্টেড ফিল্ডের ধরন এবং প্রশ্ন এবং পিতামাতা-সন্তানের সম্পর্কের বৈশিষ্ট্যগুলির একটি সংক্ষিপ্ত বিবরণ প্রদান করে যাতে ডেটা মডেলিং পদ্ধতির পাশাপাশি তুলনা করা যায়।

সম্পর্ক মডেলিংয়ের জন্য ইলাস্টিক অনুসন্ধানের বিকল্প

যদিও ইলাস্টিকসার্চ এসকিউএল-শৈলীর যোগদানের জন্য বেশ কয়েকটি সমাধান প্রদান করে, যার মধ্যে নেস্টেড প্রশ্ন এবং পিতামাতা-সন্তানের সম্পর্ক রয়েছে, এটি প্রতিষ্ঠিত হয়েছে যে এই মডেলগুলি ভালভাবে পরিমাপ করে না। স্কেলে অ্যাপ্লিকেশনগুলির জন্য ডিজাইন করার সময়, নেটিভ SQL যোগদানের ক্ষমতা, রকসেট সহ একটি বিকল্প পদ্ধতি বিবেচনা করা বোধগম্য হতে পারে।

রকসেট হল একটি সার্চ এবং অ্যানালিটিক্স ডাটাবেস যা SQL সার্চ, অ্যাগ্রিগেশন এবং যেকোন ডেটাতে যোগদানের জন্য ডিজাইন করা হয়েছে, যার মধ্যে গভীরভাবে থাকা JSON ডেটা রয়েছে। যেহেতু ডেটা রকসেটে স্ট্রিম করা হয়, এটি ডাটাবেসের মূল ডেটা স্ট্রাকচারে এনকোড করা হয় যা দ্রুত পুনরুদ্ধারের জন্য ডেটা সংরক্ষণ এবং সূচীতে ব্যবহৃত হয়। রকসেট ডেটাকে এমনভাবে সূচী করে যা তার এসকিউএল-ভিত্তিক ক্যোয়ারী অপ্টিমাইজার ব্যবহার করে যোগদান সহ দ্রুত প্রশ্নের জন্য অনুমতি দেয়। ফলস্বরূপ, এসকিউএল যোগদানকে সমর্থন করার জন্য কোনো আগাম ডেটা মডেলিংয়ের প্রয়োজন নেই।

ইলাস্টিকসার্চের চ্যালেঞ্জগুলির মধ্যে একটি হল ডেটা আপডেট করার সময় কীভাবে একটি দক্ষ পদ্ধতিতে সম্পর্ক রক্ষা করা যায়। এর একটি কারণ হল ইলাস্টিকসার্চ অ্যাপাচি লুসিনে তৈরি করা হয়েছে, যা অপরিবর্তনীয় সেগমেন্টে ডেটা সঞ্চয় করে, যার ফলে সমস্ত নথি পুনঃসূচীকরণ করা প্রয়োজন। রকসেট RocksDB ব্যবহার করে, মেটা দ্বারা খোলা একটি মূল-মূল্যের দোকান এবং ডেটা মিউটেশনের জন্য নির্মিত, সম্পূর্ণ নথি পুনঃসূচীকরণের প্রয়োজন ছাড়াই ফিল্ড-লেভেল আপডেটগুলিকে দক্ষতার সাথে সমর্থন করতে সক্ষম হতে।

বাস্তব-বিশ্বের উদাহরণ ব্যবহার করে ইলাস্টিকসার্চ এবং রকসেটের তুলনা করা

রকসেটের একটি এসকিউএল কোয়েরির সাথে ইলাস্টিকসার্চে অভিভাবক-সন্তান সম্পর্কের পদ্ধতির তুলনা করা যাক।

উপরের পিতামাতা-সন্তান সম্পর্কের উদাহরণে, আমরা দুটি নথির প্রকার তৈরি করে একাধিক মন্তব্য সহ পোস্টগুলিকে মডেল করেছি:

• পোস্ট বা মূল নথির ধরন

• মন্তব্য বা চাইল্ড ডকুমেন্টের ধরন

  
  

আমরা অভিভাবক এবং সন্তানের নথির মধ্যে সম্পর্ক স্থাপন করতে একটি অনন্য শনাক্তকারী, পিতামাতার আইডি ব্যবহার করেছি। প্রশ্নের সময়, আমরা একটি নির্দিষ্ট পোস্টের জন্য মন্তব্য পুনরুদ্ধার করতে Elasticsearch DSL ব্যবহার করি।

রকসেটে, পোস্ট সম্বলিত ডেটা একটি সংগ্রহে, রিলেশনাল ওয়ার্ল্ডে একটি টেবিলে সংরক্ষণ করা হবে, যখন মন্তব্য ধারণকারী ডেটা একটি পৃথক সংগ্রহে সংরক্ষণ করা হবে। ক্যোয়ারী করার সময়, আমরা এসকিউএল ক্যোয়ারী ব্যবহার করে একসাথে ডেটা যোগ করব।

এখানে দুটি পন্থা পাশাপাশি রয়েছে:

ইলাস্টিকসার্চে পিতামাতা-সন্তানের সম্পর্ক

 POST /blog/posts/1 { "title": "Elasticsearch Modeling", "content": "A post about data modeling in Elasticsearch" } POST /blog/comments/2?parent=1 { "text": "Great post!" } POST /blog/comments/3?parent=1 { "text": "I learned a lot from this." }

একটি পোস্টের শিরোনাম এবং এর সমস্ত মন্তব্য দ্বারা পুনরুদ্ধার করতে, আপনাকে নিম্নরূপ একটি প্রশ্ন তৈরি করতে হবে৷

 GET /posts/_search { "query": { "bool": { "must": [ { "match": { "title": "Exploring Elasticsearch Models" } } ] } }, "inner_hits": { "_source": ["text"], "name": "comments", "path": "comments" } }

রকসেটে এসকিউএল

তারপরে এই ডেটা জিজ্ঞাসা করার জন্য, আপনাকে কেবল একটি সাধারণ SQL ক্যোয়ারী লিখতে হবে।

 SELECT p.title, p.content, c.text FROM posts p JOIN comments c ON p.post_id = c.post_id WHERE p.post_id = 1;

আপনার যদি একাধিক ডেটা সেট থাকে যা আপনার অ্যাপ্লিকেশনের জন্য যোগদান করতে হবে, তাহলে রকসেট ইলাস্টিকসার্চের চেয়ে আরও সহজ এবং মাপযোগ্য। এটি ক্রিয়াকলাপগুলিকে সহজ করে তোলে কারণ আপনাকে আপনার ডেটা পুনরায় তৈরি করতে, আপডেটগুলি পরিচালনা করতে বা অপারেশনগুলিকে পুনঃসূচীকরণ করতে হবে না।

ইলাস্টিকসার্চে সম্পর্ক পরিচালনা করা

এই ব্লগটি আপনার কাজের চাপের জন্য সর্বোত্তম ডেটা মডেলিং পদ্ধতি নির্ধারণে আপনাকে সাহায্য করার লক্ষ্যে ইলাস্টিকসার্চে নেস্টেড ফিল্ডের ধরন এবং নেস্টেড প্রশ্ন এবং পিতামাতা-সন্তানের সম্পর্কের একটি ওভারভিউ প্রদান করেছে।

নেস্টেড ফিল্ডের ধরন এবং ক্যোয়ারী এক-থেকে-এক বা এক-থেকে-অনেক সম্পর্কের জন্য দরকারী যেখানে সম্পর্ক একটি একক নথির মধ্যে বজায় থাকে। এটি সম্পর্ক পরিচালনার জন্য একটি সহজ এবং আরও মাপযোগ্য পদ্ধতি হিসাবে বিবেচিত হয়।

পিতা-মাতা-সন্তান সম্পর্কের মডেলটি এক-থেকে-অনেক থেকে বহু-বহু-অনেক সম্পর্কের জন্য আরও উপযুক্ত কিন্তু জটিলতা বৃদ্ধির সাথে আসে, বিশেষ করে যেহেতু সম্পর্কগুলিকে একটি নির্দিষ্ট অংশে ধারণ করা প্রয়োজন।

যদি আপনার আবেদনের প্রাথমিক প্রয়োজনীয়তাগুলির মধ্যে একটি হল মডেলিং সম্পর্ক, তাহলে রকসেট বিবেচনা করা বোধগম্য হতে পারে। রকসেট ডেটা মডেলিংকে সহজ করে এবং এসকিউএল যোগদান ব্যবহার করে সম্পর্ক পরিচালনার জন্য আরও মাপযোগ্য পদ্ধতির প্রস্তাব দেয়। আপনি আজই $300 ক্রেডিট সহ একটি বিনামূল্যের ট্রায়াল শুরু করে ইলাস্টিকসার্চ এবং রকসেটের কর্মক্ষমতা তুলনা এবং বৈসাদৃশ্য করতে পারেন।