হাই-লোড সিস্টেমে অবকাঠামো খরচ কমানোর পাঁচটি উপায়: অ্যাডটেক কেস স্টাডি

ক্লাউড হাইপ ওয়েভের ধুলো স্থির হওয়ার সাথে সাথে, আরও প্রযুক্তি দলগুলি সাধারণত রাডারের অধীনে রাখা ক্লাউড অবকাঠামোগুলির পার্শ্ব প্রতিক্রিয়াগুলি আবিষ্কার করে।

অন-ডিমান্ড স্কেলেবিলিটি, কম সময় অন-প্রিমিস পরিষেবা পরিচালনা এবং অন্যান্য সুবিধার মতো প্রতিশ্রুতিশীল, তারা প্রায়শই একটি উল্লেখযোগ্য ত্রুটির দ্বারা ভারসাম্যপূর্ণ - উচ্চ-লোড সিস্টেমে অবকাঠামোগত খরচ বৃদ্ধি।

অবকাঠামোগত খরচ নিয়ে আলোচনা করার সময়, উচ্চ-লোড সিস্টেমের উপর ফোকাস যথেষ্ট: ছোট কোম্পানিগুলির জন্য ক্লাউডের জন্য কমই নমনীয় এবং সস্তা বিকল্প নেই।

যাইহোক, যেহেতু QPS কয়েক হাজারে পৌঁছায়, বিক্রেতার ফি যা ছোট বলে মনে হয় তা আর টেকসই হয় না।

AdTech-এর জন্য হাই-লোড সিস্টেম তৈরি এবং অপ্টিমাইজ করার ক্ষেত্রে বিশেষজ্ঞ একটি সফ্টওয়্যার ডেভেলপমেন্ট কোম্পানি হিসাবে, আমরা পরিকাঠামোর খরচ বাড়াতে প্রতিরোধ করার জন্য একাধিক অনুশীলন দলগুলি ব্যবহার করে দেখেছি। 15 বছরেরও বেশি অভিজ্ঞতার সাথে, জেনোস অ্যাক্টিভিশন ব্লিজার্ড, ভার্ভ গ্রুপ, স্মার্টলি, ভুডু, ইনমার ইন্টেলিজেন্স, এবং অন্যান্যদের মতো শক্তিশালী অথচ চটকদার অবকাঠামো তৈরি করতে সহায়তা করেছে।

এই পোস্টে, আমরা উচ্চ-লোড প্ল্যাটফর্মগুলির সাথে প্রাসঙ্গিক অবকাঠামো চ্যালেঞ্জগুলির বিষয়ে আমাদের অভিজ্ঞতা এবং জানা-কীভাবে শেয়ার করতে চাই এবং খরচগুলিকে প্রবাহিত করার উপায়গুলি অন্বেষণ করতে চাই৷ পোস্টে দেখানো কৌশলগুলি বোঝাতে, আমরা এমন একটি শিল্প ব্যবহার করব যেখানে গতি এবং স্কেল আলোচনার অযোগ্য: AdTech।

আমাদের একটি ব্লগ পোস্টও রয়েছে যা আরও বিশদে পরিকাঠামো ব্যয় অপ্টিমাইজেশান কভার করে, আমাদের সফ্টওয়্যার স্থপতিদের বিশেষজ্ঞ টিপস এবং মন্তব্য এবং বিশগুণ পরিকাঠামো ব্যয় হ্রাসের কেস স্টাডি সহ।

AdTech প্ল্যাটফর্ম-হাই-লোড সিস্টেমের জন্য একটি পোস্টার কেস

উচ্চ-লোড প্ল্যাটফর্মগুলি ব্যাংকিং, স্বাস্থ্যসেবা এবং আরও অনেক কিছুর মতো একাধিক সেক্টরকে সক্ষম করে। প্রোগ্রাম্যাটিক বিজ্ঞাপন, যদিও প্রায়শই বিকাশের জন্য একটি প্রযুক্তিগত কৃতিত্ব হিসাবে দেখা যায় না, তবে অন্যান্য জটিল সিস্টেমের সাথে প্রতিদ্বন্দ্বিতা করতে পারে, কারণ এর কর্মক্ষম প্রয়োজনীয়তাগুলি প্রায়শই অবকাঠামো নকশার সীমানাকে ঠেলে দেয়।

আসুন দ্রুত সংক্ষেপে দেখি কেন AdTech প্ল্যাটফর্মগুলি (SSP, DSP, ইত্যাদি) অবকাঠামো খরচ অপ্টিমাইজেশন অন্বেষণের জন্য একটি চমৎকার লেন্স।

উচ্চ ভলিউম এবং কম বিলম্বের জন্য চাপ

AdTech প্ল্যাটফর্মগুলি উচ্চ ট্র্যাফিক ভলিউম এবং কম লেটেন্সির প্রয়োজনের মধ্যে ক্রমাগত টাগ-অফ-ওয়ারের মধ্যে পড়ে।

একদিকে, তাদের অনলাইন বিজ্ঞাপনের দ্বারা উত্পন্ন বিশাল পরিমাণ ট্র্যাফিক পরিচালনা করতে হবে (যা, TPA ডিজিটালের সিইও ওয়েন ব্লাডওয়েলের মতে , প্রতিদিন 950 বিলিয়ন ইম্প্রেশনের পরিমাণ)।

লোড ছাড়াও, ইকোসিস্টেমের রিয়েল-টাইম প্রকৃতি জটিলতার একটি নতুন স্তর যুক্ত করে।

AdTech প্ল্যাটফর্মে উচ্চ বিলম্ব, অর্থাৎ, একটি বিড অনুরোধ এবং একটি প্রতিক্রিয়ার মধ্যে বিলম্ব, বিজ্ঞাপনদাতাদের উচ্চ-মানের ইনভেন্টরি মিস করতে বাধ্য করে, কারণ তাদের বিডগুলি সময়মতো প্রক্রিয়া করা হয় না।

উচ্চ বিলম্বতা প্রকাশকদের জন্য বিজ্ঞাপনের স্লট পূরণ করতে একটি সংগ্রাম তৈরি করে, যার ফলে দীর্ঘমেয়াদে আয় কম হয়।

বিড প্রক্রিয়াকরণের জন্য একটি আদর্শ সময়সীমা 80-120 ms এর কাছাকাছি থাকে যা শিল্পটি কাজ করে এমন গড় সময়সীমা।

বাস্তব সময় সিদ্ধান্ত গ্রহণ

নিম্নলিখিত চ্যালেঞ্জগুলির কারণে AdTech প্রকল্পগুলির জন্য রিয়েল-টাইম ডেটা প্রসেসিং হল আরেকটি পুনরাবৃত্তিমূলক চ্যালেঞ্জ:

বিড প্রাইস মডেলিংয়ের মতো রিয়েল-টাইম সিদ্ধান্ত নেওয়ার জন্য দ্রুত ডেটা পুনরুদ্ধার করতে হবে (100 ms এর নিচে)।

একাধিক উৎস থেকে শ্রোতাদের ডেটা সংগ্রহ করা পাইপলাইনের জটিলতা বাড়ায় এবং বিভিন্ন ধরনের ডেটা প্রক্রিয়া করার জন্য প্রয়োজনীয় টুলসেটকে প্রসারিত করে।

ডেটার গুণমান নিয়ে উদ্বেগ: ভুল ডেটার ফলে বিজ্ঞাপনদাতারা বিডিংয়ের দুর্বল সিদ্ধান্ত নিতে পারে। প্রতিটি পাইপলাইন পর্যায়ে (ইনজেশন, প্রসেসিং, কনজাম্পশন) জন্য ডাটা কোয়ালিটি চেক অপরিহার্য।

নীচের ক্লিপটি রিয়েল-টাইম ডেটা বিশ্লেষণের জটিলতা এবং সমালোচনামূলক ক্রিয়াকলাপগুলিকে চিত্রিত করে৷

https://www.youtube.com/watch?v=uaRzovqK3t0

স্কেলেবিলিটি চাহিদা

AdTech শিল্প চক্রাকারে, অর্থনৈতিক উত্থান-পতনের সময়কালের সাথে বিজ্ঞাপন পরিষেবার চাহিদার ওঠানামা হয়। বাজার গতিশীল স্কেলেবিলিটি ক্ষমতা বাস্তবায়নের জন্য AdTech প্ল্যাটফর্মের উপর চাপ বাড়ায়।

বৃদ্ধির সাথে সাথে SPO এর সাথে মিলিত হয়ে, AdTech বিক্রেতারা চাহিদার পরিবর্তনের প্রতিক্রিয়ায় নির্ভরযোগ্যভাবে তাদের ক্ষমতা উপরে বা কমানোর চাপ অনুভব করে। সুতরাং, তাদের কর্মক্ষমতা বা নির্ভরযোগ্যতা (এবং বাজারের ওঠানামার জন্য সামঞ্জস্য করার জন্য এটিকে কমিয়ে আনার জন্য) ত্যাগ ছাড়াই সর্বোচ্চ ট্র্যাফিক পরিচালনা করার ক্ষমতা এবং সংস্থান প্রয়োজন।

কাঁচা এবং সমষ্টিগত তথ্য সংগ্রহ

AdTech প্ল্যাটফর্মের সাফল্যের জন্য কাঁচা ডেটা ব্যবহার করা গুরুত্বপূর্ণ। এই সিস্টেমগুলি প্রচুর পরিমাণে একত্রিত ডেটা সংগ্রহ করে – জনসংখ্যা সংক্রান্ত তথ্য, ব্রাউজিং ইতিহাস, ব্যবহারকারীর আচরণ, ইত্যাদি। এই অন্তর্দৃষ্টিগুলি বিভিন্ন উত্স থেকে একত্রিত হয় এবং জ্বালানী টার্গেটিং এবং ব্যক্তিগতকরণে সহায়তা করে।

কাঁচা ডেটা ব্যবহারের জন্য প্রস্তুত হওয়ার আগে, এটিকে ETL-এর ধাপগুলি অতিক্রম করতে হবে: নিষ্কাশন, রূপান্তর এবং লোডিং। যাইহোক, একাধিক পাইপলাইন বজায় রাখা একটি ইঞ্জিনিয়ারিং চ্যালেঞ্জ হয়ে দাঁড়ায় কারণ সিস্টেম স্কেল এবং ডেটা ভলিউম দ্রুতগতিতে বৃদ্ধি পায়।

উচ্চ-লোড সিস্টেমে অবকাঠামো খরচ অপ্টিমাইজ করতে Xenoss ব্যবহার করে সেরা অনুশীলন

প্রযুক্তি দলগুলি অবকাঠামোগত খরচের প্রতি গভীর মনোযোগ না দিলে, তারা দ্রুত নিয়ন্ত্রণের বাইরে চলে যায়। অদক্ষ ডেটা মডেলিং এবং স্টোরেজ, পরিষেবাগুলির উপর নির্ভর করার ক্ষেত্রে নির্বাচনীতার অভাব, এবং পরিকল্পনা করতে এবং সামনের হুমকি মোকাবেলায় ব্যর্থতা অবকাঠামোগুলিকে অপ্রত্যাশিত, ধীর, ব্যয়বহুল এবং বজায় রাখা কঠিন করে তোলে।

অবকাঠামোগত খরচ কমানো একদিনের কাজ নয়, কিন্তু ইকোসিস্টেম এবং আপনার প্ল্যাটফর্মের জ্ঞান দিয়ে সজ্জিত, আপনি কয়েকটি পরিবর্তনের মাধ্যমে উল্লেখযোগ্য হ্রাস অর্জন করতে পারেন।

আমাদের ক্লায়েন্টদের দুর্বল পরিকাঠামো অর্জনে সহায়তা করার জন্য Xenoss টেক টিমগুলি ব্যবহার করে বিভিন্ন অবকাঠামো হ্রাস অনুশীলনের একটি তালিকা এখানে রয়েছে।

হাইব্রিড ক্লাউড অবকাঠামোর সুবিধাগুলি অন্বেষণ করা

প্রাথমিক পর্যায়ের প্রকল্পগুলিতে, একটি সর্বোত্তম ক্লাউড অবকাঠামো ডিজাইন করার জন্য খুব বেশি চিন্তা করা হয় না। প্রযুক্তি দলগুলি সাধারণত দুটি উপায়ের মধ্যে একটি বেছে নেয়;

• AWS, Google ক্লাউড বা Microsoft Azure-এর মতো পাবলিক ক্লাউড পরিষেবা প্রদানকারী । যদিও বিকাশ প্রক্রিয়ার প্রথম দিকে ক্লাউড বিক্রেতার উপর নির্ভর করা বোধগম্য, আমরা কঠোরভাবে প্রয়োজন না হলে পরিচালিত পরিষেবাগুলি ব্যবহার করার বিরুদ্ধে প্রযুক্তি নেতাদের সতর্ক করতে চাই। সময়ের সাথে সাথে, এই সরঞ্জামগুলি উল্লেখযোগ্যভাবে প্রকল্পের অবকাঠামো বিল বৃদ্ধি করতে পারে - আমাদের ক্লায়েন্টদের মধ্যে একজন পৌঁছেছিলেন যখন অবকাঠামো বিল $2.5 মিলিয়ন ছিল।
• ইন-হাউস টিম দ্বারা প্রাঙ্গনে পরিকাঠামো রক্ষণাবেক্ষণ করা হয় । আজকাল, প্রারম্ভিক-পর্যায়ের প্রকল্পগুলির জন্য প্রারম্ভিক বিনিয়োগ এবং জনবলের প্রয়োজনের কারণে অন-প্রিমিসেস ডেটা সেন্টারগুলি বজায় রাখা ততটা সাধারণ নয়৷ এটি লক্ষণীয় যে অন-প্রিম অবকাঠামোগুলির সুবিধা রয়েছে, যেমন আরও নিয়ন্ত্রণ এবং কঠোর নিরাপত্তা।

AdTech-এ, নমনীয়তা এবং গতিশীলভাবে স্কেল করার ক্ষমতা গুরুত্বপূর্ণ। অবকাঠামোগত খরচের উপর সম্পূর্ণ নিয়ন্ত্রণ এবং নিরাপত্তা জোরদার করার ক্ষমতা সমানভাবে গুরুত্বপূর্ণ। পূর্ববর্তীটি সাধারণত ক্লাউডের সাথে যুক্ত থাকে, যখন পরবর্তীটিকে সাধারণত অন-প্রিমের সুবিধা হিসাবে উল্লেখ করা হয়।

Xenoss-এ, আমরা উভয় অবকাঠামোর সুবিধা চিনতে পারি, তাই আমরা ক্লায়েন্ট প্রকল্পে উভয়ই ব্যবহার করি। ক্লাউড এবং অন-প্রেমের সংমিশ্রণকে প্রায়শই "হাইব্রিড ক্লাউড" হিসাবে উল্লেখ করা হয়, যদিও আরও সংমিশ্রণ এই শব্দটির সাথে খাপ খায়। একটি পাবলিক এবং প্রাইভেট ক্লাউড বা দুটি পাবলিক ক্লাউড (ওরফে মাল্টি-ক্লাউড) একত্রিত করাও ধারণার সাথে খাপ খায়।

DZone দ্বারা প্রকাশিত ডেটা পাইপলাইন রিপোর্ট অনুসারে , সমীক্ষা করা সংস্থাগুলির 33% ক্লাউড এবং অন-প্রিমিসেস অবকাঠামোর সংমিশ্রণ ব্যবহার করে। যদি আমরা শুধুমাত্র এন্টারপ্রাইজ সংস্থাগুলিকে (1000 টিরও বেশি কর্মচারী) বিবেচনা করি তবে সংখ্যাটি 42% পর্যন্ত যায়৷

হাইব্রিড মডেল AdTech দলগুলিকে উচ্চতর আর্থিক নমনীয়তা প্রদান করে, AdTech প্ল্যাটফর্মগুলিকে ক্লাউড প্ল্যাটফর্মের গতিশীল স্কেলেবিলিটির সাথে অন-প্রিমিসেস সেটআপগুলির নিয়ন্ত্রণ একত্রিত করার অনুমতি দেয়।

নিরাপত্তা আরেকটি উল্লেখযোগ্য সুবিধা; সংবেদনশীল ডেটা অন-প্রিমাইজে রেখে এবং কম গুরুত্বপূর্ণ কাজের জন্য ক্লাউড ব্যবহার করে প্রকল্পগুলি কঠোর ডেটা সুরক্ষা মান বজায় রাখতে পারে।

আরেকটি কারণ আমরা একটি হাইব্রিড পদ্ধতির জন্য পছন্দ করি এবং সমর্থন করি তা হল বিক্রেতা লক-ইন প্রতিরোধ করার ক্ষমতা। প্রাঙ্গনে গুরুত্বপূর্ণ অবকাঠামো রাখা ব্যবসাগুলিকে একটি ক্লাউড সরবরাহকারীর উপর নির্ভর না করে তাদের প্রযুক্তিগত স্ট্যাককে বৈচিত্র্যময় করার সুযোগ দেয়।

এছাড়াও, একটি হাইব্রিড পদ্ধতি পণ্য দলগুলিকে কাজের চাপ-নির্দিষ্ট অবকাঠামো নির্মাণের বিষয়ে আরও ইচ্ছাকৃত হতে দেয়।

AdTech-এর কিছু কাজ, যেমন রিয়েল-টাইম বিজ্ঞাপন বিডিং বা কঠোর আঞ্চলিক সম্মতি দ্বারা আবদ্ধ ডেটা অপারেশন, অন-প্রিমিস এক্সিকিউশনের জন্য আরও উপযুক্ত।

একই সময়ে, অন্যান্য কর্মপ্রবাহ (প্রচারণার বিশ্লেষণ, বিতরণকৃত বিজ্ঞাপন সামগ্রী হোস্টিং, বা সহযোগী বিজ্ঞাপন নকশা) নির্বিঘ্নে ক্লাউডে স্থানান্তর করতে পারে।

ডেটা স্টোরেজ অপ্টিমাইজ করা

আমাদের অভিজ্ঞতায়, একা স্টোরেজ অপ্টিমাইজ করা অবকাঠামো খরচ উল্লেখযোগ্যভাবে ছাঁটাই করতে পারে। AdTech-এ, SQL এবং NoSQL উভয় ডাটাবেসই স্ট্রাকচার্ড এবং নন-স্ট্রাকচার্ড ডেটা পরিচালনা করতে ব্যবহৃত হয়। আসুন দুটি ধরণের ডাটাবেসের মধ্যে মূল পার্থক্যগুলি, সেইসাথে অ্যাডটেক-এ তাদের ব্যবহারের ক্ষেত্রেগুলি পুনরুদ্ধার করি।

আলোচনায় আরও প্রসঙ্গ যোগ করার জন্য, আসুন দুটির মধ্যে পার্থক্যগুলিকে সংক্ষেপে দেখি।

এখন, শীর্ষ AdTech প্ল্যাটফর্মগুলির জন্য পছন্দের ডাটাবেস এবং ডেটা সঞ্চয়স্থানে তাদের পদ্ধতির দিকে নজর দেওয়া যাক৷

কিভাবে AdTech বিক্রেতারা উচ্চ ডেটা ভলিউম পরিচালনা করতে SQL ডাটাবেস ব্যবহার করে

পাবমেটিক

পাবমেটিক এসএসপি প্রকাশকদের ব্যাপক শ্রোতাদের ক্যাপচার করতে এবং অনন্য চাহিদা অংশীদারিত্ব, উন্নত বিশ্লেষণ এবং সৃজনশীল অপ্টিমাইজেশান সরঞ্জামগুলির মাধ্যমে বিজ্ঞাপনের আয়কে সর্বাধিক করতে সহায়তা করে৷

চ্যালেঞ্জ: বড় ডেটাসেট পরিচালনা করতে এবং জটিল সমস্যা সমাধানের জন্য কোম্পানির একটি শক্তিশালী ডাটাবেসের প্রয়োজন ছিল। সংস্থাটি একটি যুদ্ধ-পরীক্ষিত সরঞ্জাম চেয়েছিল যা সর্বোপরি নির্ভরযোগ্য এবং কার্যকর হবে।

সমাধান: মাইএসকিউএল

প্রভাব: PubMatic-এর অ্যাড কোয়ালিটি টিম MySQL কে তার প্রাথমিক ডেটা উৎস হিসেবে ব্যবহার করে। প্ল্যাটফর্মের ডাটাবেস একশো মিলিয়ন রেকর্ড পর্যন্ত সঞ্চয় করে। নির্ভরযোগ্যতা এবং দৃঢ়তার জন্য পরিচিত, MySQL পাবম্যাটিককে দিনে লক্ষ লক্ষ ক্রিয়েটিভ প্রক্রিয়া করতে এবং 2x-10x ডেটা লোড বজায় রাখার অনুমতি দেয়।

AdGreetz

AdGreetz হল একটি ব্যক্তিগতকরণ প্ল্যাটফর্ম যা একাধিক চ্যানেল জুড়ে উপযোগী বিজ্ঞাপন ক্রিয়েটিভ বিতরণ করে: সোশ্যাল মিডিয়া, CTV/OTT, ইন-অ্যাপ এবং আরও অনেক কিছু।

চ্যালেঞ্জ: সংস্থার কর্মপ্রবাহগুলি ডেটা-নিবিড়, এর জন্য ডাটাবেস পরিচালনার সমাধান প্রয়োজন যা লক্ষ লক্ষ ব্যবহারকারীর রেকর্ডকে সমর্থন করবে৷

নির্বাচিত ডাটাবেস: ক্লিক হাউস

প্রভাব: AdGreetz-এর ইঞ্জিনিয়ারিং দলের জন্য, Clickhouse একটি খরচ-দক্ষ এবং উচ্চ-পারফরম্যান্স সমাধান হিসাবে পরিণত হয়েছে। কোম্পানিটি ছোট কম্পিউটে সেকেন্ড থেকে সাব-সেকেন্ডে ক্যোয়ারী টাইম কমাতে সক্ষম হয়েছিল।

কিভাবে AdTech প্রকল্প NoSQL ডাটাবেস ব্যবহার করে

মোম

Beeswax হল একটি পরিচালিত RTB প্ল্যাটফর্ম যা বিজ্ঞাপনদাতাদের প্রোগ্রামেটিক ক্রিয়াকলাপগুলিকে স্ট্রীমলাইন করতে দেয়৷ কোম্পানিটি একটি বিডার-এ-সার্ভিস সমাধান অফার করে যা প্রতি সেকেন্ডে লক্ষ লক্ষ প্রশ্ন প্রক্রিয়া করে এবং প্রতি মিনিটে 125 GB ডেটা খরচ করে৷

চ্যালেঞ্জ: দ্রুত স্কেলিং যা দক্ষ বিজ্ঞাপন সরবরাহ নিশ্চিত করবে, প্রতিষ্ঠানের মেশিন জুড়ে সমান লোড বিতরণের প্রয়োজন।

বেছে নেওয়া NoSQL ডাটাবেস: অ্যারোস্পাইক অ্যামাজন EC2 এ চলছে।

প্রভাব: মোম প্রতি সেকেন্ডে 2-মিলিসেকেন্ড টেল-রিড লেটেন্সি সহ লক্ষ লক্ষ প্রশ্ন প্রক্রিয়া করতে পারে।

গামগাম

GumGum একটি মালিকানাধীন মেশিন-লার্নিং প্ল্যাটফর্ম, ভেরিটি দ্বারা সক্ষম প্রাসঙ্গিক লক্ষ্যমাত্রার জন্য একটি প্ল্যাটফর্ম অফার করে।

চ্যালেঞ্জ: কোম্পানিটি ন্যূনতম বিলম্বের সাথে উচ্চ পরিমাণে বিজ্ঞাপন-সম্পর্কিত ডেটা (ইমপ্রেশন, ভিউ, ক্লিক, রূপান্তর) প্রক্রিয়া করতে চেয়েছিল - যদিও ডেটা রিয়েল-টাইমে প্রক্রিয়া করা হয়নি, লক্ষ্য ছিল ব্যবধানটি সর্বনিম্ন রাখা।

বেছে নেওয়া NoSQL ডাটাবেস: ScyllaDB

প্রভাব:

• প্রকৌশল সম্পদের উপর চাপ কমানো হয়েছে
• 75% ভলিউম বৃদ্ধি
• অন-ডিমান্ড রিসোর্স প্রভিশনিংয়ের জন্য স্কেলেবিলিটি সহজতর করা।

মোলোকো

Moloco হল একটি মোবাইল অডিয়েন্স প্ল্যাটফর্ম যা বিজ্ঞাপনদাতাদের মোবাইল শ্রোতাদের অর্জন, জড়িত এবং খুচরো মোবাইল অডিয়েন্স করতে সাহায্য করে৷ প্ল্যাটফর্মটি প্রচারাভিযান অপ্টিমাইজেশান এবং ভবিষ্যদ্বাণীমূলক বিশ্লেষণের জন্য মেশিন লার্নিং মডেলের উপর ব্যাপকভাবে নির্ভর করে।

চ্যালেঞ্জ: প্রতি সেকেন্ডে লক্ষ লক্ষ বিড কোয়েস্ট প্রক্রিয়া করার চাপ একটি কঠোর লেটেন্সি সীমা (100 ms এর নিচে)।

বেছে নেওয়া NoSQL ডাটাবেস: Google Cloud BigTable

প্রভাব:

• প্রক্রিয়াকৃত অনুরোধের সংখ্যা 500k থেকে প্রতি সেকেন্ডে 5 মিলিয়নে স্কেল করা হয়েছে
• কম বিলম্ব
• পরিচালিত অবকাঠামো কোম্পানিটিকে তার সফ্টওয়্যার ইঞ্জিনিয়ারিং সংস্থানগুলিকে অন্য কাজগুলিতে ফোকাস করতে পুনরায় বরাদ্দ করতে সক্ষম করেছে৷

AdTech প্ল্যাটফর্মের বিকাশে আমাদের বছরের অভিজ্ঞতা আমাদের দেখিয়েছে যে AdTech ডেটা স্টোরেজ পরিকাঠামোর জন্য উপযুক্ত ডাটাবেস বেছে নেওয়ার জন্য কোনও কুকি-কাটার পদ্ধতি নেই। ডাটাবেস ছাতার নীচে প্রচুর বৈচিত্র্য রয়েছে - সঠিক ফিট খুঁজে পেতে অভিজ্ঞতা, পণ্য জ্ঞান এবং পুঙ্খানুপুঙ্খ গবেষণা লাগে।

কখনও কখনও, দুটি NoSQL ডাটাবেসের মধ্যে স্যুইচ করা অনেক পার্থক্য করতে পারে। GumGum, উপরে বৈশিষ্ট্যযুক্ত, ScyllaDB-তে স্যুইচ করার আগে ক্যাসান্দ্রার উপর নির্ভর করেছিল। MongoDB থেকে Aerospike-এ স্থানান্তরিত হওয়ার পর আমরা একজন ক্লায়েন্টের (মোবাইল DSP) ক্ষেত্রে উল্লেখযোগ্য অপারেশন খরচ হ্রাস দেখেছি।

ডেটা স্টোরেজ অপ্টিমাইজ করার অন্যান্য উপায়

ডেটা কম্প্রেশন এবং ডিডুপ্লিকেশন কৌশল প্রয়োগ করা প্রয়োজনীয় স্টোরেজ স্পেস কমানোর আরেকটি উপায়, যার ফলে খরচ সাশ্রয় হয়।

কম্প্রেশন ডেটার আকার হ্রাসকে বোঝায়, যা দ্রুত ট্রান্সমিশনের দিকে পরিচালিত করে এবং স্টোরেজ খরচ কমিয়ে দেয়। ডেটা দল GZIP এর মত কৌশল নিযুক্ত করতে পারে।

ডিডুপ্লিকেশন , নাম অনুসারে, ডেটার অপ্রয়োজনীয় কপিগুলিকে সরিয়ে দেয়। এটি AdTech-এ সহায়ক, যেখানে বারবার ব্যবহারকারীর প্রোফাইল বা অনুরূপ ডেটাসেটগুলি সাধারণ।

কোল্ড স্টোরেজ হল একটি সাশ্রয়ী উপায় যা খুব কমই অ্যাক্সেস করা ডেটা (পুরানো প্রচারাভিযানের মেট্রিক্স) সঞ্চয় করার জন্য কোন পারফরম্যান্স প্রতিক্রিয়া ছাড়াই।

একটি অবকাঠামো বিক্রেতার দ্বারা প্রদত্ত প্রিমিয়াম পরিষেবাগুলি নির্বাচন করা৷

ক্লাউড পরিষেবাগুলি নেভিগেট করার জন্য বুদ্ধিমান পছন্দগুলির প্রয়োজন৷ আপনি যদি মনোযোগ না দেন তবে পরিষেবা বান্ডিলগুলি ব্যবহার করা সহজ যা পরিকাঠামোগত খরচ যোগ করে কিন্তু প্ল্যাটফর্মের কোন মূল্য নেই।

নীচের একটি ক্লিপে, Xenoss CTO Vova Kyrychenko ব্যাখ্যা করেছেন কিভাবে "ফ্রি মানি ট্র্যাপ" AdTech প্ল্যাটফর্ম স্কেল হিসাবে উচ্চ পরিকাঠামো খরচ হতে পারে।

https://www.youtube.com/watch?v=q_57WdKDJI0

AdTech বিক্রেতাদের কাছে আমাদের গুরুত্বপূর্ণ সুপারিশ হল লুকানো খরচ বা সঞ্চয় খুঁজে বের করার জন্য প্রিমিয়াম পরিষেবার মূল্য নির্ধারণ করা।

এছাড়াও, যেহেতু নতুন সরঞ্জামগুলি প্ল্যাটফর্মকে ধীর করে দিতে পারে, তাই উৎপাদনে একটি নতুন পরিষেবা নেওয়ার আগে তাদের ছোট স্কেলে পরীক্ষা করা যুক্তিসঙ্গত।

থার্ড-পার্টি বা ওপেন সোর্স প্রোজেক্টের উপর নজর রাখা ব্যয়বহুল পরিচালিত অফারগুলির আরেকটি বিকল্প। বিনামূল্যে বা কম খরচের প্ল্যাটফর্মগুলি মূলধারার ক্লাউড বিক্রেতাদের তুলনায় ভাল পারফরম্যান্স দিতে পারে।

একটি ক্লায়েন্ট প্রকল্পে এই পদ্ধতি অবলম্বন করে, জেনোসের প্রকৌশলীরা অবকাঠামোগত খরচ 20 গুণ কমিয়ে আনতে সাহায্য করেছেন।

নীচের ইনফোগ্রাফিকে, আমরা ক্লায়েন্টের পুরানো অবকাঠামো এবং আমাদের স্থপতিদের দ্বারা ডিজাইন করা আধুনিক সংস্করণকে চিত্রিত করি।

ট্রাফিক এবং লোড ভারসাম্য

যেমনটি আমরা কিছুক্ষণ আগে উল্লেখ করেছি, AdTech প্ল্যাটফর্মগুলি স্থিতিশীল লোডের অধীনে কাজ করে না - এক মুহুর্তে, একটি প্ল্যাটফর্ম হঠাৎ স্পাইককে আঘাত করতে পারে, এবং পরবর্তীতে, এটি কী করতে হবে তা জানে তার চেয়ে বেশি কম্পিউটিং সংস্থান রয়েছে৷

যেহেতু জেনোসের প্রকৌশলীরা বিশ্বাস করেন যে দক্ষ ট্র্যাফিক এবং লোড ব্যালেন্সিং অ্যাডটেক সিস্টেমের জন্য আবশ্যক, তাই আসুন এই ধারণাগুলির আরও গভীরে প্রবেশ করি।

লোড ব্যালেন্সিং মানে একাধিক সার্ভার জুড়ে আগত অনুরোধগুলি সমানভাবে বিতরণ করা, নিশ্চিত করা যে কোনো একক সার্ভার অভিভূত না হয়। এই কাঠামোর মধ্যে, জেনোস আর্কিটেক্টরা মিশন-সমালোচনামূলক প্রক্রিয়াগুলিকে অগ্রাধিকার দেন—অত্যাবশ্যকীয় কাজগুলি যেগুলি, যদি বাধাপ্রাপ্ত হয়, তবে সিস্টেমের মূল কার্যকারিতা (রিয়েল-টাইম বিজ্ঞাপন বিডিং বা ব্যবহারকারীর ডেটা প্রক্রিয়াকরণ) ব্যাহত করবে৷

এই প্রক্রিয়াগুলিকে প্রাধান্য দেওয়ার মাধ্যমে, আমরা সম্ভাব্য মন্থরতা বা ব্যর্থতা থেকে গুরুত্বপূর্ণ ক্রিয়াকলাপগুলিকে রক্ষা করি।

প্রাথমিক হুমকি সনাক্তকরণের জন্য একটি প্রক্রিয়া ডিজাইন করা

একটি বিখ্যাত প্রবাদ রয়েছে: "ব্যর্থতা প্রতিটি পরিকল্পনার একটি অংশ," সংক্ষিপ্তভাবে AdTech পণ্য দলগুলিকে হুমকি এবং ডাউনটাইম থেকে রক্ষা করার জন্য সতর্ক করে৷

সেই লক্ষ্যে, আমরা বিক্রেতা এবং অভ্যন্তরীণ প্রযুক্তি দলগুলিকে নিরীক্ষণের সরঞ্জামগুলি ব্যবহার করার জন্য অনুরোধ করি যা সিস্টেমের স্বাস্থ্যের উপর নজর রাখে, নিরবচ্ছিন্ন অপারেশনগুলি নিশ্চিত করে৷ আপনি যদি কোনো অসামঞ্জস্যতার জন্য সতর্কতা সেট আপ করেন, দলগুলিকে অবিলম্বে সতর্ক করা যেতে পারে, দ্রুত কাজ করতে পারে এবং ছোটখাটো বিপত্তিগুলি যাতে বড় বিপর্যয়ে পরিণত না হয় তা নিশ্চিত করতে পারে।

এআই-চালিত অন্তর্দৃষ্টিগুলির সাথে এই পদ্ধতির উন্নতি করা আরও বেশি গ্রানুলারিটি অফার করে। অ্যানোমালি ডিটেকশন অ্যালগরিদম, যেমন আইসোলেশন ফরেস্ট বা ওয়ান-ক্লাস এসভিএম, অস্বাভাবিক ডেটা প্যাটার্ন সনাক্ত করার জন্য উপযুক্ত, যা হুমকি বা সিস্টেম দুর্বলতা নির্দেশ করতে পারে।

আমরা আবার টাইম-সিরিজ ডেটা বিশ্লেষণ করার জন্য দীর্ঘ স্বল্প-মেয়াদী মেমরি পুনরাবৃত্তি নিউরাল নেটওয়ার্ক স্থাপনের পরামর্শ দিই।

লার্জ ল্যাঙ্গুয়েজ মডেলগুলি লগ এবং সিস্টেম বার্তাগুলি বিশ্লেষণ করে বিশৃঙ্খলতা সনাক্ত করার মাধ্যমে হুমকি সনাক্তকরণে অবদান রাখতে পারে, এইভাবে পাঠ্য ডেটার অনুভূতি তৈরি করে যা অন্যথায় উপেক্ষা করা যেতে পারে।

তলদেশের সরুরেখা

পরিকাঠামো খরচ অপ্টিমাইজেশান দক্ষতা এবং লাভের লক্ষ্যে প্রতিটি সেক্টরের কোম্পানিগুলির জন্য একটি লিঞ্চপিন।

অ্যাডটেক হল উচ্চ ডেটা ভলিউম এবং ট্রাফিক লোডের সাথে কাজ করার চ্যালেঞ্জ এবং সমাধানগুলি অন্বেষণ করার জন্য একটি দুর্দান্ত খেলার মাঠ, কারণ মিলিসেকেন্ডের সময় ফ্রেমে হাজার হাজার প্রশ্ন মোকাবেলা করার প্রয়োজন অবকাঠামো উন্নয়নের সীমাকে প্রান্তে ঠেলে দেয়৷

ভাল খবর হল যে অভিজ্ঞ প্রযুক্তি দলগুলি প্রায়ই ট্রায়াল এবং ত্রুটির মাধ্যমে, পরিকাঠামোর খরচ কম রাখার জন্য একটি হ্যান্ডবুক তৈরি করেছে, এমনকি উচ্চ-লোড সিস্টেমের জন্যও। ক্লাউড এবং অন-প্রিমিসেস সমাধানগুলির মধ্যে ভারসাম্য বজায় রাখা, হুমকি সনাক্তকরণের জন্য AI ব্যবহার করা, এবং ক্রমাগত ডেটা স্টোরেজ কৌশলগুলি পরিমার্জন করা পণ্য দলগুলিকে বাজেটের সাথে আপোস না করে শক্তিশালী ক্রিয়াকলাপ নিশ্চিত করতে সহায়তা করে৷

এই ডোমেনে চটপটে থাকা এবং সচেতন থাকা একটি খরচ-সঞ্চয় পরিমাপ এবং গতিশীল AdTech ল্যান্ডস্কেপে একটি প্রতিযোগিতামূলক সুবিধা।