পাবলিক ক্লাউড প্রত্যাবর্তনের অর্থনীতি এবং কেন এটি স্কেলে ব্যয়-নিষিদ্ধ

গত কয়েক বছরে যা স্পষ্ট হয়েছে তা হল পাবলিক ক্লাউড, এর সমস্ত সুবিধার জন্য, স্কেলে খরচ সঞ্চয় করে না। এটি একটি বিন্দুতে উত্পাদনশীলতা লাভ সরবরাহ করে, তবে এটি আপনার খরচ কমাবে না। পাবলিক ক্লাউডের মধ্যে ভালতা রয়েছে কারণ এটি একটি অবিশ্বাস্যভাবে শক্তিশালী মূল্য প্রস্তাব দেয়—অবকাঠামো অবিলম্বে উপলব্ধ, ব্যবসার জন্য প্রয়োজন ঠিক স্কেলে-চালনা এবং অর্থনীতি উভয় ক্ষেত্রেই দক্ষতা। নতুন পণ্য এবং বৃদ্ধিতে ফোকাস করার জন্য কোম্পানির সংস্থানগুলিকে মুক্ত করা হয় বলে ক্লাউড উদ্ভাবন চাষে সহায়তা করে। যাইহোক, আপনার ডেটার সাথে মিথস্ক্রিয়া করার নিছক কাজটি বহির্গমন খরচ তৈরি করে, যা মারাত্মকভাবে শিকারী হিসাবে দেখানো হয়েছে। এটি বিশেষভাবে সত্য যখন অ্যাপ্লিকেশন এবং কাজের চাপগুলি স্থির, সামঞ্জস্যপূর্ণ, এবং ডেটা নিবিড় (উচ্চ ভলিউম/বেগ/পঠন এবং লেখার কলের বৈচিত্র্য), বা উচ্চ কার্যক্ষমতা বিশ্লেষণ জড়িত - তারা বৃদ্ধির সাথে সাথে পাবলিক ক্লাউডে টেকসই হয় না।

“..ক্লাউডের সাথে শিল্পের অভিজ্ঞতা পরিপক্ক হওয়ার সাথে সাথে-এবং আমরা একটি কোম্পানির অর্থনীতিতে ক্লাউড লাইফসাইকেলের আরও সম্পূর্ণ চিত্র দেখতে পাচ্ছি-এটি স্পষ্ট হয়ে উঠছে যে যখন ক্লাউড একটি কোম্পানির যাত্রার শুরুতে তার প্রতিশ্রুতি স্পষ্টভাবে প্রদান করে, তখন এটি মার্জিনের উপর চাপ দেয় কোম্পানির স্কেল এবং বৃদ্ধি ধীর হয়ে যাওয়ায় সুবিধাগুলিকে ছাড়িয়ে যেতে শুরু করতে পারে।" - সারা ওয়াং এবং মার্টিন কাসাডো, আন্দ্রেসেন-হোরোভিটজ, 2021

এটি গ্রহণ, যদিও অবিশ্বাস্যভাবে প্রসিদ্ধ, তা ছিল 2021 থেকে। 2024 সালে, ডেটা বেড়েছে (প্রতি বছর গড়ে ~20% 2022 থেকে IDC অধ্যয়ন ), কাজের চাপ বেড়েছে এবং স্কেল সমস্যা হয়ে উঠেছে। স্কেলিং এর প্রযুক্তি নয়, কিন্তু খরচ, বিশেষ করে, পাবলিক ক্লাউডে স্কেলিং এর। ডেভিড লিনথিকামের মতে, 3টি প্রধান কারণ, পাবলিক ক্লাউড হচ্ছে "কার্বের দিকে লাথি দেওয়া" :

খরচ - নির্দিষ্ট কাজের চাপের জন্য, সেগুলিকে ক্লাউডে চালানো খুব ব্যয়বহুল। গত কয়েক বছরে কমোডিটি হার্ডওয়্যারের দাম এখন পর্যন্ত কমে গেছে, সেই হার্ডওয়্যার আগের মতো বিশাল CapEx নয়।

ব্যর্থ মাইগ্রেশন - যে কাজের চাপগুলিকে সর্বোত্তমভাবে রিফ্যাক্টর করা হয়নি বা ক্লাউড-নেটিভ হওয়ার জন্য সামঞ্জস্য করা হয়নি সেগুলির মূল্য 2.5X ~2.5X শেষ হয়েছে যা মূলত তাদের খরচ হিসাবে অনুমান করা হয়েছিল৷ প্রিমাইজে অদক্ষ অ্যাপগুলি ক্লাউডে অদক্ষ বলে প্রমাণিত হয়েছে। এগুলিকে আরও দক্ষ করে তোলার জন্য অনেক বেশি খরচ হচ্ছে এবং শেষ পর্যন্ত এটির মূল্য নেই।

প্রয়োজন হ্রাস - যে অ্যাপ্লিকেশনগুলিকে প্রাথমিকভাবে দ্রুত এবং দক্ষতার সাথে তৈরি করার প্রয়োজন ছিল, সেইসাথে স্কেল করতে সক্ষম, ক্লাউডে স্কেল করা হয়েছে কিন্তু এখন কেবল পুনরাবৃত্তিমূলক কাজ এবং ডেটা স্টোরেজের একটি মেশিন। এই অ্যাপগুলি আর ক্লাউড সরবরাহ করতে পারে এমন দ্রুত-প্রমাণযোগ্যতা থেকে উপকৃত হয় না এবং এখন কেবলমাত্র প্রচুর ব্যয়বহুল স্টোরেজ ব্যবহার করছে। একটি নমনীয়, দ্রুত মাপযোগ্য মডেলের প্রয়োজন আর নেই। হার্ডওয়্যারের পণ্যীকরণ এই কাজের চাপগুলি চালানোর জন্য একটি নতুন, ব্যয়-দক্ষ উপায় উপস্থাপন করেছে। একটি সাম্প্রতিক বার্কলে এর মতে সিআইও পোল , অনেক সিআইও একমত।

সেই থেকে একই a16z নিবন্ধ -

“2017 সালে, ড্রপবক্স এর বিস্তারিত এস-১ অবকাঠামোগত অপ্টিমাইজেশন ওভারহলের কারণে আইপিও-র আগের দুই বছরে ক্রমবর্ধমান $75M সঞ্চয়, যার বেশিরভাগই পাবলিক ক্লাউড থেকে প্রত্যাবাসন কাজের চাপকে অন্তর্ভুক্ত করে।"

যখন আপনার ক্লাউড খরচ আপনার আয়ের খরচের প্রায় 50% বা তার বেশি হতে শুরু করে (যেমন আসন , ডাটাডগ, Prerender.io , এবং অন্যান্য), পাবলিক ক্লাউডে আপনার কাজের চাপগুলি কী করছে তা দেখা শুরু করার সময়। সাংগঠনিক এবং ব্যবসায়িক নেতৃত্বকে এই বিষয়ে সচেতন হতে হবে যাতে তারা পিভট করতে পারে। কিছু কাজের চাপ, যেমন একটি ডেটা অ্যানালিটিক্স কিউব চালানো, ইন-মেমরি ডেটাবেস, বা ডেটা অ্যানালিটিক্স ক্লাস্টার অন-প্রিম অবকাঠামোর জন্য আরও উপযুক্ত। কিন্তু এগুলো মাত্র কয়েকটি উদাহরণ।

এই স্কেল সমস্যা দ্বারা প্রভাবিত হবে এমন একটি নির্দিষ্ট প্রবণতার উপর ফোকাস করতে, আসুন AI/ML, এবং বিশেষভাবে, LLMs (বড় ভাষার মডেল) দেখি। যদি আপনার বর্তমান AI উদ্যোগে আপনি নিজের LLM বা ফাউন্ডেশন মডেল তৈরি করে থাকেন, তাহলে পাবলিক ক্লাউডের মাধ্যমে এটি করার অসুবিধাগুলি বিবেচনা করুন:

1. স্কেলের উচ্চ খরচ - স্কেলে এলএলএম প্রশিক্ষণ এবং চালানো ব্যয়বহুল, এবং এলএলএম বড় হওয়ার সাথে সাথে পাবলিক ক্লাউডের খরচও বৃদ্ধি পায়

   
   

2. নিয়ন্ত্রণের ক্ষতি - বাস্তবায়ন, অবকাঠামো এবং কর্মক্ষমতার উপর আপনার কম নিয়ন্ত্রণ এবং দৃশ্যমানতা রয়েছে

   
   

3. ভেন্ডর লক-ইন - আপনি যদি একটি ক্লাউড প্ল্যাটফর্মে LLM প্রশিক্ষণপ্রাপ্ত হয়ে থাকেন, তাহলে অন্য প্ল্যাটফর্মে পোর্ট করা কঠিন হবে। উপরন্তু, শুধুমাত্র একটি একক ক্লাউড প্রদানকারীর উপর নির্ভর করে সহজাত ঝুঁকি, বিশেষ করে নীতি এবং মূল্যের ওঠানামা সংক্রান্ত।

   
   

4. ডেটা গোপনীয়তা এবং নিরাপত্তা - আমি এখানে ডেটা সার্বভৌমত্বও উল্লেখ করব। নীচের লাইন হল যে আপনি বিশ্বব্যাপী অঞ্চলে ছড়িয়ে থাকা সার্ভারগুলির সাথে একটি প্রদানকারীর কাছে আপনার ডেটা বিশ্বাস করছেন৷

   
   

যদি আপনার এন্টারপ্রাইজ পেটাবাইট নিয়ে কাজ করে বা সেই ধরনের স্কেলে প্রবণতা করে, অর্থনীতি ব্যক্তিগত ক্লাউডের পক্ষে। হ্যাঁ, এর অর্থ হল রিয়েল এস্টেট, এইচডব্লিউ, পাওয়ার/কুলিং সহ অবকাঠামো তৈরি করা (বা ইকুইনিক্সের মতো কারও কাছ থেকে লিজ নেওয়া), কিন্তু অর্থনীতি এখনও অত্যন্ত অনুকূল। ক্লাউড-নেটিভ উপায় শিখতে এবং ক্লাউড-নেটিভ অ্যাপ্লিকেশনগুলির একটি পোর্টফোলিওতে অ্যাক্সেস পেতে পাবলিক ক্লাউড একটি আশ্চর্যজনক জায়গা, তবে এটি স্কেল করার জন্য একটি আশ্চর্যজনক জায়গা নয়।

অর্থনীতির একটি উদাহরণ

সুতরাং, অর্থনীতি কি? দৃষ্টান্তের জন্য, চলুন একটি 10PB আধুনিক ডেটালেক নেওয়া যাক যা ক্রমাগত এবং ধারাবাহিক বিশ্লেষণী কাজের চাপের জন্য Apache Spark এবং Dremio পরিচালনা করতে Kubernetes ব্যবহার করে। এই ধরনের কাজের চাপে বিশ্লেষণ, আপডেট এবং রিফ্রেশিং এবং উপস্থাপনার জন্য অবজেক্ট স্টোরেজ থেকে ঘন ঘন ডেটা পড়া এবং লেখার প্রয়োজন। খরচ কাঠামোর দৃষ্টিকোণ থেকে, আমরা প্রধান খরচ চালকদের জন্য কিছু অনুমান ব্যবহার করব:

• এই ডেটা লেক এবং কাজের চাপের সীমিত উপযোগিতা আছে যদি আমরা ডেটা ব্যবহার করতে না পারি। ডেটা অন্তর্দৃষ্টি প্রদান করে, অন্যান্য অ্যাপ্লিকেশনগুলিকে পরিবেশন করে এবং স্টোরেজ পরিবেশের বাইরে প্রক্রিয়াকরণের প্রয়োজন হতে পারে। এর জন্য স্টোরেজের বাইরে ডেটা স্থানান্তর করা প্রয়োজন। যদি আমরা ধরে নিই যে প্রতি মাসে 500TB অ্যাক্সেস করা হচ্ছে, এটি প্রতি মাসে অ্যাক্সেস করা ডেটার মাত্র 5% প্রতিনিধিত্ব করে।

  
  

• ডেটা/অবজেক্ট রিকোয়েস্টের জন্য (PUTs, GETs, HEADs, ইত্যাদি), আমরা একই রকম ধারাবাহিক এবং ক্রমাগত ওয়ার্কলোডের গ্রাহকদের সাথে কাজ করেছি যারা প্রতি মাসে 10b অবজেক্ট রিকোয়েস্ট দেখে। সুতরাং, আমরা এই ধরণের কাজের চাপের জন্য 10b কে রক্ষণশীল অনুমান হিসাবে ব্যবহার করতে পারি।

  
  

• একইভাবে, সেই একই গ্রাহকরা সেই বস্তুগুলির জন্য একই সংখ্যক এনক্রিপশন অনুরোধ দেখতে পান, তাই আবার 10b ব্যবহার করে আমাদের উদাহরণের জন্য একটি রক্ষণশীল ধারণা হিসাবে।

  
  

এই অনুমানগুলির সাথে, পাবলিক ক্লাউডের খরচ এইরকম দেখতে পারে:

10PB এর জন্য বার্ষিক পাবলিক ক্লাউড খরচ = $7.3m বা $0.061 প্রতি GB/mo

উপরের অনুমানগুলি ঠিক তাই, এবং অনেকগুলি সত্যই আপনাকে বলে যে নির্দিষ্ট ব্যবহার এবং কাজের চাপের কারণগুলির উপর নির্ভর করে খরচগুলি কতটা পরিবর্তনশীল হতে পারে। এটি বাজেটের প্রচেষ্টায় উল্লেখযোগ্য চ্যালেঞ্জ তৈরি করে। উপরন্তু, কোনো টাইয়ারিং বা কোনো ডেটা লাইফসাইকেল অ্যাক্টিভিটি না থাকাও কিছুটা বিরল, কারণ সংস্থাগুলি সাধারণত ডেটা কম "সক্রিয়" হয়ে গেলে ডেটা ঠান্ডা স্তরে নিয়ে যায়। কিন্তু এগুলি সবই খরচ যোগ করে, যেহেতু বিভিন্ন স্তরের প্রতি GB/মাসে বিভিন্ন মূল্য থাকে, সেইসাথে বস্তুগুলিকে সেই স্তরগুলিতে স্বয়ংক্রিয়ভাবে স্থানান্তরিত করার জন্য একটি খরচ।

MinIO আপনাকে প্রাইভেট ক্লাউডে (কোলো বা ডেটাসেন্টার) স্কেল করার অনুমতি দেয়, পাবলিক ক্লাউডে ব্যবহৃত একই প্রযুক্তি ব্যবহার করে: S3 API সামঞ্জস্যপূর্ণ অবজেক্ট স্টোরেজ, ঘন গণনা, উচ্চ-গতির নেটওয়ার্কিং, কুবারনেটস, কন্টেইনার এবং মাইক্রোসার্ভিসেস। একটি প্রধান পার্থক্য হল অবজেক্ট রিকোয়েস্টের জন্য কোন খরচ নেই (GETs, PUTs, ইত্যাদি), বা অনুরোধের সংখ্যার কোন সীমা নেই, যতক্ষণ না অবকাঠামো এটিকে সমর্থন করে। উপরন্তু, MinIO এন্টারপ্রাইজ এবং কমিউনিটি সংস্করণের সাথে এনক্রিপশন অন্তর্ভুক্ত করা হয়েছে এবং অনুরোধ করা এনক্রিপ্ট করা বস্তুর সংখ্যার কোনো সীমা নেই।

এই ঐচ্ছিকতা অপারেশনাল খরচ, নমনীয়তা এবং নিয়ন্ত্রণের আদর্শ মিশ্রণ অফার করে। এটা সত্য যে আপনি হার্ডওয়্যারের জন্য CAPEX নেবেন, কিন্তু ছোট শুরু করে এবং মূল ক্লাউড পাঠের সুবিধা গ্রহণ করে (স্থিতিস্থাপকতা, উপাদান দ্বারা স্কেল করা, স্টোরেজ থেকে গণনা ডিকপলিং), এন্টারপ্রাইজগুলি প্রাথমিক ব্যয় কমিয়ে আনতে পারে এবং অপারেশনাল সঞ্চয়কে সর্বাধিক করতে পারে।

যখন কমোডিটি হার্ডওয়্যারের সাথে পেয়ার করা হয় এবং একটি colo, বা মালিকানাধীন ডেটাসেন্টারে অপারেটিং করা হয়, তখন MinIO সেই সমস্ত পাবলিক ক্লাউড খরচ (পাশাপাশি সেই ক্লাউড খরচগুলি পরিচালনার সাথে সম্পর্কিত খরচ) 50% - 70% এবং কিছু ক্ষেত্রে বেশি কমাতে পারে।

বার্ষিক Colo/MinIO খরচ 10PB = $1.7m প্রতি বছর, বা $0.014 প্রতি GB/mo

এটি পাবলিক ক্লাউডের তুলনায় 10PB স্টোরেজের জন্য স্টোরেজ খরচে ~ 77% হ্রাসের সমান। এমনকি ছোট স্টোরেজ ক্ষমতার প্রয়োজনের জন্য (200TB - 2PB), সঞ্চয়গুলি অন্বেষণ করার মতো। উল্লেখ করার মতো নয় যে আপনি শিল্পের সেরা স্টোরেজ পারফরম্যান্স, বালতি-স্তরের নিরাপত্তার জন্য একটি অন্তর্নির্মিত ফায়ারওয়াল, অবজেক্ট স্টোরেজের জন্য বিশেষভাবে ডিজাইন করা পর্যবেক্ষণযোগ্যতা এবং অনেক অন্যান্য মান-সংযোজিত বৈশিষ্ট্য এটি একটি পাবলিক ক্লাউডে আপনার অতিরিক্ত খরচ হবে।

সম্পদ ফ্যাক্টর

একটি অতিরিক্ত উপাদান যা দ্রুত বিশ্লেষণের জন্য মূল্যবান তা হল সম্পদ (মানব ধরনের)। আমরা আমাদের গ্রাহকদের কাছ থেকে শুনেছি যে ক্লাউড অবকাঠামোর আকারের উপর নির্ভর করে পাবলিক ক্লাউড অবকাঠামো পরিচালনা করার জন্য প্রয়োজনীয় সংস্থানগুলির সংখ্যা 5-10 FTEs হতে পারে৷ এর মধ্যে রয়েছে ক্লাউড ইঞ্জিনিয়ার, ক্লাউড টিম লিডস, ডিভোপস ইঞ্জিনিয়ার এবং ক্লাউড পিএম। থেকে বেতন পরিসীমা এবং মিডিয়ান ব্যবহার করে কাঁচের দরজা , এই FTE খরচগুলি প্রতি বছর $700k - $1.5m হতে পারে, সম্পূর্ণ লোড।

আমরা আমাদের গ্রাহকদের কাছ থেকেও শুনেছি (তাদের মধ্যে 76%, একটি সাম্প্রতিক সমীক্ষায়) যে MinIO-এর অন্যতম প্রধান মূল্য চালক হল এর ব্যবহার সহজ এবং পরিচালনাযোগ্য। একই সমীক্ষায় দেখা গেছে যে তাদের মধ্যে 60% উন্নত অপারেশনাল দক্ষতা প্রদানের জন্য MinIO এর ক্ষমতা উল্লেখ করেছে।

"MinIO...আমাদের জন্য সমর্থন এবং রক্ষণাবেক্ষণের খরচ কমিয়েছে।"

• প্রফেশনাল সার্ভিস কোম্পানি

"একটি পণ্য হিসাবে MinIO একটি খুব ভাল স্টোরেজ সমাধান, এটি [হয়েছে].... সম্পদের খরচ কমিয়েছে 50% এরও বেশি।"

• শেষ থেকে শেষ DevOps অফারগুলিতে বিশেষজ্ঞ একটি শীর্ষস্থানীয় প্রযুক্তি সমাধান প্রদানকারী৷

অভ্যন্তরীণভাবে, আমরা MinIO ব্যবহার করি বিভিন্ন কাজের চাপ, স্টোরেজ প্রয়োজন, পরীক্ষা ইত্যাদির জন্য এবং আমাদের অনুমান হল যে MinIO 1 FTE - 3 FTE দ্বারা PB+ পরিকাঠামোর জন্য পরিচালিত হতে পারে। এটি ন্যূনতম সংস্থান সহ স্কেলে বিশাল পরিকাঠামোর জন্য অনুমতি দেয়।

শুরু করা

এখন আপনি দেখেছেন যে কীভাবে এবং কেন অর্থনীতি ব্যক্তিগত ক্লাউডের জন্য কাজ করে, আমি নিশ্চিত আপনি ভাবছেন যে এই পথটি শুরু করার পদক্ষেপগুলি কী। আমার সহকর্মীরা এই বিষয়ে লিখেছেন এখানে এবং এখানে , এবং আমি আপনার ক্লাউড টিম এবং DevOps টিমগুলিকে সর্বজনীন ক্লাউড থেকে দূরে স্থানান্তরিত করার বিশদ বিবরণের জন্য এই ব্লগগুলি দেখার পরামর্শ দিই৷

আমরা দেখেছি আমাদের কয়েক ডজন গ্রাহক কমোডিটি হার্ডওয়্যার এবং হয় তাদের নিজস্ব ডেটা সেন্টার বা একটি কোলো ব্যবহার করে তাদের ডেটা ফেরত পাঠাতে এবং MinIO-এর উচ্চ-কার্যকারি, সাধারণ অবজেক্ট স্টোরেজ সমাধান থেকে কিছু বাস্তব সঞ্চয় এবং সুবিধা উপলব্ধি করতে দেখেছি।

উপরের বিশ্লেষণটি যেমন দেখায়, ব্যবসাগুলি তাদের বিদ্যমান উহ্য বার্ষিক পাবলিক ক্লাউড S3 বিলের 50% এর উপরে, একটি ডেটাসেন্টার বা একটি কোলোকেশন পরিষেবাতে তাদের নিজস্ব হার্ডওয়্যারে ডেটা প্রত্যাবর্তনের মাধ্যমে উল্লেখযোগ্য খরচ সাশ্রয় করতে পারে৷ উপরের দৃশ্যে, শুধুমাত্র 10PB দিয়ে, আপনার ব্যবসা পরবর্তী পাঁচ বছরে প্রায় $6.5 মিলিয়ন বাঁচাতে পারে।

বিষয়টির সত্যতা হল যে পাবলিক ক্লাউড স্কেলে ব্যয়-নিষিদ্ধ। পাবলিক ক্লাউডের সহজাত স্থিতিস্থাপক প্রকৃতি সেখানে স্কেলিংকে আকর্ষণীয় করে তোলে, কিন্তু অর্থনৈতিক দৃষ্টিকোণ থেকে এটি প্রায় সবসময়ই ভুল পছন্দ। এটি বিশেষ করে AI/ML-এর মতো ডেটা-ইনটেনসিভ কাজের জন্য সত্য, যেখানে পাবলিক ক্লাউডে খরচ এবং নিয়ন্ত্রণ হারানো যথেষ্ট হতে পারে। ডেটা স্কেল হিসাবে, MinIO-এর সাথে ব্যক্তিগত ক্লাউড সমাধানগুলি অর্থনৈতিকভাবে উন্নত হয়, কম খরচে সমতুল্য (তর্কযোগ্যভাবে ভাল) প্রযুক্তি অফার করে। কমোডিটি হার্ডওয়্যার এবং প্রাইভেট ক্লাউড অবকাঠামো ব্যবহার করে, কোম্পানিগুলি পাবলিক ক্লাউডের তুলনায় উল্লেখযোগ্য খরচ সঞ্চয় এবং কর্মক্ষমতা সুবিধা অর্জন করতে পারে, কখনও কখনও 70% পর্যন্ত। আমরা আপনার কাজের চাপের জন্য পাবলিক ক্লাউড থেকে দূরে মাইগ্রেশন অন্বেষণ করার এবং আপনার গুরুত্বপূর্ণ ব্যবসায়িক অ্যাপ্লিকেশনগুলিকে আধুনিকীকরণ এবং স্কেল করতে MinIO ব্যবহার করার পরামর্শ দিই।

আপনি যদি আরও জানতে চান এবং আপনার নিজস্ব মডেলগুলি চালানোর জন্য আমাদের মান প্রকৌশল ফাংশনের সুবিধা নিতে চান, অনুগ্রহ করে আমাদের সাথে যোগাযোগ করুন এখানে [email protected] এবং আমরা কথোপকথন শুরু করতে পারি।