MLOps, মেশিন লার্নিং অপারেশনের জন্য সংক্ষিপ্ত, হল একটি প্র্যাকটিস এবং টুলের একটি সেট যার লক্ষ্য ইঞ্জিনিয়ারদের মডেল তৈরি করা এবং সেগুলিকে উৎপাদনে নিয়ে যাওয়া নির্দিষ্ট চাহিদা পূরণ করা। কিছু সংস্থা কিছু স্বদেশী সরঞ্জাম দিয়ে শুরু করে যা প্রতিটি পরীক্ষার পরে ডেটাসেট এবং প্রশিক্ষণের প্রতিটি যুগের পরে চেকপয়েন্ট মডেলগুলিকে সংস্করণ করে। অন্যদিকে, অনেক সংস্থা একটি আনুষ্ঠানিক টুল গ্রহণ করতে বেছে নিয়েছে যাতে পরীক্ষামূলক ট্র্যাকিং, সহযোগিতা বৈশিষ্ট্য, মডেল পরিবেশন ক্ষমতা এবং এমনকি ডেটা এবং প্রশিক্ষণ মডেল প্রক্রিয়াকরণের জন্য পাইপলাইন বৈশিষ্ট্য রয়েছে।

আপনার প্রতিষ্ঠানের জন্য সর্বোত্তম পছন্দ করতে, আপনাকে শিল্পের শীর্ষস্থানীয় MLOps সরঞ্জামগুলি থেকে উপলব্ধ সমস্ত ক্ষমতা বোঝা উচিত। আপনি যদি স্বদেশী পথে যান তবে আপনার বোঝা উচিত যে আপনি যে ক্ষমতা ছেড়ে দিচ্ছেন। একটি স্বদেশী পদ্ধতি ছোট দলগুলির জন্য ভাল যেগুলিকে দ্রুত সরানো দরকার এবং একটি নতুন সরঞ্জাম মূল্যায়ন করার সময় নাও থাকতে পারে। আপনি যদি একটি তৃতীয় পক্ষের টুল বাস্তবায়ন করতে চান, তাহলে আপনাকে সেই টুলটি বেছে নিতে হবে যা আপনার প্রতিষ্ঠানের প্রকৌশল কর্মপ্রবাহের সাথে সবচেয়ে ভালো মেলে। এটি কঠিন হতে পারে কারণ আজকের শীর্ষ সরঞ্জামগুলি তাদের পদ্ধতি এবং ক্ষমতার মধ্যে উল্লেখযোগ্যভাবে পরিবর্তিত হয়। আপনার পছন্দ নির্বিশেষে, আপনার ডেটা পরিকাঠামোর প্রয়োজন হবে যা প্রচুর পরিমাণে ডেটা পরিচালনা করতে পারে এবং একটি পারফরম্যান্ট পদ্ধতিতে প্রশিক্ষণ সেটগুলি পরিবেশন করতে পারে। চেকপয়েন্টিং মডেল এবং ভার্সনিং বড় ডেটাসেটগুলির জন্য স্কেলযোগ্য ক্ষমতা প্রয়োজন এবং আপনি যদি ব্যয়বহুল জিপিইউ ব্যবহার করেন তবে আপনার বিনিয়োগ থেকে সর্বাধিক লাভ করার জন্য আপনার কার্যকরী পরিকাঠামোর প্রয়োজন হবে।

এই পোস্টে, আমি একটি বৈশিষ্ট্যের তালিকা উপস্থাপন করব যা স্থপতিদের বিবেচনা করা উচিত তারা যে পদ্ধতি বা টুলিং বেছে নিন তা নির্বিশেষে। এই বৈশিষ্ট্যের তালিকাটি আমার গবেষণা থেকে এসেছে এবং আজকের শীর্ষস্থানীয় তিনজন MLOps বিক্রেতার সাথে পরীক্ষা করা হয়েছে - কুবেফ্লো , এমএলফ্লো , এবং এমএলরান . যে সংস্থাগুলি একটি স্বদেশী সমাধান দিয়ে শুরু করতে বেছে নিয়েছে তাদের জন্য আমি একটি ডেটা অবকাঠামো উপস্থাপন করব যা স্কেল এবং সম্পাদন করতে পারে। (স্পয়লার সতর্কতা - এখানে আপনার যা দরকার তা হল MinIO।) যখন তৃতীয় পক্ষের সরঞ্জামগুলির কথা আসে, তখন আমি গবেষণা করেছি এমন বিক্রেতাদের সাথে একটি প্যাটার্ন লক্ষ্য করেছি। যে সংস্থাগুলি MLOps টুলিং গ্রহণ করতে পছন্দ করে, আমি এই প্যাটার্নটি উপস্থাপন করব এবং এটিকে আমাদের সাথে সংযুক্ত করব আধুনিক ডাটালকে রেফারেন্স আর্কিটেকচার .

বৈশিষ্ট্য এবং পরিকাঠামোর প্রয়োজনীয়তার মধ্যে ডুব দেওয়ার আগে, আসুন MLOps-এর গুরুত্ব আরও ভালভাবে বুঝতে পারি। এটি করার জন্য, প্রচলিত অ্যাপ্লিকেশন বিকাশের সাথে মডেল তৈরির তুলনা করা সহায়ক।

মডেল এবং অ্যাপ্লিকেশন মধ্যে পার্থক্য

প্রচলিত অ্যাপ্লিকেশন বিকাশ, যেমন একটি নতুন মাইক্রোসার্ভিস প্রয়োগ করা যা একটি অ্যাপ্লিকেশনে একটি নতুন বৈশিষ্ট্য যুক্ত করে, একটি স্পেসিফিকেশন পর্যালোচনা করে শুরু হয়। নতুন ডাটা স্ট্রাকচার বা বিদ্যমান ডাটা স্ট্রাকচারে পরিবর্তন প্রথমে ডিজাইন করা হয়। কোডিং শুরু হওয়ার পরে ডেটার নকশা পরিবর্তন করা উচিত নয়। তারপর পরিষেবাটি বাস্তবায়িত হয় এবং কোডিং এই প্রক্রিয়ার প্রধান কার্যকলাপ। ইউনিট পরীক্ষা এবং শেষ থেকে শেষ পরীক্ষাগুলিও কোডেড। এই পরীক্ষাগুলি প্রমাণ করে যে কোডটি ত্রুটিপূর্ণ নয় এবং সঠিকভাবে স্পেসিফিকেশন প্রয়োগ করে। পুরো অ্যাপ্লিকেশনটি স্থাপন করার আগে এগুলি একটি CI/CD পাইপলাইন দ্বারা স্বয়ংক্রিয়ভাবে চালানো যেতে পারে।

একটি মডেল তৈরি করা এবং প্রশিক্ষণ দেওয়া আলাদা। প্রথম ধাপ হল কাঁচা ডেটা এবং প্রয়োজনীয় ভবিষ্যদ্বাণী বোঝা। এমএল ইঞ্জিনিয়ারদের তাদের নিউরাল নেটওয়ার্ক বাস্তবায়ন বা একটি অ্যালগরিদম সেট আপ করার জন্য কিছু কোড লিখতে হবে, কিন্তু কোডিং প্রভাবশালী কার্যকলাপ নয়। প্রধান কার্যকলাপ পুনরাবৃত্তি পরীক্ষা হয়. পরীক্ষার সময়, ডেটার নকশা, মডেলের নকশা এবং ব্যবহৃত পরামিতিগুলি সবই পরিবর্তিত হবে। প্রতিটি পরীক্ষার পরে, মেট্রিক্স তৈরি করা হয় যা দেখায় যে মডেলটি প্রশিক্ষিত হিসাবে কীভাবে পারফর্ম করেছে। একটি বৈধতা সেট এবং একটি পরীক্ষা সেটের বিপরীতে মডেলের কার্যকারিতা নির্ধারণ করতে মেট্রিক্সও তৈরি করা হয়। এই মেট্রিকগুলি মডেলের গুণমান প্রমাণ করতে ব্যবহৃত হয়। আপনার প্রতিটি পরীক্ষার পরে মডেলটি সংরক্ষণ করা উচিত এবং প্রতিবার আপনি আপনার ডেটাসেটগুলি পরিবর্তন করার সাথে সাথে আপনার সেগুলিও সংরক্ষণ করা উচিত। একবার একটি মডেল একটি অ্যাপ্লিকেশনে অন্তর্ভুক্ত করার জন্য প্রস্তুত হলে, এটি অবশ্যই প্যাকেজ এবং স্থাপন করা উচিত।

সংক্ষেপে বলতে গেলে, MLOps হল মেশিন লার্নিং যা DevOps প্রথাগত সফ্টওয়্যার বিকাশের জন্য। উভয়ই প্রকৌশল দল (দেব বা এমএল) এবং আইটি অপারেশন (অপস) দলগুলির মধ্যে সহযোগিতার উন্নতির লক্ষ্যে অনুশীলন এবং নীতিগুলির একটি সেট। লক্ষ্য হল অটোমেশন ব্যবহার করে, পরিকল্পনা এবং উন্নয়ন থেকে স্থাপনা এবং অপারেশন পর্যন্ত উন্নয়ন জীবনচক্রকে প্রবাহিত করা। এই পদ্ধতির প্রাথমিক সুবিধাগুলির মধ্যে একটি হল ক্রমাগত উন্নতি।

আসুন MLOps-এ একটু গভীরে যাই এবং বিবেচনা করার জন্য নির্দিষ্ট বৈশিষ্ট্যগুলি দেখুন।

বিবেচনা করার জন্য 10 MLOps বৈশিষ্ট্য

পরীক্ষামূলক ট্র্যাকিং এবং সহযোগিতা হল MLOps-এর সাথে সবচেয়ে বেশি যুক্ত বৈশিষ্ট্য, কিন্তু আজকের আরও আধুনিক MLOps টুলগুলি আরও অনেক কিছু করতে পারে। উদাহরণস্বরূপ, কিছু আপনার পরীক্ষার জন্য একটি রানটাইম পরিবেশ প্রদান করতে পারে। অন্যরা মডেলগুলিকে প্যাকেজ এবং স্থাপন করতে পারে একবার তারা একটি অ্যাপ্লিকেশনে একত্রিত হওয়ার জন্য প্রস্তুত।

নীচে আজ MLOps সরঞ্জামগুলিতে পাওয়া বৈশিষ্ট্যগুলির একটি সুপারসেট রয়েছে৷ এই তালিকায় অন্যান্য বিষয়গুলিও অন্তর্ভুক্ত রয়েছে, যেমন সমর্থন এবং ডেটা ইন্টিগ্রেশন।

1. একটি প্রধান খেলোয়াড় থেকে সমর্থন - MLOps কৌশল এবং বৈশিষ্ট্য ক্রমাগত বিকশিত হয়. আপনি এমন একটি টুল চান যা একটি প্রধান প্লেয়ার (Google, Databricks, বা McKinsey এবং কোম্পানি যথাক্রমে Kubeflow, MLflow এবং MLRun) দ্বারা সমর্থিত, অবিচ্ছিন্ন বিকাশ এবং উন্নতি নিশ্চিত করে। একটি সুনির্দিষ্ট উদাহরণ হিসাবে, বর্তমানে অনেক জনপ্রিয় সরঞ্জাম বড় ভাষা মডেলের (LLMs) আগে তৈরি করা হয়েছিল; ফলস্বরূপ, অনেকে জেনারেটিভ এআই সমর্থন করার জন্য নতুন বৈশিষ্ট্য যুক্ত করছে।

   
   

2. আধুনিক ডেটালেক ইন্টিগ্রেশন - পরীক্ষাগুলি অনেকগুলি কাঠামোগত এবং অসংগঠিত ডেটা তৈরি করে৷ একটি MLOps টুল যা আধুনিক Datalake (বা Data Lakehouse) এর সাথে পুরোপুরি একত্রিত হয় তা ডেটা লেকে (এটি সরাসরি MinIO) অসংগঠিত ডেটা সঞ্চয় করবে এবং স্ট্রাকচার্ড ডেটা ডেটা ওয়ারহাউসে যাবে। দুর্ভাগ্যবশত, ওপেন টেবিল ফরম্যাটের আগে অনেক MLOps টুল ছিল যা আধুনিক ডেটালেকের জন্ম দিয়েছে, তাই বেশিরভাগেরই তাদের স্ট্রাকচার্ড ডেটার জন্য আলাদা সমাধান থাকবে। এটি সাধারণত একটি ওপেন-সোর্স রিলেশনাল ডাটাবেস যা আপনার ডেটা পরিকাঠামোকে সমর্থন করতে হবে। অসংগঠিত ডেটা (ডেটাসেট এবং মডেল চেকপয়েন্ট) এর ক্ষেত্রে, শিল্পের সমস্ত প্রধান সরঞ্জাম MinIO ব্যবহার করে যেহেতু আমরা 2014 সাল থেকে ছিলাম।

   
   

3. এক্সপেরিমেন্ট ট্র্যাকিং - সম্ভবত একটি MLOps টুলের সবচেয়ে গুরুত্বপূর্ণ বৈশিষ্ট্য হল প্রতিটি পরীক্ষার জন্য ডেটাসেট, মডেল, হাইপারপ্যারামিটার এবং মেট্রিক্সের ট্র্যাক রাখা। এক্সপেরিমেন্ট ট্র্যাকিং এর পুনরাবৃত্তিযোগ্যতাও সহজতর হওয়া উচিত - যদি আপনি পাঁচটি পরীক্ষা আগে একটি পছন্দসই ফলাফল পেয়ে থাকেন এবং পরে পরীক্ষাগুলি আপনার মডেলের কর্মক্ষমতা হ্রাস করে, তাহলে আপনি ফিরে যেতে এবং সঠিক হাইপারপ্যারামিটার এবং ডেটাসেট বৈশিষ্ট্যগুলি পেতে আপনার MLOps টুল ব্যবহার করতে সক্ষম হবেন। যা পছন্দসই ফলাফল দেয়।

   
   

4. সহযোগিতার সুবিধা প্রদান — একটি MLOps টুলের একটি গুরুত্বপূর্ণ উপাদান হল প্রতিটি পরীক্ষার ফলাফল উপস্থাপন করতে ব্যবহৃত পোর্টাল বা UI। এই পোর্টালটি সমস্ত দলের সদস্যদের কাছে অ্যাক্সেসযোগ্য হওয়া উচিত যাতে তারা একে অপরের পরীক্ষাগুলি দেখতে এবং সুপারিশ করতে পারে৷ কিছু MLOps সরঞ্জামগুলিতে অভিনব গ্রাফিকাল বৈশিষ্ট্য রয়েছে যা পরীক্ষার ফলাফলের তুলনা করে কাস্টম গ্রাফ তৈরি করার অনুমতি দেয়।

   
   

5. মডেল প্যাকেজিং - এই ক্ষমতা এমন একটি মডেলকে প্যাকেজ করে যাতে এটি অন্যান্য প্রোগ্রামিং পরিবেশ থেকে অ্যাক্সেসযোগ্য - সাধারণত একটি মাইক্রোসার্ভিস হিসাবে। এটি একটি চমৎকার বৈশিষ্ট্য আছে. একটি প্রশিক্ষিত মডেল একটি ক্রমিক বস্তু ছাড়া আর কিছুই নয়। অনেক সংস্থা ইতিমধ্যেই এটি বের করতে পারে।

   
   

6. মডেল পরিবেশন - একবার একটি মডেলকে একটি পরিষেবা হিসাবে প্যাকেজ করা হলে, এই বৈশিষ্ট্যটি প্রতিষ্ঠানের আনুষ্ঠানিক পরিবেশে মডেল ধারণকারী পরিষেবাটির স্বয়ংক্রিয় স্থাপনার অনুমতি দেবে। আপনার যদি একটি থাকে তবে আপনার এই বৈশিষ্ট্যটির প্রয়োজন হবে না পরিপক্ক CI/CD পাইপলাইন পরিবেশ জুড়ে সমস্ত সফ্টওয়্যার সম্পদ পরিচালনা করতে সক্ষম।

   
   

7. মডেল রেজিস্ট্রি - একটি মডেল রেজিস্ট্রি আপনার MLOps টুল দ্বারা বর্তমানে পরিচালনার অধীনে সমস্ত মডেলের একটি দৃশ্য প্রদান করে। সর্বোপরি, উত্পাদন-গ্রেড মডেল তৈরি করা সমস্ত MLOps-এর লক্ষ্য। এই দৃশ্যটি এমন মডেলগুলিকে দেখাতে হবে যা উৎপাদনে নিয়োজিত হয়েছে এবং সেইসাথে এমন মডেলগুলি দেখাতে হবে যা এটিকে কখনও উত্পাদনে পরিণত করেনি৷ যে মডেলগুলি এটিকে প্রোডাকশনে পরিণত করেছে সেগুলিকে এমনভাবে ট্যাগ করা উচিত যাতে আপনি অ্যাপ্লিকেশন বা পরিষেবার সংস্করণ নির্ধারণ করতে পারেন যেটিতে তারা স্থাপন করা হয়েছিল৷

   
   

8. সার্ভারহীন ফাংশন - কিছু টুল এমন বৈশিষ্ট্য প্রদান করে যা কোডকে টীকা করার অনুমতি দেয় যাতে একটি ফাংশন বা মডিউল একটি ক্লাস্টারে পরীক্ষা চালানোর জন্য একটি কন্টেইনারাইজড পরিষেবা হিসাবে স্থাপন করা যেতে পারে। আপনি যদি এই বৈশিষ্ট্যটি ব্যবহার করার সিদ্ধান্ত নেন, তাহলে নিশ্চিত করুন যে আপনার সমস্ত প্রকৌশলী এই কৌশলটির সাথে স্বাচ্ছন্দ্য বোধ করছেন। এটি কিছুটা শেখার বক্ররেখা হতে পারে - একটি DevOps ব্যাকগ্রাউন্ড সহ ইঞ্জিনিয়ারদের সময় সহজ হবে, যখন ইঞ্জিনিয়াররা যারা পূর্বে সামান্য কোডিং অভিজ্ঞতার সাথে মেশিন লার্নিং অধ্যয়ন করেছিলেন তাদের সংগ্রাম করতে হবে।

   
   

9. ডেটা পাইপলাইন সক্ষমতা - কিছু MLOps সরঞ্জামগুলির লক্ষ্য হল সম্পূর্ণ এন্ড-টু-এন্ড ক্ষমতা প্রদান করা এবং কাঁচা ডেটা পুনরুদ্ধার, এটি প্রক্রিয়াকরণ এবং পরিষ্কার ডেটা সংরক্ষণের জন্য ডেটা পাইপলাইন তৈরির জন্য নির্দিষ্ট বৈশিষ্ট্য রয়েছে। পাইপলাইন সাধারণত হিসাবে নির্দিষ্ট করা হয় নির্দেশিত অ্যাসাইক্লিক গ্রাফ (DAGs) - কিছু সরঞ্জামের সময় নির্ধারণের ক্ষমতাও রয়েছে। সার্ভারহীন ফাংশনগুলির সাথে একত্রে ব্যবহার করা হলে এটি ডেটা পাইপলাইনগুলি বিকাশ এবং চালানোর জন্য একটি শক্তিশালী লো-কোড সমাধান হতে পারে। আপনি যদি ইতিমধ্যে একটি পাইপলাইন বা ওয়ার্কফ্লো টুল ব্যবহার করেন তবে আপনার এটির প্রয়োজন হবে না।

   
   

10. প্রশিক্ষণ পাইপলাইন ক্ষমতা - এটি ডেটা পাইপলাইনগুলির মতো, তবে একটি প্রশিক্ষণ পাইপলাইন যেখানে ডেটা পাইপলাইনগুলি ছেড়ে যায় সেখানে উঠতে পারে৷ একটি প্রশিক্ষণ পাইপলাইন আপনাকে আপনার ডেটা অ্যাক্সেস কোড কল করতে, আপনার প্রশিক্ষণের যুক্তিতে ডেটা পাঠাতে এবং ডেটা আর্টিফ্যাক্ট এবং মডেলগুলিকে টীকা করতে দেয় যাতে সেগুলি স্বয়ংক্রিয়ভাবে সংরক্ষিত হয়। ডেটা পাইপলাইনগুলির মতো, এই বৈশিষ্ট্যটি সার্ভারহীন ফাংশনগুলির সাথে DAG এবং সময়সূচী পরীক্ষাগুলি তৈরি করতে ব্যবহার করা যেতে পারে। আপনি যদি ইতিমধ্যে একটি বিতরণ করা প্রশিক্ষণ টুল ব্যবহার করেন, তাহলে আপনার এই বৈশিষ্ট্যটির প্রয়োজন নাও হতে পারে। একটি প্রশিক্ষণ পাইপলাইন থেকে বিতরণ প্রশিক্ষণ শুরু করা সম্ভব, তবে এটি খুব জটিল হতে পারে।

MLOps এবং স্টোরেজ

প্রথাগত অ্যাপ্লিকেশন ডেভেলপমেন্ট এবং মেশিন লার্নিংয়ের মধ্যে পার্থক্যগুলি দেখার পরে, এটি পরিষ্কার হওয়া উচিত যে মেশিন লার্নিংয়ের সাথে সফল হতে, আপনার কিছু ফর্ম MLOps এবং একটি ডেটা পরিকাঠামো প্রয়োজন যা কর্মক্ষমতা এবং মাপযোগ্য ক্ষমতার জন্য সক্ষম।

আপনার যদি দ্রুত একটি প্রকল্প শুরু করতে হয় এবং একটি আনুষ্ঠানিক MLOps টুল মূল্যায়ন করার সময় না থাকে তাহলে হোমগ্রোন সমাধানগুলি ভাল। আপনি যদি এই পদ্ধতিটি গ্রহণ করেন তবে সুসংবাদটি হল যে আপনার ডেটা পরিকাঠামোর জন্য আপনার যা প্রয়োজন তা হল MinIO। MinIO হল S3 সামঞ্জস্যপূর্ণ তাই আপনি যদি অন্য টুল দিয়ে শুরু করেন এবং আপনার ডেটাসেটগুলি অ্যাক্সেস করতে একটি S3 ইন্টারফেস ব্যবহার করেন, তাহলে আপনার কোড কাজ করবে। আপনি যদি শুরু করেন তবে আপনি আমাদের ব্যবহার করতে পারেন পাইথন SDK , যা S3 সামঞ্জস্যপূর্ণ। MinIO-এর এন্টারপ্রাইজ সংস্করণ ব্যবহার করার কথা বিবেচনা করুন, যার ক্যাশিং ক্ষমতা রয়েছে যা প্রশিক্ষণ সেটের জন্য ডেটা অ্যাক্সেসকে ব্যাপকভাবে দ্রুত করতে পারে। চেক আউট আসল কারণ কেন AI অবজেক্ট স্টোরেজে তৈরি হয় যেখানে আমরা কিভাবে এবং কেন MinIO MLOps কে সমর্থন করার জন্য ব্যবহার করা হয় তা নিয়ে আলোচনা করি। যে সংস্থাগুলি একটি স্বদেশী সমাধান বেছে নেয় তাদের এখনও উপরে বর্ণিত দশটি বৈশিষ্ট্যের সাথে নিজেদের পরিচিত করা উচিত। আপনি শেষ পর্যন্ত আপনার স্বদেশী সমাধানকে ছাড়িয়ে যেতে পারেন, এবং এগিয়ে যাওয়ার সবচেয়ে কার্যকর উপায় হল একটি MLOps টুল গ্রহণ করা।

একটি থার্ড-পার্টি MLOps টুল অবলম্বন করা হল বৃহৎ প্রতিষ্ঠানের জন্য যাওয়ার সর্বোত্তম উপায় যেখানে বেশ কয়েকটি AI/ML টিম বিভিন্ন ধরনের মডেল তৈরি করে। সর্বাধিক বৈশিষ্ট্য সহ MLOps সরঞ্জামটি সর্বোত্তম সরঞ্জাম নয়। উপরের বৈশিষ্ট্যগুলি দেখুন এবং আপনার প্রয়োজনীয় বৈশিষ্ট্যগুলি নোট করুন, আপনার বিদ্যমান CI/CD পাইপলাইনের অংশ হিসাবে আপনার বর্তমানে যে বৈশিষ্ট্যগুলি রয়েছে এবং অবশেষে, আপনি যে বৈশিষ্ট্যগুলি চান না, এটি আপনাকে সেরা ফিট খুঁজে পেতে সহায়তা করবে। MLOps টুলের বড় আকারের পেটাবাইট অবজেক্ট স্টোরেজের জন্য ক্ষুধা আছে। তাদের মধ্যে অনেকেই স্বয়ংক্রিয়ভাবে প্রতিটি পরীক্ষার সাথে আপনার ডেটাসেটগুলিকে সংস্করণ করে এবং প্রতিটি যুগের পরে স্বয়ংক্রিয়ভাবে আপনার মডেলগুলি পরীক্ষা করে। এখানে আবার, MinIO সাহায্য করতে পারে যেহেতু ক্ষমতা কোন সমস্যা নয়। স্বদেশী সমাধানের অনুরূপ, MinIO এর এন্টারপ্রাইজ সংস্করণ ব্যবহার করার কথা বিবেচনা করুন। ক্যাশিং বৈশিষ্ট্যগুলি একটি বালতির জন্য একবার কনফিগার করা হলে স্বয়ংক্রিয়ভাবে কাজ করে তাই MLOps টুল ক্যাশে ব্যবহারের অনুরোধ না করলেও - MinIO একটি প্রশিক্ষণ সেটের মতো ঘন ঘন অ্যাক্সেস করা বস্তুগুলিকে স্বয়ংক্রিয়ভাবে ক্যাশে করবে।

ভবিষ্যতের জন্য একটি ইচ্ছা তালিকা

আজ বাজারে অনেক MLOps টুল মডেল প্রশিক্ষণের সময় তৈরি করা কাঠামোগত ডেটা সংরক্ষণ করতে একটি ওপেন-সোর্স রিলেশনাল ডাটাবেস ব্যবহার করে যা সাধারণত মেট্রিক্স এবং হাইপারপ্যারামিটার। দুর্ভাগ্যবশত, এটি একটি নতুন ডাটাবেস হবে যা আপনার প্রতিষ্ঠানের দ্বারা সমর্থিত হতে হবে। উপরন্তু, যদি একটি সংস্থা একটি আধুনিক Datalake (বা Data Lakehouse) দিকে অগ্রসর হয় তাহলে একটি অতিরিক্ত সম্পর্কীয় ডাটাবেসের প্রয়োজন নেই। প্রধান MLOps বিক্রেতাদের জন্য যা বিবেচনা করা ভাল হবে তা হল তাদের কাঠামোগত ডেটা সংরক্ষণ করার জন্য একটি OTF-ভিত্তিক ডেটা গুদাম ব্যবহার করা।

সমস্ত প্রধান MLOps বিক্রেতারা অসংগঠিত ডেটা সঞ্চয় করতে হুডের নীচে MinIO ব্যবহার করে। দুর্ভাগ্যবশত, এটি সাধারণত একটি পৃথক ছোট উদাহরণ হিসাবে স্থাপন করা হয় যা MLOps টুলের সামগ্রিক বৃহত্তর ইনস্টলেশনের অংশ হিসাবে ইনস্টল করা হয়। উপরন্তু, এটি সাধারণত MinIO-এর একটি পুরানো সংস্করণ, যা সর্বদা চালানোর আমাদের নীতির বিরুদ্ধে যায় সর্বশেষ এবং সর্বশ্রেষ্ঠ . বিদ্যমান MinIO গ্রাহকদের জন্য, বিদ্যমান ইনস্টলেশনের মধ্যে MLOps টুলটিকে একটি বালতি ব্যবহার করার অনুমতি দেওয়া ভাল হবে। MinIO-তে নতুন গ্রাহকদের জন্য, MLOps টুলটি MinIO-এর সর্বশেষ সংস্করণকে সমর্থন করবে। একবার ইনস্টল হয়ে গেলে, MinIO আপনার প্রতিষ্ঠানের মধ্যে MLOps রিসোর্সের বাইরেও ব্যবহার করা যেতে পারে, যেমন যেকোন জায়গায় অবজেক্ট স্টোরেজের শক্তি প্রয়োজন।

উপসংহার

এই পোস্টে, আমি MLOps বৈশিষ্ট্যগুলি এবং এই বৈশিষ্ট্যগুলিকে সমর্থন করার জন্য প্রয়োজনীয় ডেটা পরিকাঠামো উভয় তদন্ত করে MLOps-এর জন্য একজন স্থপতির নির্দেশিকা উপস্থাপন করেছি৷ একটি উচ্চ স্তরে, সংস্থাগুলি একটি স্বদেশী সমাধান তৈরি করতে পারে, বা তারা একটি তৃতীয় পক্ষের সমাধান স্থাপন করতে পারে। যে দিকনির্দেশনাই বেছে নেওয়া হোক না কেন, আজ শিল্পে উপলব্ধ সমস্ত বৈশিষ্ট্য বোঝা গুরুত্বপূর্ণ। স্বদেশী সমাধানগুলি আপনাকে দ্রুত একটি প্রকল্প শুরু করতে দেয়, তবে আপনি শীঘ্রই আপনার সমাধানকে ছাড়িয়ে যেতে পারেন। আপনার নির্দিষ্ট চাহিদা এবং বিদ্যমান CI/CD পাইপলাইনের সাথে MLOps কীভাবে কাজ করবে তা বোঝাও গুরুত্বপূর্ণ। অনেক MLOps টুল বৈশিষ্ট্য-সমৃদ্ধ এবং এমন বৈশিষ্ট্য ধারণ করে যা আপনি কখনোই ব্যবহার করতে পারবেন না বা আপনার CI/CD পাইপলাইনের অংশ হিসেবে ইতিমধ্যেই আছে।

MLOps সফলভাবে বাস্তবায়ন করতে, আপনার একটি ডেটা পরিকাঠামো প্রয়োজন যা এটি সমর্থন করতে পারে। এই পোস্টে, আমি তাদের জন্য একটি সহজ সমাধান উপস্থাপন করেছি যারা একটি স্বদেশী সমাধান বেছে নিয়েছে এবং তৃতীয় পক্ষের সরঞ্জাম এবং তাদের প্রয়োজনীয় সংস্থানগুলি থেকে কী আশা করা উচিত তা বর্ণনা করেছি।

আমি MLOps সরঞ্জামগুলির আরও বিকাশের জন্য একটি ইচ্ছা তালিকা দিয়ে শেষ করেছি যা তাদের আধুনিক ডেটালেকের সাথে আরও ভালভাবে সংহত করতে সাহায্য করবে।

এআই/এমএল ওয়ার্কলোড সমর্থন করতে আধুনিক ডেটালাক ব্যবহার করার বিষয়ে আরও তথ্যের জন্য, চেক আউট করুন এআই/এমএল একটি আধুনিক ডেটালেকের মধ্যে .

আপনার কোন প্রশ্ন থাকলে, আমাদের সাথে যোগাযোগ করতে ভুলবেন না স্ল্যাক !