কিভাবে আপনি আপনার AI এর জন্য সেরা সার্ভার, CPU এবং GPU চয়ন করবেন?

জেনারেটিভ কৃত্রিম বুদ্ধিমত্তা এবং এর ব্যবহারিক প্রয়োগের বিকাশের সাথে, কৃত্রিম বুদ্ধিমত্তার জন্য সার্ভার তৈরি করা বিভিন্ন শিল্পের জন্য গুরুত্বপূর্ণ হয়ে উঠেছে - স্বয়ংচালিত উত্পাদন থেকে ওষুধ, পাশাপাশি শিক্ষা ও সরকারী প্রতিষ্ঠানের জন্য।

কৃত্রিম বুদ্ধিমত্তার জন্য সার্ভার নির্বাচনকে প্রভাবিত করে এমন সবচেয়ে গুরুত্বপূর্ণ উপাদানগুলি বিবেচনা করা যাক: কেন্দ্রীয় প্রক্রিয়াকরণ ইউনিট (সিপিইউ) এবং গ্রাফিক্স প্রসেসিং ইউনিট (জিপিইউ)। উপযুক্ত প্রসেসর এবং গ্রাফিক্স কার্ড নির্বাচন করা আপনাকে একটি উচ্চ-পারফরম্যান্স প্ল্যাটফর্ম সেট আপ করতে এবং একটি ডেডিকেটেড বা ভার্চুয়াল (VPS) সার্ভারে কৃত্রিম বুদ্ধিমত্তা সম্পর্কিত গণনাগুলিকে উল্লেখযোগ্যভাবে ত্বরান্বিত করতে সক্ষম করবে৷

তাত্ক্ষণিক স্থাপনার সাথে GPU সার্ভার ভাড়া করুন অথবা একটি সার্ভার সহ কাস্টম কনফিগারেশন পেশাদার-গ্রেডের NVIDIA Tesla H100 / H100 80Gb বা RTX A5000 / A4000 কার্ড সহ। গেম RTX4090 কার্ড সহ GPU সার্ভার এছাড়াও উপলব্ধ.

কিভাবে আপনি আপনার AI সার্ভারের জন্য সঠিক প্রসেসর নির্বাচন করবেন?

প্রসেসর হল প্রধান "ক্যালকুলেটর" যা ব্যবহারকারীদের কাছ থেকে কমান্ড গ্রহণ করে এবং "কমান্ড চক্র" সম্পাদন করে যা পছন্দসই ফলাফল দেবে। অতএব, একটি AI সার্ভারকে এত শক্তিশালী করে তোলে তার একটি বড় অংশ হল এর CPU।

আপনি এএমডি এবং ইন্টেল প্রসেসরের মধ্যে তুলনা আশা করতে পারেন। হ্যাঁ, ইন্টেল 5ম প্রজন্মের Intel® Xeon® (এবং ইতিমধ্যে ঘোষিত 6ম প্রজন্মের) এবং AMD EPYC™ 8004/9004 এর লাইনআপের সাথে এই দুই শিল্পের নেতারা প্রসেসর তৈরিতে অগ্রগণ্য রয়েছেন যা x86-ভিত্তিক CISC প্রসেসরের শীর্ষস্থানীয় প্রতিনিধিত্ব করে।

আপনি যদি একটি পরিপক্ক এবং প্রমাণিত বাস্তুতন্ত্রের সাথে মিলিত চমৎকার পারফরম্যান্স খুঁজছেন, তাহলে এই চিপ নির্মাতাদের থেকে সেরা পণ্য নির্বাচন করাই হবে সঠিক পছন্দ। যদি বাজেট একটি উদ্বেগ হয়, Intel® Xeon® এবং AMD EPYC™ প্রসেসরের পুরানো সংস্করণ বিবেচনা করুন।

এমনকি AMD বা Nvidia-এর হাই-এন্ড মডেলের ডেস্কটপ CPU গুলি AI এর সাথে কাজ করার জন্য একটি ভাল সূচনা হবে যদি আপনার কাজের চাপের জন্য প্রচুর সংখ্যক কোর এবং মাল্টিথ্রেডিং ক্ষমতার প্রয়োজন না হয়। অনুশীলনে, ভাষা মডেলের ক্ষেত্রে, গ্রাফিক্স এক্সিলারেটরের পছন্দ বা সার্ভারে ইনস্টল করা RAM এর পরিমাণ CPU প্রকারের মধ্যে পছন্দের চেয়ে বেশি প্রভাব ফেলবে।

যদিও কিছু মডেল, যেমন মিক্সট্রাল থেকে 8x7B, একটি CPU-তে চালানোর সময় ভিডিও কার্ডে পাওয়া টেনসর কোরের গণনাগত শক্তির সাথে তুলনীয় ফলাফল তৈরি করতে পারে, তাদের একটি CPU + GPU বান্ডেলের চেয়ে 2-3 গুণ বেশি RAM প্রয়োজন। উদাহরণস্বরূপ, একটি মডেল যা 16 গিগাবাইট র‌্যাম এবং 24 গিগাবাইট জিপিইউ ভিডিও মেমরিতে চলে শুধুমাত্র সিপিইউতে চলার সময় 64 জিবি পর্যন্ত র‌্যামের প্রয়োজন হতে পারে।

এএমডি এবং ইন্টেল ছাড়াও অন্যান্য বিকল্প রয়েছে। এগুলি ARM আর্কিটেকচারের উপর ভিত্তি করে সমাধান হতে পারে, যেমন NVIDIA Grace™, যা পেটেন্ট NVIDIA বৈশিষ্ট্য বা Ampere Altra™ এর সাথে ARM কোরকে একত্রিত করে।

কিভাবে আপনি আপনার AI সার্ভারের জন্য সঠিক গ্রাফিক্স প্রসেসিং ইউনিট (GPU) নির্বাচন করবেন?

জিপিইউ আজ AI সার্ভার অপারেশনে ক্রমবর্ধমান গুরুত্বপূর্ণ ভূমিকা পালন করে। এটি একটি অ্যাক্সিলারেটর হিসাবে কাজ করে যা সিপিইউ প্রক্রিয়ার অনুরোধগুলিকে অনেক দ্রুত এবং আরও দক্ষতার সাথে নিউরাল নেটওয়ার্কগুলিতে সাহায্য করে। জিপিইউ কাজগুলিকে ছোট ছোট অংশে বিভক্ত করতে পারে এবং সমান্তরাল কম্পিউটিং বা বিশেষ কোর ব্যবহার করে একযোগে সেগুলি সম্পাদন করতে পারে। উদাহরণস্বরূপ, NVIDIA-এর টেনসর কোরগুলি ট্রান্সফরমার ইঞ্জিন, টেনসর ফ্লোট 32 (TF32) এবং FP16 সহ 8-বিট ফ্লোটিং-পয়েন্ট (FP8) গণনায় উচ্চ কার্যক্ষমতার অর্ডার প্রদান করে, যা উচ্চ-পারফরম্যান্স কম্পিউটিং (HPC) এ চমৎকার ফলাফল দেখায়।

এটি বিশেষভাবে লক্ষণীয় অনুমান (নিউরাল নেটওয়ার্কের অপারেশন) সময় নয় তবে প্রশিক্ষণের সময়, উদাহরণস্বরূপ, FP32 সহ মডেলগুলির জন্য, এই প্রক্রিয়াটি কয়েক সপ্তাহ বা এমনকি মাসও নিতে পারে।

আপনার অনুসন্ধানের মানদণ্ড সংকুচিত করতে, নিম্নলিখিত প্রশ্নগুলি বিবেচনা করুন:

• সময়ের সাথে সাথে আপনার এআই সার্ভারের কাজের চাপের প্রকৃতি কি পরিবর্তন হবে? বেশিরভাগ আধুনিক জিপিইউ খুব নির্দিষ্ট কাজের জন্য ডিজাইন করা হয়েছে। তাদের চিপগুলির আর্কিটেকচার এআই ডেভেলপমেন্ট বা অ্যাপ্লিকেশনের নির্দিষ্ট কিছু ক্ষেত্রের জন্য উপযুক্ত হতে পারে এবং নতুন হার্ডওয়্যার এবং সফ্টওয়্যার সমাধানগুলি কয়েক বছরের মধ্যে (1-2-3) GPU-এর পূর্ববর্তী প্রজন্মকে অপ্রচলিত করতে পারে।
• আপনি কি প্রধানত এআই বা অনুমান (ব্যবহার) প্রশিক্ষণের দিকে মনোনিবেশ করবেন? এই দুটি প্রক্রিয়া সীমিত মেমরি বাজেট সহ সমস্ত আধুনিক AI পুনরাবৃত্তির ভিত্তি।

প্রশিক্ষণের সময়, এআই মডেল বিলিয়ন বা এমনকি ট্রিলিয়ন প্যারামিটার সহ প্রচুর পরিমাণে ডেটা প্রক্রিয়া করে। এটি তার অ্যালগরিদমের "ওজন" সামঞ্জস্য করে যতক্ষণ না এটি ধারাবাহিকভাবে সঠিক ফলাফল তৈরি করতে পারে।

অনুমান মোডে, AI বাস্তব জগতে নতুন ইনপুট ডেটার প্রতিক্রিয়া জানাতে তার প্রশিক্ষণের "মেমরি" এর উপর নির্ভর করে। উভয় প্রক্রিয়ার জন্য গুরুত্বপূর্ণ গণনামূলক সংস্থান প্রয়োজন, তাই ত্বরণের জন্য GPU এবং সম্প্রসারণ মডিউল ইনস্টল করা হয়।

গ্রাফিক প্রসেসিং ইউনিট (GPUs) বিশেষভাবে বিশেষায়িত কোর এবং মেকানিজমের সাথে গভীর শিক্ষার মডেলকে প্রশিক্ষণের জন্য ডিজাইন করা হয়েছে যা এই প্রক্রিয়াটিকে অপ্টিমাইজ করতে পারে। উদাহরণস্বরূপ, 8টি GPU কোর সহ NVIDIA-এর H100 FP8 গভীর শিক্ষায় 32টির বেশি পেটাফ্লপ পারফরম্যান্স প্রদান করে। প্রতিটি H100-এ FP8 নামক একটি নতুন ধরনের ডেটা এবং অপ্টিমাইজেশনের জন্য একটি "ট্রান্সফরমার ইঞ্জিন" ব্যবহার করে চতুর্থ প্রজন্মের টেনসর কোর রয়েছে। সম্প্রতি, NVIDIA তাদের GPU-এর পরবর্তী প্রজন্ম, B200 চালু করেছে, যা আরও শক্তিশালী হবে।

AMD সমাধানের একটি শক্তিশালী বিকল্প হল AMD Instinct™ MI300X। এর বৈশিষ্ট্য হল একটি বৃহৎ মেমরি ক্ষমতা এবং উচ্চ ডেটা ব্যান্ডউইথ, যা অনুমান-ভিত্তিক জেনারেটিভ এআই অ্যাপ্লিকেশনের জন্য গুরুত্বপূর্ণ, যেমন বড় ভাষা মডেল (LLM)। AMD দাবি করে যে তাদের GPU গুলি NVIDIA এর সমাধানগুলির তুলনায় 30% বেশি দক্ষ কিন্তু কম পরিপক্ক সফ্টওয়্যার রয়েছে৷

বাজেটের সীমাবদ্ধতার মধ্যে মাপসই করার জন্য আপনাকে যদি কিছুটা কর্মক্ষমতা ত্যাগ করতে হয় বা যদি এআই প্রশিক্ষণের জন্য আপনার ডেটাসেট খুব বড় না হয় তবে আপনি AMD এবং NVIDIA থেকে অন্যান্য বিকল্পগুলি বিবেচনা করতে পারেন। অনুমান করার কাজগুলির জন্য বা যখন প্রশিক্ষণের জন্য 24/7 মোডে একটানা অপারেশনের প্রয়োজন হয় না, তখন Nvidia RTX 4090 বা RTX 3090 ভিত্তিক "ভোক্তা" সমাধানগুলি উপযুক্ত হতে পারে।

আপনি যদি মডেল প্রশিক্ষণের জন্য দীর্ঘমেয়াদী গণনার স্থায়িত্ব খুঁজছেন, আপনি NVIDIA এর RTX A4000 বা A5000 কার্ডগুলি বিবেচনা করতে পারেন। যদিও PCIe বাসের সাথে H100 কাজগুলির উপর নির্ভর করে 60-80% পারফরম্যান্স সহ আরও শক্তিশালী সমাধান দিতে পারে, RTX A5000 একটি আরও অ্যাক্সেসযোগ্য বিকল্প এবং কিছু নির্দিষ্ট কাজের জন্য একটি সর্বোত্তম পছন্দ হতে পারে (যেমন 8x7B এর মতো মডেলগুলির সাথে কাজ করা)।

আরও বহিরাগত অনুমান সমাধানের জন্য, আপনি AMD Alveo™ V70, NVIDIA A2/L4 Tensor Core, এবং Qualcomm® Cloud AI 100 এর মতো কার্ডগুলি বিবেচনা করতে পারেন৷ অদূর ভবিষ্যতে, AMD এবং NVIDIA AI প্রশিক্ষণের বাজারে Intel-এর GPU Gaudi 3-কে ছাড়িয়ে যাওয়ার পরিকল্পনা করছে৷ .

এই সমস্ত বিষয়গুলি বিবেচনা করে এবং HPC এবং AI-এর জন্য সফ্টওয়্যার অপ্টিমাইজেশান বিবেচনা করে, আমরা Intel Xeon বা AMD Epyc প্রসেসর এবং NVIDIA থেকে GPU গুলি সহ সার্ভারগুলিকে সুপারিশ করি৷ AI ইনফারেন্সিং কাজের জন্য, আপনি RTX A4000/A5000 থেকে RTX 3090 পর্যন্ত GPU ব্যবহার করতে পারেন, মাল্টি-মোডাল নিউরাল নেটওয়ার্কে প্রশিক্ষণ এবং কাজ করার সময়, RTX 4090 থেকে A100/H100 পর্যন্ত সমাধানের জন্য বাজেট বরাদ্দ করার পরামর্শ দেওয়া হয়।

তাত্ক্ষণিক স্থাপনার সাথে GPU সার্ভার ভাড়া করুন অথবা একটি সার্ভার সহ কাস্টম কনফিগারেশন পেশাদার-গ্রেডের NVIDIA Tesla H100 / H100 80Gb বা RTX A5000 / A4000 কার্ড সহ। গেম RTX4090 কার্ড সহ GPU সার্ভার এছাড়াও উপলব্ধ.