2024 সালে এআই চিপস: এনভিডিয়া কি রেসে নেতৃত্ব দিতে প্রস্তুত?

NVIDIA-এর সাম্প্রতিক ঘোষণাগুলি ট্র্যাক করে, শিল্প বিশেষজ্ঞদের সাথে কথা বলে এবং খবর ও বিশ্লেষণ স্ক্যান করে আমরা AI চিপসের ভবিষ্যত সম্পর্কে যা শিখেছি৷

এআই চিপগুলি অন্বেষণ করা একটি বিনোদনের পাশাপাশি অর্কেস্ট্রেট অল থিংস নিবন্ধের একটি জনপ্রিয় থিম। 2023 সালে, আমাদের মনে হয়েছিল যে আমরা এতে কিছুটা পিছিয়ে পড়েছি..কিন্তু তারপরে আবার, এটা কি ব্যাপার? NVIDIA কি এখনও সর্বোচ্চ রাজত্ব করছে না – 1 ট্রিলিয়ন মূল্যায়ন , 80% এর বেশি মার্কেট শেয়ার, H100s গরম রুটির মতো বিক্রি এবং সমস্ত রেকর্ড ভেঙেছে? ওয়েল, হ্যাঁ, কিন্তু.. এত দ্রুত না.

O'Reilly-এর সাথে আমাদের “What's New in AI” সিরিজের AI চিপস পর্বে HPE ইভান স্পার্কসের মস্তিষ্কে AI-এর CPO বাছাই করার সুযোগ পাওয়ার পর, NVIDIA-এর কয়েকটি প্রেস কনফারেন্সে বসুন এবং এক টন খবর স্ক্যান করুন এবং বিশ্লেষণ করে যাতে আপনাকে করতে না হয়, 2024 সালে এআই চিপসে শেয়ার করার জন্য আমাদের কাছে আরও সূক্ষ্ম দৃষ্টিভঙ্গি রয়েছে। এখানে কী ঘটছে এবং এটি কীভাবে এআইকে প্রভাবিত করতে পারে তা এখানে রয়েছে।

NVIDIA MLPerf বেঞ্চমার্ক রেকর্ড ভেঙেছে

খবর দিয়ে শুরু করা যাক। গতকাল, NVIDIA সর্বশেষ MLPerf জমা থেকে তাদের ফলাফল ঘোষণা করেছে । MLPerf হল AI ওয়ার্কলোড বেঞ্চমার্কের ডি ফ্যাক্টো স্ট্যান্ডার্ড, এবং যত বেশি AI ওয়ার্কলোড আবির্ভূত হয় MLPerf এটি স্যুটে যোগ করতে থাকে । গত বছর জেনারেটিভ এআই চালু হওয়ার সাথে সাথে, MLPerf তার অস্ত্রাগারে Gen AI কাজের চাপ যুক্ত করেছে।

পূর্বে একটি বেঞ্চমার্ক যোগ করা হয়েছে যা একটি বড় ভাষা মডেল (LLM) প্রশিক্ষণের জন্য সম্পূর্ণ GPT-3 ডেটা সেটের একটি অংশ ব্যবহার করে, MLPerf-এর সর্বশেষ সংযোজন হল স্থিতিশীল ডিফিউশন পাঠ্য থেকে চিত্র মডেলের উপর ভিত্তি করে একটি প্রশিক্ষণ বেঞ্চমার্ক। এনভিআইডিএ এই দুটির পাশাপাশি আরও কয়েকটিকে অ্যাকড করেছে। ইন্টেল এবং গুগলও বড় এআই প্রশিক্ষণ লাভের গর্ব করে ।

NVIDIA Eos — 10,752 NVIDIA H100 Tensor Core GPUs এবং NVIDIA Quantum-2 InfiniBand নেটওয়ার্কিং দ্বারা চালিত একটি AI সুপার কম্পিউটার — মাত্র 3.9 মিনিটে এক বিলিয়ন টোকেনে প্রশিক্ষণপ্রাপ্ত 175 বিলিয়ন প্যারামিটার সহ একটি GPT-3 মডেলের উপর ভিত্তি করে একটি প্রশিক্ষণ বেঞ্চমার্ক সম্পন্ন করেছে৷

এটি 10.9 মিনিটের তুলনায় প্রায় 3 গুণ লাভ, এটি রেকর্ড এনভিআইডিআইএ সেট করেছে যখন পরীক্ষাটি ছয় মাসেরও কম আগে চালু করা হয়েছিল । এক্সট্রাপোলেশনের মাধ্যমে, Eos এখন 512 A100 GPU ব্যবহার করে পূর্বের অত্যাধুনিক সিস্টেমের তুলনায় 73 গুণ দ্রুত মাত্র আট দিনে সেই LLM প্রশিক্ষণ দিতে পারে। স্টেবল ডিফিউশন বেঞ্চমার্কের জন্য, এটি সম্পূর্ণ করতে 1,024 NVIDIA হপার আর্কিটেকচার GPUs 2.5 মিনিট সময় নিয়েছে।

কিন্তু এখানেই শেষ নয়. NVIDIA নোট হিসাবে, কোম্পানিটি একমাত্র সকল MLPerf পরীক্ষা চালানোর জন্য, নয়টি বেঞ্চমার্কের প্রতিটিতে দ্রুততম কর্মক্ষমতা এবং সর্বশ্রেষ্ঠ স্কেলিং প্রদর্শন করে। MLPerf HPC-তে, সুপারকম্পিউটারগুলিতে AI-সহায়ক সিমুলেশনের জন্য একটি পৃথক বেঞ্চমার্ক, H100 GPU গুলি শেষ HPC রাউন্ডে NVIDIA A100 টেনসর কোর GPU-গুলির দ্বিগুণ পারফরম্যান্স প্রদান করেছে৷

এআই মডেল প্রশিক্ষণের জন্য বিকল্প

এখন, এই ফলাফল আনপ্যাক করা শুরু করা যাক. লক্ষ্য করার প্রথম জিনিস হল স্কেলের বিভিন্ন মাত্রা। Eos যখন প্রথম ঘোষণা করা হয়েছিল , তখন এতে 4,608 H100s ছিল। আজ, এটি 10,752 বৈশিষ্ট্যযুক্ত। কিন্তু Eos স্কেল এবং পারফরম্যান্সের সুবিধার জন্য NVIDIA একমাত্র নয়।

কোম্পানি নোট হিসাবে, এক্সিলারেটর, সিস্টেম এবং সফ্টওয়্যার উদ্ভাবনের একটি পূর্ণ-স্ট্যাক প্ল্যাটফর্ম সর্বশেষ রাউন্ডে Eos এবং Microsoft Azure উভয় দ্বারা ব্যবহৃত হয়েছিল। Azure সমস্ত বিভাগে জমা দেয়নি, কিন্তু GPT-3 বেঞ্চমার্কে যেখানে উভয়ই জমা দেওয়া হয়েছে, ফলাফলগুলি কার্যত অভিন্ন। এবং Azure এর উদাহরণ বাণিজ্যিকভাবেও উপলব্ধ।

আরও কি, Eos এর স্কেলিং দক্ষতা 80% এর উত্তরে ছিল। আদর্শভাবে, জিপিইউ-এর দ্বিগুণ সংখ্যা দ্বিগুণ কর্মক্ষমতা পাবে। এর 80% পাওয়া, এই স্কেলে, বেশ একটি কীর্তি। NVIDIA এটিকে তার স্ট্যাকের জন্য দায়ী করেছে - হার্ডওয়্যার, সফ্টওয়্যার এবং নেটওয়ার্কিংয়ের সংমিশ্রণ।

এখানে একটি টেকঅ্যাওয়ে হল যে " জেনসেনের আইন ", এনভিআইডিএ জিপিইউগুলি যে পারফরম্যান্স এবং স্কেল-আপ অর্জন করে তা বর্ণনা করতে ব্যবহৃত মনিকার এখনও কার্যকর বলে মনে হচ্ছে। কিন্তু সম্ভবত আসল প্রশ্ন হল কার যত্ন নেওয়া উচিত এবং কেন।

এই ধরনের স্কেল এমন কিছু নয় যা হাইপারস্কেলাররা সাধারণত পরিচালনা করতে পারে, এমনকি তারা চাইলেও। NVIDIA H100 GPU গুলি প্রায় $30K খরচ হওয়া সত্ত্বেও স্বল্প সরবরাহে রয়েছে৷ 2023 সালের স্টেট অফ এআই রিপোর্ট নোট হিসাবে, সংস্থাগুলি মজুত করার দৌড়ে রয়েছে। তবে ভালো খবরও আছে।

প্রথমত, NVIDIA চিপগুলির উল্লেখযোগ্যভাবে দীর্ঘ জীবনকাল রয়েছে: লঞ্চ থেকে শীর্ষ জনপ্রিয়তা পর্যন্ত 5 বছর। 2017 সালে প্রকাশিত NVIDIA V100 এখনও AI গবেষণায় সবচেয়ে বেশি ব্যবহৃত চিপ। এটি পরামর্শ দেয় যে 2020 সালে মুক্তি পাওয়া A100s, 2026-এ শীর্ষে উঠতে পারে যখন V100 এর ট্রুতে আঘাত করার সম্ভাবনা রয়েছে।

এছাড়াও, এটি সন্দেহজনক যে স্ক্র্যাচ থেকে একটি নতুন জেনারেল এআই মডেলকে প্রশিক্ষণ দেওয়া এমন কিছু যা বেশিরভাগ সংস্থাকে করতে হবে। বেশিরভাগ সংস্থাই হয়ত শুধুমাত্র প্রাক-প্রশিক্ষিত জেন এআই মডেল ব্যবহার করবে যেগুলিকে পাওয়ার অ্যাপ্লিকেশনগুলির জন্য হুডের নীচে প্যাকেজ করা হবে, অথবা একটি API এর মাধ্যমে ChatGPT-এর মতো কিছু ব্যবহার করা বেছে নেবে। এই দুটি বিকল্পের জন্য ঠিক শূন্য জিপিইউ প্রয়োজন।

ফ্লিপ দিক, অবশ্যই, এই উভয় বিকল্প শূন্য স্বায়ত্তশাসন এবং নিরাপত্তা প্রদান করে। কিন্তু এমনকি যে সংস্থাগুলি ইন-হাউস জেনারেল এআই বিকাশ করতে বেছে নেয় তাদের জন্য, স্ক্র্যাচ থেকে কিছু প্রশিক্ষণ দেওয়া সম্ভবত বেশিরভাগের জন্য সবচেয়ে বেশি অর্থবহ নয়। একটি অফ-দ্য-শেল্ফ ওপেন সোর্স জেন এআই মডেল নেওয়া এবং ফাইন-টিউনিং বা RAG (পুনরুদ্ধার অগমেন্টেড জেনারেশন) এর মাধ্যমে কাস্টমাইজ করা অনেক দ্রুত এবং সহজ, এবং শুধুমাত্র গণনার একটি ভগ্নাংশ প্রয়োজন৷

কিভাবে NVIDIA প্রতিযোগীরা ধরতে পারে

যেভাবেই হোক, এখানে দীর্ঘ দৃষ্টিভঙ্গি হল যে NVIDIA যেভাবে স্কেল করে তা অল্প সময়ে আরও শক্তিশালী AI মডেলগুলিকে সম্ভব করে তোলে। আমরা আশা করতে পারি যে ফলাফলগুলি হ্রাস পাবে, তার মানে আরও শক্তিশালী GPT-এর মতো মডেল, ওপেন সোর্স মডেল বা ডেরিভেটিভ অ্যাপ্লিকেশন।

কিন্তু এখানে বিবেচনা করার জন্য প্রশ্ন আরেকটি সেট আছে. NVIDIA এর আধিপত্য কি শিল্পের জন্য একটি ভাল জিনিস? পারে, এবং উচিত, এটা শেষ? প্রতিযোগিতা কি পর্যন্ত? আর কেন বাকি বিশ্বের যত্ন নিতে হবে?

যেমনটি আমি এবং অন্যরা লক্ষ্য করছি, NVIDIA-এর আধিপত্য কেবল তার হার্ডওয়্যারের উপর নয়, বরং এর স্ট্যাকের সম্পূর্ণতার উপর ভিত্তি করে। তদ্ব্যতীত, বিশ্লেষক ডিলান প্যাটেল দ্বারা উল্লিখিত হিসাবে, NVIDIA সাপ্লাই চেইন ম্যানেজমেন্ট, বিক্রয় কৌশল এবং বান্ডলিং সংক্রান্ত ব্যবসায়িক কৌশলগুলির একটি সেটও ব্যবহার করে যা অন্য কয়েকজন প্রতিলিপি করতে সক্ষম। তবে এর মানে এই নয় যে প্রতিযোগিতাটিও অলস।

যতদূর সুপারকম্পিউটার এবং স্কেলিং আপ যায়, NVIDIA এর ইওস অবশ্যই শহরে একমাত্র গেম নয়। স্পার্কস যেমন উল্লেখ করেছে, ইন্টেলের অরোরা তার নিজস্ব 60,000 Ponte Vecchio GPU সমন্বিত করেছে অনলাইনে যেতে চলেছে৷ এছাড়াও বিশ্বের আরও অনেক সুপারকম্পিউটার রয়েছে যা বিভিন্ন নির্মাতাদের কাছ থেকে চিপস এবং আর্কিটেকচারের একটি পরিসর সমন্বিত করে এবং তারা সকলেই উচ্চ-পারফরম্যান্স ফ্লোটিং পয়েন্ট পাটিগণিত করতে সক্ষম।

এনভিআইডিএ-এর একটি প্রান্ত রয়েছে এই কারণে যে এটি প্রথম AI ওয়ার্কলোডগুলিতে ফোকাস করেছিল, তবে এর প্রতিটি উচ্চাকাঙ্ক্ষী প্রতিযোগীর কাছে ধরার জন্য একটি রোডম্যাপ রয়েছে। সম্প্রতি পর্যন্ত আমরা মনে করতাম যে CUDA, NVIDIA-এর সফ্টওয়্যার স্তর, কোম্পানির সবচেয়ে বড় পরিখা।

যেমন প্যাটেল নোট করেছেন , অনেক মেশিন লার্নিং ফ্রেমওয়ার্ক এসেছে এবং চলে গেছে, কিন্তু বেশিরভাগই NVIDIA-এর CUDA-এর উপর অনেক বেশি নির্ভর করেছে এবং NVIDIA GPU-তে সেরা পারফর্ম করেছে। যাইহোক, PyTorch 2.0 এবং OpenAI এর Triton এর আগমনের সাথে সাথে এই ক্ষেত্রে NVIDIA-এর প্রভাবশালী অবস্থান, প্রধানত এর সফ্টওয়্যার পরিখার কারণে, ব্যাহত হচ্ছে। এই ফ্রেমওয়ার্কগুলি NVIDIA-এর প্রতিযোগিতার জন্য তাদের নিজস্ব স্ট্যাক তৈরি করা সহজ করে তোলে।

অবশ্যই, প্যাটেল যেমন একটি ভিন্ন নোটে এনভিআইডিআইএ-এর প্যাক থেকে এগিয়ে থাকার নিজস্ব পরিকল্পনার রূপরেখা যোগ করেছেন, এনভিআইডিআইএ তাদের হাতে বসে নেই। যদিও এনভিআইডিএ অত্যন্ত সফল, তারাও শিল্পের সবচেয়ে প্যারানয়েড সংস্থাগুলির মধ্যে একটি, সিইও জেনসেন হুয়াং অ্যান্ডি গ্রোভের চেতনাকে মূর্ত করেছেন৷ এটা কোন দুর্ঘটনা নয় যে NVIDIA হাইলাইট করেছে যে তার দল বর্তমানে হার্ডওয়্যার ইঞ্জিনিয়ারদের তুলনায় দ্বিগুণ সফ্টওয়্যার ইঞ্জিনিয়ার নিয়োগ করছে।

সাফল্য আত্মতৃপ্তির জন্ম দেয়। আত্মতুষ্টি ব্যর্থতার জন্ম দেয়। শুধু প্যারানয়েড বেঁচে থাকে।

অ্যান্ডি গ্রোভ

প্রতিযোগিতা, স্কেল, কর্মক্ষমতা, এবং TCO

প্যাটেল NVIDIA-এর কিছু কৌশল নিয়ে প্রশ্ন তুলেছেন, যেটা নিয়ে আমাদের কোনো মতামত নেই। আমরা যা বলতে পারি তা হল যদিও NVIDIA-এর নিরলসতা তাদের আত্মতুষ্ট হতে দেয় না, যে কোনও একক বিক্রেতার 80% এর বেশি মার্কেট শেয়ার খুব বেশি দিন ধরে রাখা খুব স্বাস্থ্যকর নয়। প্রতিযোগীতা দেখতে সবার জন্য সম্ভবত এটি একটি ভাল জিনিস হবে।

এই মুহুর্তে, হাইপারস্কেলার, AMD এবং Intel এর মতো দায়িত্বশীল প্রতিযোগিতা এবং সেইসাথে এক ঝাঁক আপ স্টার্ট সবাই 2024 এবং তার পরেও তাদের নিজস্ব কাস্টম এআই চিপগুলিতে কাজ করছে। এটি অনুমান করা হয়েছে যে H100s-এ NVIDIA-এর 1000% মার্জিন রয়েছে , যেগুলির সরবরাহও কম৷ এতে অবাক হওয়ার কিছু নেই যে প্রত্যেকে কর্মের একটি অংশ থাকতে চায় এবং/অথবা তাদের স্বায়ত্তশাসন বাড়াতে চায়। ভোক্তাদের জন্য, আরও প্রতিযোগিতার অর্থ হবে আরও পছন্দ এবং স্বায়ত্তশাসন, সেইসাথে আরও ভাল কর্মক্ষমতা এবং দাম ৷

যদিও আপাতত, NVIDIA এখনও অবিসংবাদিত নেতা - যদিও একটি বা দুটি পাদটীকা সহ। NVIDIA-এর MLPerf ফলাফলগুলিকে Intel-এর Gaudi-এর সঙ্গে সরাসরি তুলনা করতে বলা হলে, উদাহরণস্বরূপ, NVIDIA ডেভ সালভেটর-এর এক্সিলারেটেড কম্পিউটিং গ্রুপে পণ্য বিপণনের ডিরেক্টর দুটি জিনিস উল্লেখ করেছেন। প্রথমত, গাউডি জমাগুলি 10K স্কেলের কাছাকাছি কোথাও ছিল না। দ্বিতীয়ত, NVIDIA-এর ফলাফলগুলি স্বাভাবিক ভিত্তিতে তুলনায় প্রায় 2X ভাল ছিল। অন্যরা যেমন বিশ্লেষক কার্ল ফ্রয়েন্ড, তবে, Gaudi2 কে একটি বিশ্বাসযোগ্য বিকল্প বলে মনে করেন ।

পাদটীকা #1: MLPerf শিল্পে একটি ব্যাপকভাবে প্রশংসিত মানদণ্ড। সমস্ত মানদণ্ডের মতো, তবে, এটি নিখুঁত নয়। স্পার্কস যেমন উল্লেখ করেছে, MLPerf থেকে অনুপস্থিত একটি গুরুত্বপূর্ণ উপাদান হল মূল্য। যদিও এটা বোধগম্য যে যেকোন বেঞ্চমার্কে মূল্য সংযোজন করা বেশ কিছু কারণের জন্য কঠিন, এর মানে হল যে ফলাফলগুলিকে প্রসঙ্গে রাখা দরকার। উদাহরণস্বরূপ, প্যাট্রিক কেনেডির বিশ্লেষণ অনুসারে, Intel-এর Gaudi2-এর প্রতি ডলারে NVIDIA-এর H100-এর তুলনায় 4 গুণ ভাল পারফরম্যান্স রয়েছে ।

পাদটীকা #2: একা কর্মক্ষমতা খুব কমই একমাত্র মেট্রিক যা সম্ভাব্য ক্রেতাদের জন্য গুরুত্বপূর্ণ। প্রায়শই না, যা সবচেয়ে গুরুত্বপূর্ণ তা হল পারফরম্যান্স টু কস্ট অনুপাত: একটি নির্দিষ্ট সময়সীমার মধ্যে একটি নির্দিষ্ট অপারেশন করতে কত খরচ হয়। সেই মেট্রিকটিতে পৌঁছানোর জন্য, AI চিপগুলির জন্য মালিকানার মোট খরচ (TCO) ফ্যাক্টর করা উচিত৷ এটি একটি জটিল অনুশীলন যার জন্য গভীর দক্ষতার প্রয়োজন৷

AI চিপগুলির জন্য TCO-এর একটি বড় অংশ হল অনুমান, অর্থাৎ উৎপাদনে প্রশিক্ষিত AI মডেলগুলির ব্যবহার৷ একটি এআই মডেলের প্রশিক্ষণ সাধারণত একটি ব্যয়বহুল এবং জটিল প্রচেষ্টা। অনুমান তুলনা করা সহজ হতে পারে, কিন্তু এটি সাধারণত একটি মডেলের জীবনকাল এবং অপারেশনাল খরচের সিংহভাগ গঠন করে।

প্রশিক্ষণ এবং অনুমান কাজের চাপের বিভিন্ন বৈশিষ্ট্য রয়েছে। এর মানে হল যে একটি সিস্টেম যা প্রশিক্ষণে ভাল করে তা অনুমানে সমানভাবে ভাল করে না। ঘটনাক্রমে - যখন সালভেটরকে ইওএস পারফরম্যান্সের অনুমানের উপর মন্তব্য করতে বলা হয়েছিল, তখন তিনি অংশগ্রহণকারীদের ভবিষ্যতের ব্রিফিংয়ে উল্লেখ করেছিলেন। ইতিমধ্যে, লোকেরা অনুমানের উপর দৃষ্টি নিবদ্ধ করে নতুন সিস্টেম তৈরি করছে , অন্যরা বিদ্যমান সিস্টেমগুলির সর্বাধিক ব্যবহার করার চেষ্টা করছে ।

উপসংহার

NVIDIA সবেমাত্র প্রদর্শন করেছে যে তার নেতৃত্ব অবিলম্বে ভবিষ্যতে ক্ষয় হওয়ার লক্ষণ দেখায় না। যাইহোক, এটি বিশ্বের বাকি অংশের জন্য অগত্যা একটি ভাল জিনিস নয়। প্রতিযোগিতা আছে, এবং ধরার সুযোগও আছে, এই সময়ে মনে হতে পারে অনেক দূরের। 2024 সালে AI চিপগুলি নজর রাখার মতো কিছু হবে৷ যাই হোক না কেন, বেঞ্চমার্ক হাইলাইটগুলি কীভাবে AI বিকাশ এবং ব্যবহার করতে আগ্রহী সংস্থাগুলির জন্য প্রকৃত প্রভাব, ব্যবহারযোগ্যতা এবং TCO-তে অনুবাদ করে তা রৈখিক নয়।

অর্কেস্ট্রেট অল থিংস নিউজলেটারে যোগ দিন

প্রযুক্তি, ডেটা, এআই এবং মিডিয়া কীভাবে আমাদের জীবনকে গঠন করে একে অপরের মধ্যে প্রবাহিত হয় সে সম্পর্কে গল্প। বিশ্লেষণ, প্রবন্ধ, সাক্ষাৎকার এবং সংবাদ। মধ্য থেকে দীর্ঘ ফর্ম, প্রতি মাসে 1-3 বার।