paint-brush
কখন অবকাঠামো কোম্পানিগুলি জেনারেটিভ এআই থেকে লাভ দেখতে পাবে?দ্বারা@datastax
215 পড়া

কখন অবকাঠামো কোম্পানিগুলি জেনারেটিভ এআই থেকে লাভ দেখতে পাবে?

দ্বারা DataStax7m2024/05/29
Read on Terminal Reader

অতিদীর্ঘ; পড়তে

GenAI অ্যাপগুলি ব্যবহার করে, মাইক্রোসফ্ট, Google, এমনকি Oracle-এর মতো কোম্পানিগুলি AI থেকে ফলাফল রিপোর্ট করতে শুরু করেছে। হাইপারস্কেলারদের রাজ্যের বাইরে, অন্যান্য AI পরিকাঠামো সংস্থাগুলি সম্ভবত আগামী বছরের জানুয়ারি, ফেব্রুয়ারি এবং মার্চ মাসে প্রকাশিত উপার্জন প্রতিবেদনগুলিতে লিফটগুলি হাইলাইট করতে শুরু করবে।
featured image - কখন অবকাঠামো কোম্পানিগুলি জেনারেটিভ এআই থেকে লাভ দেখতে পাবে?
DataStax HackerNoon profile picture

এখনই জেনারেটিভ এআই-এর অবস্থা নিয়ে অনেক প্রশ্ন ঘুরপাক খাচ্ছে। কোম্পানীগুলো তাদের নিজস্ব GenAI প্রচেষ্টার সাথে কতদূর এগিয়েছে? সংস্থাগুলি কি আসলেই AI অ্যাপ্লিকেশন তৈরি করছে তাদের নিজস্ব মালিকানা ডেটা ব্যবহার করে এমন উপায়ে যা সুচকে সরাতে পারে? কি ধরনের স্থাপত্য প্রয়োজন?


এই প্রশ্নগুলি আশ্চর্যজনক নয় - সেখানে AI সম্পর্কে বিস্তর মতামত রয়েছে, অবাধ আশাবাদ থেকে শুরু করে বিবর্ণ নিন্দাবাদ পর্যন্ত, প্রচুর প্রচারের সাথে মিশ্রিত।


আমি দেখেছি যে এটি তিনটি ক্ষেত্র জুড়ে GenAI মার্কেটপ্লেসে বিষয়গুলির অবস্থা স্পষ্ট করতে সাহায্য করে: বাজার কী দেখতে চায়, কী ঘটতে পারে সে সম্পর্কে ভয় এবং 2024 সালে কী ঘটবে (এবং কীভাবে)।


GenAI মার্কেটপ্লেসকে প্রভাবিত করে তিনটি বিষয়

সবাই কী চায় - এবং তারা কী ভয় পায়?

GenAI 2022 সালের শেষের দিকে দৃশ্যে বিস্ফোরিত হয় যখন OpenAI ChatGPT প্রকাশ করে এবং দেখিয়েছিল যে এই ধরনের প্রযুক্তি কতটা শক্তিশালী এবং অ্যাক্সেসযোগ্য হতে পারে। AI এর সম্ভাব্য উত্থান সম্পর্কে উত্তেজনা সর্বত্র ছিল। সংক্ষিপ্ত ক্রমে, GenAI প্রতিটি এন্টারপ্রাইজে প্রতিটি অ্যাপ্লিকেশনে সংযোজিত হতে চলেছে। বিনিয়োগকারীরা GenAI সমর্থন করার জন্য অবকাঠামো প্রদানকারী কোম্পানিগুলির জন্য একটি হকি-স্টিকের মতো বৃদ্ধির বক্ররেখার কল্পনা করেছিলেন।


অন্যদিকে, নেসায়াররা একটি ডাইস্টোপিয়ান AI ভবিষ্যত কল্পনা করেছিলেন যা "ওয়েস্টওয়ার্ল্ড" এবং "ব্ল্যাক মিরর" এর মধ্যে একটি ক্রস। অন্যরা একটি AI বুদবুদ সম্পর্কে সতর্ক করে । বিনিয়োগের দৃষ্টিকোণ থেকে, কেউ কেউ বলে যে এটি আবার ক্রিপ্টোর মতো - প্রচুর উত্তেজনা এবং হাইপ, এবং তারপরে একটি ধূমপানকারী গর্ত।


আমি মনে করি এই দুটি ভয়ই ভিত্তিহীন। অবশ্যই, প্রতিটি নতুন প্রযুক্তির তরঙ্গের সাথে, ভুল কারণে GenAI ব্যবহার করে খারাপ অভিনেতা থাকবেন। এবং GenAI এর সম্ভাবনা নিয়ে উত্তেজনা সর্বত্র; এটিতে একটি "বুদবুদ" অনুভূতি আছে, এবং এটি ক্রিপ্টো বাজের চেয়েও আরও কঠোর হতে পারে।


কিন্তু GenAI এবং ক্রিপ্টোর মধ্যে বড় পার্থক্য হল যে প্রাক্তন সংস্থাগুলি এবং শিল্প জুড়ে অনেকগুলি, অনেকগুলি বাস্তব ব্যবহারের ক্ষেত্রে রয়েছে৷ ক্রিপ্টোতে, একটি শক্তিশালী ব্যবহারের ক্ষেত্রে ছিল: অবিশ্বস্ত পক্ষগুলির মধ্যে আর্থিক লেনদেন (ওরফে মানি লন্ডারিং)। এটি এমন কিছু যা মূলধারার তেমন আগ্রহী নয়।


এই মুহূর্তে, GenAI অ্যাপ্লিকেশনগুলির পরিস্থিতি আমাকে 1990 এর দশকের শেষের দিকের ই-কমার্সের কথা মনে করিয়ে দেয় , যখন কোম্পানিগুলি ইন্টারনেটে ক্রেডিট কার্ড ব্যবহার করা কীভাবে নিরাপদ করা যায় তা বের করার চেষ্টা করছিল। সংস্থাগুলি কীভাবে নিরাপদে এটি করতে হয় তা বের করতে কিছুটা সময় নেয়, কিন্তু একবার তারা করে, হঠাৎ প্রত্যেকেরই একটি ই-কমার্স সাইট ছিল।


GenAI-তে আমি এই মুহূর্তে যে সমান্তরালটি দেখতে পাচ্ছি: কীভাবে নিশ্চিত করা যায় যে ভাষার মডেলগুলি হ্যালুসিনেশন করে ভুল প্রতিক্রিয়া ফিরিয়ে না দেয়। ভাল খবর? এটি খুঁজে বের করা হয়েছে ( পুনরুদ্ধার-বর্ধিত প্রজন্মকে ধন্যবাদ, বা RAG; নীচে এটি সম্পর্কে আরও)।

আমরা এখন কোথায়, এবং আমরা কোথায় যাচ্ছি?

গত বছর আমরা যা দেখেছি তার অনেকগুলিই ছিল প্রুফ-অফ-কনসেপ্ট GenAI প্রকল্প: অ্যাপগুলি যা সম্ভব তা কোম্পানির নেতৃত্বের কাছে প্রদর্শন করে৷ কিন্তু খুব কম কোম্পানিই পূর্ণ উৎপাদনে থাকা অ্যাপ্লিকেশন তৈরি করতে এর বাইরে চলে গেছে। "উৎপাদন" দ্বারা আমি বলতে চাচ্ছি যে একটি সংস্থার একটি AI অ্যাপ্লিকেশন রয়েছে যা গ্রাহক বা কর্মচারীরা নন-প্রোটোটাইপ উপায়ে ব্যবহার করছেন।


অন্য কথায়, এটি ব্যবসায়িক ক্রিয়াকলাপের কিছু অংশের মধ্যে কার্যকলাপের একটি রুটিন অংশ হিসাবে উপলব্ধ। এটি ফ্রন্ট অফিস হতে পারে, গ্রাহক পরিষেবাতে কল করার পিছনে এটি হতে পারে, তবে এটি ব্যবসার মূলধারার অংশের কাছাকাছি কোথাও।


ওয়ালমার্ট এর একটি ভাল প্রাথমিক উদাহরণ। খুচরা বিক্রেতা জানুয়ারিতে ঘোষণা করেছে যে এটি তার শপিং অ্যাপে GenAI-চালিত অনুসন্ধান যুক্ত করেছে। অ্যাপল তার কর্মীদের দ্রুত প্রযুক্তিগত সহায়তা প্রদানে সহায়তা করার জন্য একটি GenAI টুল পরীক্ষা করছে বলে জানা গেছে । যতক্ষণ না আমরা এই ধরনের আরও উদাহরণ দেখা শুরু করি, GenAI এর প্রাথমিক পর্যায়ে একটু বেশি দেরি করতে চলেছে যাকে গার্টনার " হাইপ চক্র " বলে।


ভক্সওয়াগেন তার অটোমোবাইলের জন্য নেভিগেশন এবং ইনফোটেইনমেন্ট অ্যাপ্লিকেশনের জন্য GenAI অ্যাপস তৈরি করার জন্য একটি ইন-হাউস ল্যাব ঘোষণা করেছে।



হাইপ চক্র


এটি বলেছিল, আমরা "উৎপাদনশীলতার মালভূমি" পৌঁছানোর থেকে ততটা দূরে নই যতটা কেউ মনে করতে পারে। যেমনটি আমি আগে উল্লেখ করেছি, মডেলের আউটপুট বিশ্বাস করা সেই সংস্থাগুলির জন্য একটি বাধা হয়ে দাঁড়িয়েছে যারা এখনও হ্যালুসিনেশন হ্রাস করে প্রাসঙ্গিক এবং নির্ভুল বৃহৎ ভাষা মডেল (LLM) প্রতিক্রিয়াগুলি তৈরি করতে পারে।


RAG, যা অন্যান্য উত্স থেকে রিয়েল-টাইমে অতিরিক্ত ডেটা বা প্রসঙ্গ সহ মডেলগুলি সরবরাহ করে — প্রায়শই, একটি ডাটাবেস যা ভেক্টর সংরক্ষণ করতে পারে — এই সমস্যা সমাধানে সহায়তা করার জন্য এখন নিযুক্ত করা হচ্ছে। এই প্রযুক্তির অগ্রগতি হল ডোমেন-নির্দিষ্ট, বেসপোক GenAI অ্যাপ্লিকেশনের বিকাশের চাবিকাঠি যা সংস্থাগুলির সবচেয়ে মূল্যবান সম্পদ: তাদের নিজস্ব ডেটার উপর নির্মিত।


যদিও RAG GenAI অ্যাপ্লিকেশনগুলিতে এন্টারপ্রাইজ প্রসঙ্গ পাওয়ার জন্য ডি ফ্যাক্টো পদ্ধতি হিসাবে আবির্ভূত হয়েছে, ফাইন-টিউনিং - যখন একটি প্রাক-প্রশিক্ষিত মডেলকে ডেটার একটি উপসেটে আরও প্রশিক্ষিত করা হয় - প্রায়শই উল্লেখ করা হয়। এমন কিছু সময় আছে যখন এই পদ্ধতিটি উপযোগী হতে পারে , কিন্তু গোপনীয়তা, নিরাপত্তা বা গতির বিষয়ে কোনো উদ্বেগ থাকলে RAG হল সঠিক পছন্দ।


অ্যাপ্লিকেশনটিতে যেভাবে প্রসঙ্গ যোগ করা হোক না কেন, বিনিয়োগকারীদের কাছ থেকে আমি প্রায়শই যে বড় প্রশ্নটি পেয়েছি তা হল কোম্পানিগুলি কখন GenAI অ্যাপ থেকে অর্থ উপার্জন করা শুরু করবে?


আমার প্রতিক্রিয়া: আপনি যে এন্টারপ্রাইজগুলি ট্র্যাক করেন তার বেশিরভাগই ব্যবহার-ভিত্তিক ব্যবসা৷ অনেকেই এখন পরীক্ষা-নিরীক্ষা, ধারণার প্রমাণ (POCs) এবং তাদের গ্রাহকদের তৈরি বিশেষ অ্যাপগুলিকে সমর্থন করছে; সেগুলি ভোগের পথে অনেক কিছু করে না।


কিন্তু এটি পরিবর্তিত হতে শুরু করেছে কারণ প্রধান AI অ্যাপ্লিকেশনগুলি POC থেকে সত্যিকারের উৎপাদনে যেতে শুরু করেছে। আমি ভবিষ্যদ্বাণী করছি যে এটি 2024 সালের শেষ নাগাদ একটি উল্লেখযোগ্য উপায়ে ঘটবে। এটি 2024 সালের দ্বিতীয়ার্ধে দুটি জায়গায় শুরু হবে।


প্রথমত, এটি খুচরা ব্যবসায় দখল করছে (আগে উল্লিখিত ওয়ালমার্টের উদাহরণ দেখুন)। আমি যাকে "এআই ইন্ট্রানেট" এলাকা বলি, সেখানে আপনি ব্যাপক গ্রহণ দেখতে পাবেন: PDF, জ্ঞানের ভিত্তি এবং অভ্যন্তরীণ কল সেন্টারগুলির সাথে চ্যাট করুন৷


এই ধরনের অ্যাপগুলি যে খরচ করে, মাইক্রোসফ্ট , গুগল , এমনকি ওরাকলের মতো কোম্পানিগুলিও AI থেকে ফলাফল রিপোর্ট করতে শুরু করেছে৷ হাইপারস্কেলারদের রাজ্যের বাইরে, অন্যান্য AI পরিকাঠামো কোম্পানিগুলি সম্ভবত আগামী বছরের জানুয়ারি, ফেব্রুয়ারি এবং মার্চ মাসে প্রকাশিত আয়ের প্রতিবেদনগুলিতে লিফটগুলি হাইলাইট করতে শুরু করবে।

GenAI অ্যাপ্লিকেশনের জন্য উৎপাদনের পথ

ব্যবহার-ভিত্তিক এআই পরিকাঠামো সংস্থাগুলির জন্য ইতিমধ্যে ভিত্তি স্থাপন করা হয়েছে। আমরা ইতিমধ্যে শক্তিশালী, বাণিজ্যিক প্রমাণ পয়েন্ট দেখেছি যা দেখায় যে ডোমেন-নির্দিষ্ট, বেসপোক অ্যাপ্লিকেশনগুলির একটি বড় বেসের জন্য কী সম্ভব। সৃজনশীল AI অ্যাপস থেকে — মিডজার্নি, অ্যাডোব ফায়ারফ্লাই, এবং অন্যান্য ইমেজ জেনারেটর, উদাহরণস্বরূপ — গিটহাব কপিলট ( 1 মিলিয়নের বেশি ডেভেলপার এটি ব্যবহার করে ), গ্লেন এবং অন্যান্যদের মতো জ্ঞান অ্যাপের জন্য, এই অ্যাপ্লিকেশনগুলি দারুণ গ্রহণযোগ্যতা উপভোগ করেছে এবং উল্লেখযোগ্য উত্পাদনশীলতা চালিত করেছে লাভ


বেসপোক অ্যাপগুলির অগ্রগতি শিল্পে সবচেয়ে উন্নত এবং এমন ক্ষেত্রে ব্যবহার করা হয় যেগুলিকে ইন্টারঅ্যাকশনের পর্যায়ে জ্ঞান সরবরাহের সুবিধার প্রয়োজন। অফ-দ্য-শেল্ফ মডেলগুলি (হয় ওপেন সোর্স বা মালিকানাধীন), RAG এবং তাদের পছন্দের ক্লাউড সরবরাহকারী ব্যবহার করে জ্ঞানটি তাদের নিজস্ব ডেটা থেকে আসবে।


উৎপাদন স্কেলে কাজ করার কঠোরতার জন্য প্রস্তুত এমন বেসপোক GenAI অ্যাপ তৈরি করতে উদ্যোগগুলির জন্য তিনটি উপাদানের প্রয়োজন: স্মার্ট প্রসঙ্গ, প্রাসঙ্গিকতা এবং মাপযোগ্যতা।

স্মার্ট প্রসঙ্গ

আসুন GenAI অ্যাপ্লিকেশনগুলিতে দরকারী, প্রাসঙ্গিক এবং সঠিক প্রতিক্রিয়া তৈরি করতে কীভাবে মালিকানাধীন ডেটা ব্যবহার করা হয় তা দ্রুত দেখে নেওয়া যাক।

অ্যাপ্লিকেশনগুলি সমস্ত ধরণের ডেটার আকারে ব্যবহারকারীর ইনপুট নেয় এবং এটিকে একটি এমবেডিং ইঞ্জিনে ফিড করে, যা মূলত ডেটা থেকে অর্থ আহরণ করে, RAG ব্যবহার করে একটি ভেক্টর ডেটাবেস থেকে তথ্য পুনরুদ্ধার করে এবং LLM ব্যবহার করতে পারে এমন "স্মার্ট প্রসঙ্গ" তৈরি করে। একটি প্রাসঙ্গিক, হ্যালুসিনেশন-মুক্ত প্রতিক্রিয়া তৈরি করতে যা ব্যবহারকারীর কাছে রিয়েল-টাইমে উপস্থাপিত হয়।

প্রাসঙ্গিকতা

এটি এমন একটি বিষয় নয় যা আপনি অপারেশনাল ডাটাবেস কোম্পানিগুলিতে খুব বেশি শুনতে পান। কিন্তু AI এবং ভেক্টর ডাটাবেসের ক্ষেত্রে, প্রাসঙ্গিকতা হল প্রত্যাহার এবং নির্ভুলতার মিশ্রণ যা দরকারী, নির্ভুল, অ-হ্যালুসিনেটরি প্রতিক্রিয়া তৈরির জন্য গুরুত্বপূর্ণ।


প্রথাগত ডাটাবেস অপারেশনের বিপরীতে, ভেক্টর ডাটাবেস শব্দার্থিক বা সাদৃশ্য অনুসন্ধান সক্ষম করে, যা প্রকৃতিতে অ-নির্ধারক। এই কারণে, একই প্রশ্নের জন্য প্রত্যাবর্তিত ফলাফলগুলি প্রসঙ্গ এবং কীভাবে অনুসন্ধান প্রক্রিয়া চালানো হয় তার উপর নির্ভর করে ভিন্ন হতে পারে। এখানেই নির্ভুলতা এবং প্রাসঙ্গিকতা মূল ভূমিকা পালন করে কিভাবে ভেক্টর ডাটাবেস বাস্তব-বিশ্বের অ্যাপ্লিকেশনগুলিতে কাজ করে। প্রাকৃতিক মিথস্ক্রিয়া প্রয়োজন যে একটি মিল অনুসন্ধানে ফিরে ফলাফল সঠিক এবং অনুরোধ করা ক্যোয়ারী প্রাসঙ্গিক হয়.

পরিমাপযোগ্যতা

GenAI অ্যাপগুলি যেগুলি POCs ছাড়িয়ে যায় এবং উৎপাদনে যায় তাদের উচ্চ থ্রুপুট প্রয়োজন। থ্রুপুট মূলত ডেটার পরিমাণ যা একটি নির্দিষ্ট সময়ের মধ্যে সংরক্ষণ, অ্যাক্সেস বা পুনরুদ্ধার করা যায়। উচ্চ থ্রুপুট স্কেলে রিয়েল-টাইম, ইন্টারেক্টিভ, ডেটা-ইনটেনসিভ বৈশিষ্ট্য সরবরাহ করার জন্য গুরুত্বপূর্ণ; লেখালেখিতে প্রায়শই একাধিক উত্স থেকে কোটি কোটি ভেক্টর জড়িত থাকে এবং GenAI অ্যাপ্লিকেশন প্রতি সেকেন্ডে প্রচুর পরিমাণে অনুরোধ তৈরি করতে পারে।

মোড়ক উম্মচন

প্রযুক্তি উদ্ভাবনের আগের তরঙ্গগুলির মতো, GenAI একটি প্রতিষ্ঠিত প্যাটার্ন অনুসরণ করছে, এবং সমস্ত লক্ষণ ইঙ্গিত করে যে এটি পূর্ববর্তী প্রযুক্তি বিপ্লবের তুলনায় আরও দ্রুত গতিতে চলছে। আপনি যদি এটি সম্পর্কে সমস্ত নেতিবাচক এবং ইতিবাচক প্রচারের মধ্য দিয়ে যান তবে এটি স্পষ্ট যে কোম্পানিগুলি তাদের POC GenAI অ্যাপগুলিকে উত্পাদনে নিয়ে যাওয়ার জন্য কাজ করে প্রতিশ্রুতিবদ্ধ অগ্রগতি করছে।


এবং আমার নিয়োগকর্তা ডেটাস্ট্যাক্সের মতো কোম্পানিগুলি যেগুলি এই অ্যাপগুলির জন্য স্কেলযোগ্য, সহজে-বিল্ড-অন ফাউন্ডেশন সরবরাহ করে তারা তাদের গ্রাহকদের ব্যবহারের সুবিধাগুলিকে কেউ কেউ ভাবতে পারে তার চেয়ে তাড়াতাড়ি দেখতে শুরু করবে৷


এড আনুফ, ডেটাস্ট্যাক্স দ্বারা


কিভাবে DataStax গ্রাহকদের তাদের GenAI অ্যাপ উৎপাদনে আনতে সক্ষম করে সে সম্পর্কে আরও জানুন।