पेश है BLIP-2: एक शक्तिशाली AI मॉडल जो आपके द्वारा बनाई गई किसी भी तस्वीर को ऑटो-कैप्शन दे सकता है

छवियों का मैन्युअल रूप से विश्लेषण करके थक गए हैं? अपने पसंदीदा चित्रों को प्रयोग करने योग्य संकेतों में बदलने के लिए संघर्ष कर रहे हैं? एक ऐसा टूल चाहते हैं जो आपके द्वारा बनाई गई किसी भी तस्वीर को ऑटो-कैप्शन कर सके? एक चित्र से एक प्रश्न पूछना चाहते हैं? BLIP-2 मॉडल यहाँ मदद के लिए है! यह शक्तिशाली एआई मॉडल छवियों के बारे में सवालों के जवाब दे सकता है और कैप्शन उत्पन्न कर सकता है, जिससे आपका जीवन आसान हो जाता है। इस गाइड में, मैं आपको समझाऊंगा कि छवियों का विश्लेषण और कैप्शन करने के लिए BLIP-2 मॉडल का उपयोग कैसे करें। मैं आपको यह भी दिखाऊंगा कि आप छवियों से पूछताछ करने के लिए मॉडल का उपयोग कैसे कर सकते हैं! BLIP-2 वर्तमान में रेप्लिकेट पर है, जो लगभग 560,000 रनों के साथ 24वें नंबर पर है। इसकी औसत लागत $0.0046 प्रति रन है, जो इसे अधिकांश अनुप्रयोगों के लिए काफी सस्ती बनाती है। इसका निर्माता कोई और नहीं बल्कि सेल्सफोर्स है, जो पर सबसे लोकप्रिय रचनाकारों में से एक है, जिसमें तीन मॉडल हैं जो एक संयुक्त 9.5M रन बनाते हैं! सबसे लोकप्रिय मॉडलों में से एक कुल मिलाकर नंबर 5 मैं आपको दिखाऊंगा कि कैसे Node.js और प्रतिकृति का उपयोग करके BLIP-2 चलाना है। रेप्लिकेट एक ऐसा प्लेटफॉर्म है जो आपको एक साधारण एपीआई के माध्यम से एआई मॉडल के साथ आसानी से बातचीत करने देता है। हम यह भी देखेंगे कि समान मॉडलों को खोजने के लिए और यह तय करने के लिए कि आपकी परियोजना के लिए कौन सा सबसे उपयुक्त है, , एक मुफ्त सामुदायिक उपकरण का उपयोग कैसे करें। चलो शुरू करें! प्रतिकृति कोडेक्स मेरे पास CLIP Interrogator model पर एक लेख भी है, जो इसी तरह के उद्देश्य को पूरा करता है। आप वह लेख पा सकते हैं। यहां BLIP-2 मॉडल के बारे में BLIP-2 एक उन्नत AI मॉडल है जो छवियों के बारे में सवालों के जवाब दे सकता है और कैप्शन उत्पन्न कर सकता है। यह मॉडल दृष्टि-भाषा से संबंधित पूर्व- और बड़े भाषा मॉडल (एलएलएम) के संयोजन के लिए एक सामान्य और कुशल पूर्व-प्रशिक्षण रणनीति का उपयोग करता है। प्रशिक्षित दृष्टि मॉडल यह जीरो-शॉट (65.0 बनाम 56.3) पर फ्लेमिंगो से बेहतर प्रदर्शन करता है, जीरो-शॉट कैप्शनिंग पर एक नया अत्याधुनिक स्थापित करता है (नोकैप्स पर 121.6 सीआईडीईआर स्कोर बनाम पिछला सर्वश्रेष्ठ 113.2)। OPT और FlanT5 जैसे शक्तिशाली एलएलएम से लैस, BLIP-2 अनुप्रयोगों की एक विस्तृत श्रृंखला के लिए नवीन जीरो-शॉट निर्देशित विज़न-टू-लैंग्वेज जनरेशन क्षमताओं को अनलॉक करता है। वीक्यूएवी2 यह सब बहुत ही तकनीकी शब्दजाल है, इसलिए सादे अंग्रेजी में: फ्लेमिंगो नामक एक अन्य मॉडल की तुलना में BLIP-2 बिना किसी पूर्व प्रशिक्षण (शून्य-शॉट) के दृश्य प्रश्नों (VQAv2 नामक एक कार्य) के उत्तर देने में बेहतर है। BLIP-2 को 65.0 का स्कोर मिला है, जबकि फ्लेमिंगो को 56.3 का स्कोर मिला है। BLIP-2 बिना पूर्व प्रशिक्षण (शून्य-शॉट कैप्शनिंग) के चित्रों के लिए विवरण उत्पन्न करने में एक नया रिकॉर्ड भी स्थापित करता है। यह NoCaps नामक डेटासेट पर करता है, जहाँ इसे CIDer नामक मीट्रिक का उपयोग करके 121.6 का स्कोर प्राप्त होता है। पिछला सर्वश्रेष्ठ स्कोर 113.2 था। विजुअल इनपुट (जैसे चित्र) से भाषा उत्पन्न करने के नए और रोमांचक तरीके बनाने के लिए BLIP-2 को OPT और FlanT5 जैसे शक्तिशाली भाषा मॉडल के साथ जोड़ा जा सकता है। इसका उपयोग विभिन्न अनुप्रयोगों के लिए किया जा सकता है। आप पर अधिक जान सकते हैं। आप BLIP-2 की तुलना पूर्ववर्ती से भी कर सकते हैं। आधिकारिक रेपो BLIP मॉडल BLIP-2 मॉडल के इनपुट और आउटपुट को समझना इससे पहले कि हम मॉडल के साथ खेलना शुरू करें, आइए अपेक्षित इनपुट और आउटपुट का अध्ययन करने के लिए कुछ समय निकालें। हम देखेंगे कि आप इन मूल्यों में कैसे हेरफेर कर सकते हैं और उन परिवर्तनों का क्या प्रभाव होगा। इनपुट (फ़ाइल): क्वेरी या कैप्शन के लिए इनपुट छवि। image (बूलियन): यदि आप प्रश्न पूछने के बजाय छवि कैप्शन उत्पन्न करना चाहते हैं तो चयन करें। caption (स्ट्रिंग): इस छवि के बारे में पूछने के लिए प्रश्न (डिफ़ॉल्ट: "यह किसकी तस्वीर है?") question (स्ट्रिंग, वैकल्पिक): वर्तमान प्रश्न का उत्तर देने के लिए संदर्भ के रूप में उपयोग किए जाने वाले पिछले प्रश्न और उत्तर। context (बूलियन): प्रतिक्रिया उत्पन्न करने के लिए नाभिक नमूनाकरण का उपयोग करके मॉडल को टॉगल करता है। use_nucleus_sampling (संख्या): नाभिक नमूनाकरण के साथ उपयोग के लिए तापमान (डिफ़ॉल्ट: 1) temperature आउटपुट मॉडल एक स्ट्रिंग को आउटपुट करता है जो उत्तर या कैप्शन का प्रतिनिधित्व करता है। आउटपुट एक बहुत ही सरल JSON ऑब्जेक्ट है, जैसा कि नीचे दिखाया गया है: { "type": "string", "title": "Output" } छवि विश्लेषण और कैप्शनिंग के लिए BLIP-2 मॉडल का उपयोग करने के लिए चरण-दर-चरण मार्गदर्शिका यदि आप हैंड्स-ऑन दृष्टिकोण पसंद करते हैं, तो आप सीधे BLIP-2 मॉडल के "डेमो" के साथ उनके UI के माध्यम से प्रतिकृति पर बातचीत कर सकते हैं। आप इंटरफ़ेस तक पहुँचने और इसे आज़माने के लिए उपयोग कर सकते हैं! यह मॉडल के मापदंडों के साथ खेलने और त्वरित प्रतिक्रिया प्राप्त करने का एक शानदार तरीका है। इस लिंक का यदि आप अधिक तकनीकी हैं और BLIP-2 मॉडल के शीर्ष पर एक उपकरण बनाना चाहते हैं, तो इन सरल चरणों का पालन करें: 💡ध्यान दें: पहले एक प्रतिकृति खाता बनाएं और अपनी एपीआई कुंजी प्राप्त करें - आपको प्रतिकृति एपीआई के साथ इंटरैक्ट करने के लिए इसकी आवश्यकता होगी। चरण 1: प्रतिकृति Node.js क्लाइंट स्थापित करें इस उदाहरण के लिए, हम Node.js के साथ काम करेंगे। तो शुरू करने के लिए, हमें Node.js रेप्लिकेट क्लाइंट को स्थापित करने के लिए npm का उपयोग करने की आवश्यकता है। आप इसे नीचे दिए गए कोड से आसानी से कर सकते हैं। npm install replicate चरण 2: अपने एपीआई टोकन से प्रमाणित करें आप खाता क्षेत्र में, प्रतिकृति की साइट पर अपना टोकन पा सकते हैं। export REPLICATE_API_TOKEN=[token] चरण 3: मॉडल चलाएँ मॉडल को Node.js के साथ चलाने के लिए, बस नीचे दिए गए कोड का उपयोग करें। उपरोक्त "इनपुट्स" अनुभाग में सभी फ़ील्ड्स और मानों के साथ अपने इनपुट को प्रारूपित करना सुनिश्चित करें। import Replicate from "replicate"; const replicate = new Replicate({ auth: process.env.REPLICATE_API_TOKEN, }); const output = await replicate.run( "andreasjansson/blip-2:4b32258c42e9efd4288bb9910bc532a69727f9acd26aa08e175713a0a857a608", { input: { image: "..." } } ); उदाहरण के लिए, यदि आप इनपुट के रूप में नीचे दी गई छवि प्रदान करते हैं, जिसे "यह किसकी तस्वीर है?" और तापमान "1" पर सेट होता है, मॉडल आउटपुट प्रदान करेगा: question "मरीना बे सैंड्स, सिंगापुर।" कभी-कभी, पीढ़ियों को लंबा समय लगेगा। यदि आप किसी ऐसी कार्यनीति में रुचि रखते हैं जो यह देखने में आपकी सहायता करे कि रन कब पूरा होता है, तो आप एक वेबहुक URL भी सेट कर सकते हैं। इसे सेट अप करने के विवरण के लिए आप देख सकते हैं। यहां एक वेबहुक के कार्यान्वयन का एक उदाहरण दिया गया है जो इस मामले में काम करेगा। वेबहुक दस्तावेज़ const prediction = await replicate.predictions.create({ version: "4b32258c42e9efd4288bb9910bc532a69727f9acd26aa08e175713a0a857a608", input: { image: "..." }, webhook: "https://example.com/your-webhook", webhook_events_filter: ["completed"] }); आप अधिक जानकारी के लिए प्रतिकृति समीक्षा भी कर सकते हैं। Node.js लाइब्रेरी प्रलेखन की इसे और आगे ले जाना - प्रतिकृति कोडेक्स के साथ अन्य छवि विश्लेषण मॉडल ढूँढना एआई मॉडल की खोज के लिए एक शानदार संसाधन है जो विभिन्न रचनात्मक जरूरतों को पूरा करता है, जिसमें छवि निर्माण, छवि-से-छवि रूपांतरण और बहुत कुछ शामिल है। यह प्रतिकृति पर सभी मॉडलों का पूरी तरह से खोजा जाने योग्य, फ़िल्टर करने योग्य, टैग किया गया डेटाबेस है, और आपको मॉडल की तुलना करने और कीमत के आधार पर छाँटने या निर्माता द्वारा तलाशने की भी अनुमति देता है। यह मुफ़्त है, और इसमें एक डाइजेस्ट ईमेल भी है जो नए मॉडल आने पर आपको सचेत करेगा ताकि आप उन्हें आज़मा सकें। प्रतिकृति कोडेक्स यदि आप BLIP-2 के समान मॉडल खोजने में रुचि रखते हैं, तो इन चरणों का पालन करें: चरण 1: प्रतिकृति कोडेक्स पर जाएँ समान मॉडलों के लिए अपनी खोज शुरू करने के लिए पर जाएं। रेप्लिकेट कोडेक्स चरण 2: खोज बार का उपयोग करें "इमेज एनालिसिस," "इमेज कैप्शनिंग," या "क्वेश्चन आंसरिंग" जैसे विशिष्ट कीवर्ड वाले मॉडल खोजने के लिए पेज के शीर्ष पर सर्च बार का उपयोग करें। यह आपको आपकी खोज क्वेरी से संबंधित मॉडलों की एक सूची दिखाएगा। चरण 3: परिणाम फ़िल्टर करें खोज परिणाम पृष्ठ के बाईं ओर, आपको कई फ़िल्टर मिलेंगे जो मॉडलों की सूची को कम करने में आपकी सहायता कर सकते हैं। आप मॉडल को प्रकार (इमेज-टू-इमेज, टेक्स्ट-टू-इमेज, आदि), लागत, लोकप्रियता, या यहां तक कि विशिष्ट रचनाकारों द्वारा फ़िल्टर और सॉर्ट कर सकते हैं। इन फ़िल्टर और प्रकारों को लागू करके, आप ऐसे मॉडल ढूंढ सकते हैं जो आपकी विशिष्ट आवश्यकताओं और प्राथमिकताओं के अनुकूल हों। उदाहरण के लिए, यदि आप एक छवि विश्लेषण मॉडल की तलाश कर रहे हैं जो अगला सबसे लोकप्रिय है, तो आप केवल खोज कर सकते हैं और फिर लोकप्रियता के आधार पर छाँट सकते हैं, जैसा कि ऊपर दिए गए उदाहरण में दिखाया गया है। मैंने इस मामले में "कैप्शन" द्वारा खोजना चुना। चरण 4: मॉडल का अन्वेषण और तुलना करें एक बार जब आपके पास अपने खोज मानदंड और फ़िल्टर से मेल खाने वाले मॉडलों की सूची आ जाती है, तो आप उनके बारे में अधिक विवरण देखने के लिए प्रत्येक मॉडल पर क्लिक कर सकते हैं। इसमें मॉडल, उसके इनपुट और आउटपुट, उदाहरण कोड और बहुत कुछ का विवरण शामिल है। आप मॉडल के प्रदर्शन, मूल्य निर्धारण और सुविधाओं की तुलना भी कर सकते हैं ताकि वह आपकी आवश्यकताओं के अनुरूप हो। कुछ मॉडलों में उच्च रिज़ॉल्यूशन आउटपुट हो सकता है, जबकि अन्य विवरणों को संरक्षित करने या रंग सटीकता में सुधार करने पर अधिक ध्यान केंद्रित कर सकते हैं। , आप वह चुन सकते हैं जो आपकी आवश्यकताओं और अपेक्षाओं के अनुरूप हो। विभिन्न मॉडलों की तुलना करके निष्कर्ष शुरुआती लोगों के लिए इस गाइड में, हमने BLIP-2 मॉडल, इसकी क्षमताओं से परिचित कराया और देखा कि छवि विश्लेषण और कैप्शनिंग के लिए इसका उपयोग कैसे किया जाए। हमने इसी तरह के मॉडल खोजने और उनके आउटपुट की तुलना करने के लिए प्रतिकृति कोडेक्स में खोज और फ़िल्टर सुविधाओं का उपयोग करने के तरीके पर भी चर्चा की, जिससे हमें एआई-संचालित छवि विश्लेषण और कैप्शनिंग की दुनिया में अपने क्षितिज को व्यापक बनाने की अनुमति मिली। मुझे उम्मीद है कि इस गाइड ने आपको एआई की रचनात्मक संभावनाओं का पता लगाने और अपनी कल्पना को जीवंत करने के लिए प्रेरित किया है। अधिक ट्यूटोरियल, नए और बेहतर एआई मॉडल पर अपडेट, और अपने अगले रचनात्मक प्रोजेक्ट के लिए प्रेरणा के धन के लिए सब्सक्राइब करना न भूलें। हैप्पी कैप्शनिंग, और पढ़ने के लिए धन्यवाद। मुझे आशा है कि आप BLIP-2 और प्रतिकृति कोडेक्स के साथ AI की दुनिया की खोज का आनंद लेंगे! इस तरह की और सामग्री के लिए पर मुझे सब्सक्राइब या फॉलो करें! ट्विटर भी प्रकाशित हुआ। यहाँ