मेटा का नया मॉडल ऑप्ट एक ओपन-सोर्स GPT-3 है

हम सभी ने GPT-3 के बारे में सुना है और इसकी क्षमताओं के बारे में कुछ हद तक स्पष्ट है। आपने निश्चित रूप से इस मॉडल के कारण पैदा हुए कुछ अनुप्रयोगों को देखा होगा, जिनमें से कुछ को मैंने मॉडल के बारे में में कवर किया था। GPT-3 OpenAI द्वारा विकसित एक मॉडल है जिसे आप सशुल्क API के माध्यम से एक्सेस कर सकते हैं लेकिन मॉडल तक आपकी कोई पहुंच नहीं है।

जो चीज GPT-3 को इतना मजबूत बनाती है, वह है इसकी वास्तुकला और आकार दोनों। इसमें 175 अरब पैरामीटर हैं। यह हमारे दिमाग में न्यूरॉन्स की संख्या से दोगुना है!

इस विशाल नेटवर्क को पूरे इंटरनेट पर यह समझने के लिए प्रशिक्षित किया गया था कि हम टेक्स्ट कैसे लिखते हैं, एक्सचेंज करते हैं और समझते हैं। इस हफ्ते, मेटा ने समुदाय के लिए एक बड़ा कदम आगे बढ़ाया है। उन्होंने अभी एक मॉडल जारी किया है जो उतना ही शक्तिशाली है, यदि अधिक नहीं है, और इसे पूरी तरह से ओपन-सोर्स किया है। वह कितना शांत है? वीडियो में और जानें...

वीडियो देखना

संदर्भ

►पूरा लेख पढ़ें: https://www.louisbouchard.ai/opt-meta/
झांग, सुसान एट अल। "ऑप्ट: पूर्व-प्रशिक्षित ट्रांसफार्मर भाषा मॉडल खोलें।" https://arxiv.org/abs/2205.01068
My GPT-3 का वीडियो बड़े भाषा मॉडल के लिए:
►मेटा की पोस्ट: https://ai.facebook.com/blog/democratizing-access-to-large-scale-language-models-with-opt-175b/
कोड: https://github.com/facebookresearch/metaseq
►माई न्यूज़लेटर (आपके ईमेल पर साप्ताहिक रूप से समझाया गया एक नया AI एप्लिकेशन!): https://www.louisbouchard.ai/newsletter/
हमारे डिस्कॉर्ड चैनल से जुड़ें, एक साथ एआई सीखें: https://discord.gg/learnaitately

वीडियो प्रतिलेख

0:00

हम सभी ने gpt3 के बारे में सुना है और है

0:02

कुछ हद तक इसका स्पष्ट विचार

0:03

क्षमताओं को आपने निश्चित रूप से देखा है

0:06

कुछ आवेदन सख्ती से पैदा हुए हैं

0:08

यह मॉडल जिनमें से कुछ को मैंने कवर किया है

0:10

पिछला वीडियो gpd3 एक विकसित मॉडल है

0:13

openai द्वारा जिसे आप a . के माध्यम से एक्सेस कर सकते हैं

0:15

पेड एपीआई लेकिन मॉडल तक उनकी कोई पहुंच नहीं है

0:18

स्वयं जो gpt3 को इतना मजबूत बनाता है वह दोनों है

0:21

इसकी वास्तुकला और इसका आकार है

0:24

175 अरब पैरामीटर दो बार राशि

0:27

हमारे दिमाग में न्यूरॉन्स की यह

0:30

विशाल नेटवर्क काफी प्रशिक्षित था

0:32

पूरे इंटरनेट पर यह समझने के लिए कि कैसे

0:34

हम विनिमय लिखते हैं और पाठ को समझते हैं

0:37

इस हफ्ते मेटा ने एक बड़ा कदम उठाया है

0:39

समुदाय के लिए आगे वे बस

0:41

एक मॉडल जारी किया है जो बस के रूप में है

0:43

शक्तिशाली यदि अधिक नहीं है और पूरी तरह से है

0:46

ओपन सोर्स यह कितना अच्छा है कि हम कर सकते हैं

0:48

अब एक जीपीटी-जैसे मॉडल तक पहुंच है और

0:51

बिना जाए सीधे इसके साथ खेलें

0:53

एक एपीआई और सीमित पहुंच मेटा के माध्यम से

0:56

नवीनतम मॉडल विकल्प जिसका अर्थ है

0:59

खुला पूर्व-प्रशिक्षित ट्रांसफार्मर है

1:01

के साथ कई आकारों में उपलब्ध है

1:03

खेलने या करने के लिए पूर्व-प्रशिक्षित भार

1:05

कोई शोध कार्य जिसमें से एक है

1:07

gp23 की तुलना में और सबसे अच्छा है

1:09

परिणाम के लिए बहुत अच्छी खबर है

1:12

क्षेत्र और विशेष रूप से हमारे लिए अकादमिक

1:14

शोधकर्ता तो बस gpg3 को यह नया पसंद करते हैं

1:17

मॉडल उपयोगकर्ता इनपुट से पाठ उत्पन्न कर सकता है

1:19

बहुत सारे अलग-अलग कार्यों पर एक दिन यह

1:22

सप्ताहों को संक्षेप में प्रस्तुत करने में भी सक्षम होंगे

1:24

स्पष्ट रिपोर्ट में आपके लिए काम के लायक

1:26

लेकिन तब तक आपको अभी भी लिखना होगा

1:28

उन्हें स्वयं कम से कम आप कुछ प्राप्त कर सकते हैं

1:30

इस रिपोर्टिंग प्रक्रिया को अधिक बनाने में मदद करें

1:33

जैसे महान टूल का उपयोग करके अधिक कुशल

1:35

यह एपिसोड वजन और पूर्वाग्रहों को प्रायोजित करता है

1:38

वजन और पूर्वाग्रह आपको आसानी से अनुमति देता है

1:39

के साथ अपने सभी प्रयोगों पर नज़र रखें

1:41

आपके में केवल कुछ ही पंक्तियाँ जोड़ी गईं

1:44

कोड लेकिन अधिक विशेष रूप से यह वास्तव में है

1:46

अच्छा है कि उन्होंने सृजन को कैसे सुगम बनाया

1:48

अद्भुत दिखने वाली इंटरैक्टिव रिपोर्ट्स की

1:50

जैसे यह आपकी टीम को स्पष्ट रूप से दिखा रहा है

1:53

या भविष्य में ही आपका रन मैट्रिक्स

1:55

हाइपरपैरामीटर और डेटा कॉन्फ़िगरेशन

1:57

आपके या आपकी टीम के पास मौजूद किसी भी नोट के साथ

2:00

उस समय रिपोर्ट आसानी से की जाती है

2:02

आपके द्वारा उत्पन्न निम्नलिखित टेम्पलेट्स

2:04

मेट्रिक्स चलाता है और आपको बस जोड़ना है

2:06

आपकी टिप्पणियाँ यह एक शक्तिशाली विशेषता है

2:08

या तो किसी पर त्वरित टिप्पणियाँ जोड़ें

2:10

प्रयोग करें या परिष्कृत विश्लेषण बनाएं

2:12

आपके काम को कैप्चर करना और साझा करना

2:14

यदि आप अपने में सुधार करना चाहते हैं तो यह आवश्यक है

2:16

पेशेवर वाहक इसलिए मैं अनुशंसा करता हूं

2:18

संचार में सुधार करने वाले उपकरणों का उपयोग करना

2:20

अपनी टीम में वजन और पूर्वाग्रह की तरह कोशिश करें

2:23

इसे नीचे दिए गए पहले लिंक के साथ शुरू करें और शुरू करें

2:25

एक समर्थक की तरह अपना काम साझा करना

2:29

ऑप्ट या अधिक सटीक रूप से ऑप्ट-175b

2:33

बहुत gpt3 के समान है इसलिए मैं दृढ़ता से

2:36

मेरे वीडियो को बेहतर तरीके से देखने की सलाह दें

2:37

समझें कि कितने बड़े भाषा मॉडल

2:40

काम gpd3 और ऑप्ट कम से कम नहीं कर सकता

2:42

अपने ईमेल को सारांशित करें या जल्दी लिखें

2:44

एक विषय पर आधारित निबंध यह भी कर सकता है

2:46

बुनियादी गणित की समस्याओं को हल करें उत्तर

2:49

प्रश्न और अधिक मुख्य अंतर

2:51

gpt3 के साथ यह है कि यह खुला है

2:53

स्रोत जिसका अर्थ है कि आपके पास पहुंच है

2:56

इसका कोड और यहां तक कि पूर्व-प्रशिक्षित मॉडल भी

2:58

सीधे एक और महत्वपूर्ण के साथ खेलें

3:00

मजेदार तथ्य यह है कि ऑप्ट के प्रशिक्षण के रूप में प्रयोग किया जाता है

3:03

gpt3 . के रूप में कार्बन फुटप्रिंट का 7वां हिस्सा

3:06

जो सही में एक और कदम है

3:08

दिशा आप देख सकते हैं कि यह नया

3:10

मॉडल gpt3 के समान है लेकिन खुला है

3:13

स्रोत तो एक भाषा मॉडल का उपयोग कर

3:15

ट्रांसफॉर्मर जिन्हें मैंने वीडियो में कवर किया है

3:18

इससे पहले कई पर प्रशिक्षित किया गया था

3:19

विभिन्न डेटा सेट पर कोई कह सकता है

3:22

पाठ को संसाधित करने के लिए संपूर्ण इंटरनेट और

3:24

बेहतर ढंग से समझने के लिए और पाठ उत्पन्न करें

3:27

वे कैसे काम करते हैं मैं आपको फिर से संदर्भित करता हूं

3:29

वीडियो मैंने gpt3 को कवर करते हुए बनाया है जैसे वे हैं

3:31

बहुत समान मॉडल यहाँ मैं वास्तव में क्या हूँ

3:34

कवर करना चाहता था मेटा बनाने का प्रयास है

3:36

इस तरह के मॉडल के लिए सुलभ

3:38

हर कोई बहुत प्रयास करते हुए

3:40

अपनी सीमाओं के पूर्वाग्रहों को साझा करने में और

3:43

उदाहरण के लिए जोखिम उन्होंने देखा कि ऑप्ट

3:45

दोहराव हो जाता है और फंस जाता है

3:48

एक लूप जो हमारे लिए शायद ही कभी होता है

3:50

नहीं तो तब से कोई तुमसे बात नहीं करेगा

3:53

यह इंटरनेट पर प्रशिक्षित किया गया था वे भी

3:55

पाया कि ऑप्ट में उच्च प्रवृत्ति है

3:57

विषाक्त भाषा उत्पन्न करें और सुदृढ़ करें

4:00

मूल रूप से हानिकारक रूढ़ियाँ

4:02

हमारे सामान्य व्यवहारों की नकल करना और

4:04

पक्षपात यह तथ्यात्मक रूप से भी उत्पन्न कर सकता है

4:07

गलत बयान जो है

4:08

अवांछनीय यदि आप चाहते हैं कि लोग लें

4:10

आप गंभीरता से ये सीमाएँ कुछ हैं

4:13

इन सबसे महत्वपूर्ण कारणों में से

4:15

मॉडल जल्द ही इंसानों की जगह नहीं लेंगे

4:17

महत्वपूर्ण निर्णय लेने वाली नौकरियों के लिए या

4:20

वाणिज्यिक में भी सुरक्षित रूप से इस्तेमाल किया जा सकता है

4:22

उत्पादों को पढ़ने के लिए मैं आपको आमंत्रित करता हूं

4:24

के उनके गहन विश्लेषण के लिए कागज

4:26

मॉडल की क्षमता और बेहतर समझ

4:28

इस मॉडल को और अधिक बनाने में उनके प्रयास

4:30

पर्यावरण के अनुकूल और उपयोग करने के लिए सुरक्षित

4:33

आप उनके बारे में और भी पढ़ सकते हैं

4:34

प्रशिक्षण प्रक्रिया और इसे स्वयं आजमाएं

4:36

उनके सार्वजनिक रूप से उपलब्ध कोड के साथ सभी

4:39

लिंक विवरण में हैं जैसे

4:41

नए के साथ खुला स्रोत योगदान

4:43

मॉडल प्रलेखन और कोड उपलब्ध

4:45

शोध के लिए वास्तव में महत्वपूर्ण हैं

4:47

विज्ञान को आगे बढ़ाने के लिए समुदाय और मैं हूँ

4:49

खुशी है कि मेटा जैसी बड़ी कंपनी ऐसा करती है

4:52

उनके लिए धन्यवाद आसपास के शोधकर्ता

4:54

दुनिया प्रयोग कर सकेगी

4:56

अत्याधुनिक भाषा मॉडल के साथ

4:58

छोटे संस्करणों के बजाय मैं उत्साहित हूँ

5:00

सभी आगामी प्रगति देखने के लिए it

5:02

बनाएंगे और मुझे यह देखना अच्छा लगेगा कि आप क्या हैं

5:04

दोस्तों इसके साथ टिप्पणी करने के लिए स्वतंत्र महसूस करें

5:06

वीडियो के तहत या हमारे समुदाय में शामिल हों

5:09

अनदेखा करें और अपनी परियोजनाओं को साझा करें

5:10

वहां इसे एक साथ सीखना कहा जाता है और

5:13

आप नीचे एक लिंक भी पा सकते हैं मुझे उम्मीद है

5:15

आपने इस सप्ताह के वीडियो का आनंद लिया जो कि a . था

5:17

इसे कवर करने वाले सामान्य से थोड़ा अलग

5:19

रोमांचक समाचार और आवश्यक प्रयास

5:21

सार्वजनिक रूप से उपलब्ध शोध को साझा करें I

5:24

अगले हफ्ते मिलते हैं एक और अद्भुत के साथ

5:26

कागज़