Meta 的新模型 OPT 是一个开源 GPT-3

我们都听说过 GPT-3，并且对它的功能有一定的了解。您肯定已经看到了一些完全由于该模型而诞生的应用程序，其中一些我在中进行了介绍。 GPT-3 是 OpenAI 开发的模型，您可以通过付费 API 访问，但无法访问模型本身。

GPT-3 如此强大的原因在于它的架构和大小。它有 1750 亿个参数。这是我们大脑中神经元数量的两倍！

这个庞大的网络在整个互联网上都经过了相当多的训练，以了解我们如何编写、交换和理解文本。本周，Meta 为社区向前迈出了一大步。他们刚刚发布了一个同样强大甚至更强大的模型，并且已经完全开源。多么酷啊？在视频中了解更多...

观看视频

参考

►阅读全文： https ://www.louisbouchard.ai/opt-meta/
►张，苏珊等人。 “OPT：开放预训练的 Transformer 语言模型。” https://arxiv.org/abs/2205.01068
►My GPT-3 的大型语言模型视频： ://youtu.be/gDDnTZchKec
►Meta的帖子： https ://ai.facebook.com/blog/democratizing-access-to-large-scale-language-models-with-opt-175b/
►代码： https ://github.com/facebookresearch/metaseq
►My Newsletter（每周在您的电子邮件中解释的新 AI 应用程序！）： https ://www.louisbouchard.ai/newsletter/
►加入我们的 Discord 频道，一起学习 AI： https ://discord.gg/learnaitogether

视频记录

0:00

我们都听说过 gpt3 并且有

0:02

有点清楚的想法

0:03

你肯定见过的能力

0:06

一些应用程序的诞生严格是由于

0:08

这个模型中的一些我在一个

0:10

以前的视频gpd3是开发的模型

0:13

您可以通过 openai 访问

0:15

付费 api 但无法访问模型

0:18

让 gpt3 如此强大的原因在于两者

0:21

它的架构和大小

0:24

1750 亿个参数，数量翻倍

0:27

我们大脑中的神经元

0:30

巨大的网络几乎训练有素

0:32

在整个互联网上了解如何

0:34

我们写交流和理解文本

0:37

本周meta迈出了一大步

0:39

为社区转发，他们只是

0:41

发布了一个模型，就像

0:43

功能强大，如果不是更多，并且已经完全

0:46

开源它有多酷，我们可以

0:48

现在可以访问类似 gpt 的模型和

0:51

不用去直接玩

0:53

通过 api 和有限访问元

0:56

最新型号 opt 代表

0:59

开放的预训练变压器是

1:01

有多种尺寸可供选择

1:03

预先训练的重量来玩或做

1:05

任何研究工作，其中之一是

1:07

媲美gp23，拥有最好的

1:09

结果对

1:12

领域，特别是对于我们学术

1:14

研究人员就像 gpg3 这个新的

1:17

模型可以从用户输入生成文本

1:19

有一天它在很多不同的任务上

1:22

甚至可以总结几周

1:24

在清晰的报告中为您工作的价值

1:26

但在那之前你仍然需要写

1:28

他们自己至少可以得到一些

1:30

有助于使这个报告过程大大

1:33

使用出色的工具更有效，例如

1:35

这一集赞助商的权重和偏见

1:38

权重和偏差可以让您轻松

1:39

跟踪您的所有实验

1:41

只有少数几行添加到您的

1:44

代码，但更具体地说，它真的

1:46

很酷，他们是如何促进创作的

1:48

令人惊叹的交互式报告

1:50

像这个清楚地展示你的团队

1:53

或未来本身你的运行矩阵

1:55

超参数和数据配置

1:57

连同您或您的团队的任何笔记

2:00

当时报告很容易完成

2:02

以下从您生成的模板

2:04

运行指标，您只需添加

2:06

您的评论是一个强大的功能

2:08

或者添加快速评论

2:10

实验或创建完善的分析

2:12

捕捉和分享您的作品的作品

2:14

如果你想提高你的

2:16

专业的承运人，所以我推荐

2:18

使用改善沟通的工具

2:20

在您的团队中，例如权重和偏差尝试

2:23

它与下面的第一个链接并开始

2:25

像专业人士一样分享您的工作

2:29

opt 或更准确地说是 opt-175b

2:33

与gpt3非常相似，所以我强烈

2:36

建议观看我的视频更好

2:37

了解大型语言模型如何

2:40

工作 gpd3 和 opt 至少不能

2:42

总结您的电子邮件或快速撰写

2:44

基于主题的文章也可以

2:46

解决基本数学问题答案

2:49

问题和更多的主要区别

2:51

用gpt3是这个是开放的

2:53

来源，这意味着您可以访问

2:56

它的代码甚至预训练模型

2:58

直接玩另一个重要的

3:00

有趣的事实是 opt 的训练被用作

3:03

碳足迹的第 7 为 gpt3

3:06

这是正确的另一步

3:08

方向你可以看到这个新的

3:10

模型与 gpt3 非常相似但开放

3:13

源所以语言模型使用

3:15

我在视频中介绍的变压器

3:18

在此之前接受过许多培训

3:19

可以说不同的数据集

3:22

整个互联网来处理文本和

3:24

生成更多文本以更好地理解

3:27

他们是如何工作的，我会再次向您推荐

3:29

我制作的涵盖gpt3的视频

3:31

非常相似的模型在这里我真的

3:34

想要涵盖的是meta的努力

3:36

这种模型可访问

3:38

每个人都在付出很多努力的同时

3:40

分享其局限性偏见和

3:43

例如，他们看到选择的风险

3:45

倾向于重复并陷入困境

3:48

一个对我们来说很少发生的循环

3:50

否则没有人会和你说话，因为

3:53

他们也在互联网上接受过培训

3:55

发现 opt 有很高的倾向

3:57

产生有毒的语言并强化

4:00

基本上有害的刻板印象

4:02

复制我们的一般行为和

4:04

它也可以事实上产生偏见

4:07

不正确的陈述是

4:08

如果您希望人们服用，则不可取

4:10

你认真这些限制是一些

4:13

这些最重要的原因

4:15

模型不会很快取代人类

4:17

对于重要的决策工作或

4:20

甚至可以在商业中安全使用

4:22

我邀请您阅读他们的产品

4:24

论文为他们的深入分析

4:26

模型的容量和更好的理解

4:28

他们努力使这个模型更加

4:30

环保且使用安全

4:33

您还可以阅读有关他们的更多信息

4:34

培训过程并自己尝试

4:36

连同他们的公开代码全部

4:39

链接在描述中，例如

4:41

新的开源贡献

4:43

模型文档和代码可用

4:45

对研究非常重要

4:47

推动科学进步的社区，我是

4:49

很高兴像元这样的大公司这样做

4:52

感谢他们来自各地的研究人员

4:54

世界将能够进行实验

4:56

使用最先进的语言模型

4:58

而不是更小的版本，我很兴奋

5:00

看看所有即将到来的进步吧

5:02

将创造，我很想看看你

5:04

伙计们可以随意发表评论

5:06

在视频下或加入我们的社区

5:09

未被发现并分享您的项目

5:10

那里叫做一起学习人工智能

5:13

你也可以在下面找到一个链接我希望

5:15

你喜欢这周的视频

5:17

有点不同，涵盖这个

5:19

令人振奋的消息和必要的努力

5:21

分享公开的研究我会

5:24

下周见，另一个惊人的

5:26

纸