文本嵌入解释：AI 如何理解单词

大型语言模型。

你以前一定听过这些话。它们代表了一种特定类型的基于机器学习的算法，可以理解并可以生成语言，这个领域通常被称为自然语言处理或 NLP。

您肯定听说过最著名和最强大的语言模型： 。

正如我在介绍它的视频中所描述的那样，GPT-3 能够获取语言、理解它并生成语言作为回报。但在这里要小心；它并不真正理解它。其实离理解还差得很远。 GPT-3 和其他基于语言的模型只是使用我们所说的单词词典将它们表示为数字，记住它们在句子中的位置，仅此而已。

让我们深入研究这些强大的机器学习模型，并尝试理解它们看到的不是单词，称为词嵌入，以及如何使用 Cohere 提供的示例生成它们。

在视频中了解更多...

参考

►阅读全文：https: //www.louisbouchard.ai/text-embedding/
►BERT 词嵌入教程： https://mccormickml.com/2019/05/14/BERT-word-embeddings-tutorial/#why-bert-embeddings
►来自代码示例的 Cohere 笔记本： https://colab.research.google.com/github/cohere-ai/notebooks/blob/main/notebooks/Basic_Semantic_Search.ipynb
►Cohere Repos 专注于嵌入： https ://github.com/cohere-ai/notebooks
►我的时事通讯（每周向您的电子邮件解释一个新的 AI 应用程序！）： https://www.louisbouchard.ai/newsletter/

视频成绩单

0:07

你一定听说过的语言模型

0:10

这些话代表一个

0:13

特定类型的机器学习

0:14

理解并可以的算法

0:16

生成语言通常称为一个领域

0:19

自然语言处理或 NLP

0:22

你肯定听说过最著名的

0:24

和强大的语言模型，如 gpt3

0:26

我在视频中描述的 gpt3

0:28

覆盖它可以带语言

0:30

理解它并生成语言

0:33

返回但要小心这里没有

0:35

真正理解其实很远

0:38

从了解gbd3等

0:41

基于语言的模型仅仅使用我们

0:44

调用单词词典来表示

0:46

他们作为数字记住他们的位置

0:49

在句子中就是这样

0:52

几个数字和位置数字

0:53

称为嵌入，他们能够

0:55

重新组合相似的句子

0:58

意味着他们能够

1:00

通过比较来理解句子

1:02

像我们的数据集这样的已知句子

1:05

图像语句也是一样的过程

1:07

把你的句子带到的模型

1:10

生成一个他们实际上没有的图像

1:11

理解它，但他们可以将其与

1:13

类似的图像产生某种

1:16

理解你的概念

1:18

这段视频中的句子我们将有一个

1:20

看看那些厉害的机器

1:22

学习模型看到而不是文字

1:24

称为词嵌入以及如何

1:27

用提供的例子制作它们

1:29

这个视频的赞助商很棒

1:31

我所在的 NLP 领域的公司 cohere

1:35

视频最后会讲到

1:36

因为他们有一个很棒的平台

1:39

NLP 我们已经讨论过嵌入和

1:42

gpt3 但两者之间有什么联系

1:44

发射是模型所看到的

1:47

以及他们如何处理我们知道的单词

1:50

以及为什么要很好地使用嵌入，因为

1:53

现在的机器无法处理文字和

1:56

我们需要数字来训练那些

1:59

大模型感谢我们的精心

2:01

建立数据集我们可以用数学来

2:04

测量嵌入之间的距离

2:06

并基于此更正我们的网络

2:08

距离迭代地得到我们的

2:10

更接近实际意义的预测

2:12

并改进结果和会议

2:15

也都是模特喜欢的夹子

2:17

稳定扩散或大理用于

2:19

理解句子并生成图像

2:21

这是通过比较两个图像来完成的

2:24

和文本在同一个嵌入空间

2:26

这意味着该模型不

2:28

理解文本或图像，但它

2:31

可以理解图像是否与

2:33

一个特定的文本或不是这样，如果我们发现

2:36

我们可以训练足够多的图片说明对

2:38

一个像大理这样巨大而强大的模型

2:41

拿一句话嵌入它找到它

2:43

最近的图像克隆并生成它

2:46

返回所以文本机器学习是

2:48

所有关于比较嵌入但是如何

2:51

我们得到那些嵌入了吗？

2:53

使用另一个经过训练的模型来找到

2:56

生成相似嵌入的最佳方法

2:58

对于相似的句子，同时保持

3:01

相似词的含义差异

3:03

与直接使用一对一相比

3:06

字典里的句子通常是

3:08

用特殊标记表示

3:10

然后我们文本的开头和结尾

3:13

正如我所说，我们有来自所有人的姿势

3:15

指示位置的嵌入

3:17

每个词相对于彼此

3:19

经常使用正弦函数我

3:22

在

3:25

描述，如果你想了解更多

3:26

最后我们有了词嵌入

3:29

从我们所有的话开始被分裂

3:31

变成一个数组，就像一个单词表

3:34

从现在开始不再有言语

3:36

它们只是来自

3:40

你可以看到整个英语词典

3:42

现在所有的词都在这里

3:44

由一个数字表示

3:46

他们在字典中因此有

3:49

Bank even 这个词的相同数字

3:51

尽管它们的含义不同

3:53

我们现在需要添加的句子

3:56

一点点智慧，但是

3:58

没有太多这要归功于

4:00

经过训练的模型可以接受这个新列表

4:03

数字并将其进一步编码为

4:05

另一个更好的数字列表

4:08

代表句子例如it

4:10

将不再具有相同的嵌入

4:13

对于这里的银行这两个词，这是

4:15

可能因为模型曾经做过

4:17

已经接受过很多培训

4:19

带注释的文本数据并学会了

4:21

对旁边的相似含义句子进行编码

4:24

彼此相向远的句子

4:27

从彼此从而让我们

4:29

嵌入减少我们的偏见

4:31

单词的选择然后是最初的简单

4:34

一对一的词嵌入我们最初

4:37

有这里是什么使用成像看起来

4:39

就像一个非常简短的 NLP 示例

4:42

下面是更多链接以了解更多信息

4:44

嵌入以及如何自己编码

4:46

在这里我们将采取一些黑客新闻帖子

4:49

并建立一个模型标签来检索

4:51

新输入的最相似帖子

4:53

开头的句子我们需要一个数据集

4:56

这种情况下它是一组预嵌入的

4:58

已经有 3000 篇黑客新闻帖子

5:01

被发射成数字然后我们建造

5:04

保存所有这些嵌入的内存

5:07

未来比较我们基本上只是

5:09

以高效的方式保存这些嵌入

5:11

例如，完成新查询时的方式

5:13

在这里问你最深刻的是什么

5:16

生活在你里面，你可以产生它

5:18

嵌入使用相同的嵌入

5:20

网络通常是鸟或版本

5:23

它和我们比较距离

5:25

嵌入空间与所有其他空间之间

5:27

我们记忆笔记中的 Hacker News 帖子

5:30

这真的很重要

5:32

是否始终使用相同的网络

5:34

生成您的数据集或用于查询

5:36

正如我所说，没有真正的

5:38

这里的情报也不是它实际上

5:40

理解它刚才的话

5:42

训练嵌入相似的句子

5:45

在无人区附近什么都没有

5:47

更多如果你把你的句子发送给

5:50

不同的网络生成

5:51

嵌入并将嵌入与

5:53

你从另一个网络得到的

5:55

什么都行不通，就像

5:58

试图与我交谈的好人

5:59

上周在 eccv 的希伯来语中，它只是

6:02

我的大脑不在嵌入空间

6:04

幸运的是我们可以理解我们的

6:06

大脑可以学会从一个转移

6:08

尽我所能将空间嵌入到另一个空间

6:11

法语和英语，但它需要很多

6:13

工作和实践是一样的

6:16

对于机器无论如何都会回到我们的

6:18

我们可以找到最相似的问题

6:21

帖子很酷，但怎么可能

6:23

正如我提到的那样，我们实现了这一目标

6:25

因为网络诞生于此

6:28

如果它学会创建类似的

6:30

我们可以从相似的句子中嵌入

6:32

甚至在两个维度上想象它

6:35

在这里你可以看到两个相似的地方

6:37

点代表你类似的科目

6:39

一旦你有，可以做很多其他的事情

6:41

那些嵌入如提取

6:43

执行语义搜索的关键字

6:45

进行情绪分析甚至

6:47

正如我们所说的生成图像和

6:49

在之前的视频中展示了我有一个

6:52

很多视频涵盖这些并列出

6:55

一些有趣的笔记本来学习

6:57

多亏了 cohere 的编码

6:59

团队现在让我谈谈

7:02

kohilu 因为它们与

7:05

这个视频厨师在这里提供了一个

7:07

工作所需的一切

7:09

在 NLP 领域，包括一个超级

7:11

使用嵌入模型的简单方法

7:14

你的应用程序字面上只是一个

7:16

API 调用，您无需嵌入文本

7:18

对如何嵌入一无所知

7:21

模型工作 API 为您完成

7:23

这里的背景你可以看到

7:25

使用的语义搜索笔记本

7:27

用于创建嵌入的 cohere API

7:30

问题和问题的存档

7:32

稍后执行搜索的查询

7:34

在这里使用厨师的类似问题

7:37

可以轻松地做任何与文本相关的事情

7:39

生成分类和组织于

7:42

几乎可以集成的任何规模

7:44

训练有素的大型语言模型

7:46

数十亿个单词和几行

7:48

代码，它适用于您的任何图书馆

7:51

甚至不需要机器学习技能

7:53

开始他们甚至有学习

7:55

像最近的 cohere for 这样的资源

7:57

我非常喜欢的ai的颜色程序

8:00

这个程序是一个令人难以置信的

8:01

NLP 新兴人才的机会

8:04

如果被选中，将在世界范围内进行研究

8:06

你将与他们的团队一起工作

8:08

并获得大规模

8:10

实验框架和一致性

8:12

专家这很酷我也

8:15

邀请您加入他们伟大的 Discord

8:17

社区巧妙地称为 Co Unity I

8:21

希望你喜欢这个视频并且会

8:23

尝试自己与

8:25

下面的第一个链接我相信你会

8:27

从中受益非常感谢

8:29

观看整个视频并感谢

8:31

任何人通过离开来支持我的工作

8:33

喜欢评论或试用我们的赞助商

8:36

我为这些视频精心挑选的