Explicação da incorporação de texto: como a IA entende as palavras

Grandes modelos de linguagem.

Você deve ter ouvido essas palavras antes. Eles representam um tipo específico de algoritmo baseado em aprendizado de máquina que entende e pode gerar linguagem, um campo geralmente chamado de processamento de linguagem natural ou NLP.

Você certamente já ouviu falar do modelo de linguagem mais conhecido e poderoso: .

GPT-3, como descrevi no vídeo que cobre, é capaz de pegar a linguagem, entendê-la e gerar linguagem em troca. Mas tenha cuidado aqui; realmente não o entende. Na verdade, está longe de entender. O GPT-3 e outros modelos baseados em linguagem apenas usam o que chamamos de dicionários de palavras para representá-los como números, lembrar suas posições na frase e pronto.

Vamos mergulhar nesses poderosos modelos de aprendizado de máquina e tentar entender o que eles veem em vez de palavras, chamados de incorporação de palavras, e como produzi-los com um exemplo fornecido pelo Cohere.

Saiba mais no vídeo...

Referências

►Leia o artigo completo: https://www.louisbouchard.ai/text-embedding/
►Tutorial de incorporação de palavras do BERT: https://mccormickml.com/2019/05/14/BERT-word-embeddings-tutorial/#why-bert-embeddings
►Cohere's Notebook do exemplo de código: https://colab.research.google.com/github/cohere-ai/notebooks/blob/main/notebooks/Basic_Semantic_Search.ipynb
►Cohere Repos focado em embeddings: https://github.com/cohere-ai/notebooks
►Meu boletim informativo (um novo aplicativo de IA explicado semanalmente para seus e-mails!): https://www.louisbouchard.ai/newsletter/

Transcrição de vídeo

0:07

modelos de linguagem que você deve ter ouvido

0:10

essas palavras antes de representarem um

0:13

tipo específico de aprendizado de máquina

0:14

algoritmos que entendem e podem

0:16

gerar linguagem um campo frequentemente chamado

0:19

processamento de linguagem natural ou PNL

0:22

você certamente já ouviu falar do mais conhecido

0:24

e poderosos modelos de linguagem como gpt3

0:26

gpt3 como descrevi no vídeo

0:28

cobri-lo é capaz de levar linguagem

0:30

entendê-lo e gerar linguagem em

0:33

retorne mas cuidado aqui não

0:35

realmente entendo isso na verdade é longe

0:38

da compreensão de gbd3 e outros

0:41

modelos baseados em linguagem meramente usam o que nós

0:44

chamar dicionários de palavras para representar

0:46

eles como números lembram suas posições

0:49

na frase e é isso usando um

0:52

poucos números e números posicionais

0:53

chamados embeddings, eles são capazes de

0:55

reagrupar frases semelhantes que também

0:58

significa que eles são capazes de

1:00

entender frases comparando-as

1:02

a frases conhecidas como nosso conjunto de dados

1:05

é o mesmo processo para frase de imagem

1:07

modelos que levam sua frase para

1:10

gerar uma imagem que eles realmente não

1:11

entendê-lo, mas eles podem compará-lo com

1:13

imagens semelhantes produzindo algum tipo de

1:16

compreensão dos conceitos em seu

1:18

frase neste vídeo teremos uma

1:20

veja o que essas poderosas máquinas

1:22

modelos de aprendizagem veem em vez de palavras

1:24

chamadas de incorporação de palavras e como

1:27

produzi-los com um exemplo fornecido por

1:29

o patrocinador deste vídeo um grande

1:31

empresa no campo da PNL coerente que eu

1:35

vai falar no final do vídeo

1:36

pois eles têm uma plataforma fantástica para

1:39

PNL, falamos sobre incorporações e

1:42

gpt3 mas qual é o link entre os dois

1:44

emissões são o que é visto pelos modelos

1:47

e como eles processam as palavras que conhecemos

1:50

e por que usar embeddings bem porque como

1:53

de agora as máquinas não podem processar palavras e

1:56

precisamos de números para treinar esses

1:59

modelos grandes graças ao nosso cuidado

2:01

conjunto de dados construídos, podemos usar a matemática para

2:04

medir a distância entre as incorporações

2:06

e corrija nossa Rede com base nisso

2:08

distância obtendo iterativamente nosso

2:10

previsões mais próximas do real significado

2:12

e melhorando os resultados e reuniões

2:15

também são o que os modelos gostam de clipe

2:17

difusão estável ou Dali usado para

2:19

entender frases e gerar imagens

2:21

isso é feito comparando as duas imagens

2:24

e texto no mesmo espaço de incorporação

2:26

o que significa que o modelo não

2:28

entender texto ou imagens, mas

2:31

pode entender se uma imagem é semelhante a

2:33

um texto específico ou não, se encontrarmos

2:36

pares de legenda de imagem suficientes que podemos treinar

2:38

um modelo enorme e poderoso como Dali para

2:41

pegue uma frase incorpore-a encontre seu

2:43

clone de imagem mais próximo e gerá-lo em

2:46

retornar para que o aprendizado de máquina com texto seja

2:48

tudo sobre como comparar incorporações, mas como

2:51

nós obtemos essas incorporações nós as obtemos

2:53

usando outro modelo treinado para encontrar o

2:56

melhor maneira de gerar embeddings semelhantes

2:58

para frases semelhantes, mantendo o

3:01

diferenças de significado para palavras semelhantes

3:03

em comparação com o uso de um reto para um

3:06

dicionário as frases são geralmente

3:08

representado com marcações de fichas especiais

3:10

o começo e o fim do nosso texto então

3:13

como eu disse, temos nossas poses de todos

3:15

incorporações que indicam a posição

3:17

de cada palavra em relação à outra

3:19

muitas vezes usando funções senoidais I

3:22

vinculou um ótimo artigo sobre isso no

3:25

descrição se você gostaria de aprender mais

3:26

finalmente temos nossas incorporações de palavras

3:29

comece com todas as nossas palavras sendo divididas

3:31

em uma matriz como uma tabela de palavras

3:34

a partir de agora não há mais palavras

3:36

eles são apenas tokens ou números do

3:40

todo o dicionário de inglês que você pode ver

3:42

aqui que todas as palavras agora são

3:44

representado por um número que indica onde

3:46

estão no dicionário tendo assim

3:49

o mesmo número para a palavra Banco mesmo

3:51

embora seus significados sejam diferentes em

3:53

a frase que temos agora precisamos adicionar

3:56

um pouco de inteligência para isso, mas

3:58

não muito isso é feito graças a um

4:00

modelo treinado para levar esta nova lista de

4:03

números e codificá-los ainda mais em

4:05

outra lista de números que melhor

4:08

representam a frase por exemplo

4:10

não terá mais a mesma incorporação

4:13

para o banco de duas palavras aqui é

4:15

possível porque o modelo usado para fazer

4:17

que foi treinado em muitos

4:19

anotou dados de texto e aprendeu a

4:21

codificar frases de significado semelhante ao lado

4:24

uns aos outros e frases opostas longe

4:27

uns dos outros, permitindo assim a nossa

4:29

incorporações sejam menos tendenciosas por nossos

4:31

escolha de palavras, em seguida, o simples inicial

4:34

incorporação de uma por uma palavra inicialmente

4:37

tinha aqui está o que o uso de imagens parece

4:39

como em um exemplo muito curto de PNL lá

4:42

há mais links abaixo para saber mais sobre

4:44

embeddings e como codificar você mesmo

4:46

aqui vamos pegar algumas postagens do Hacker News

4:49

e crie um rótulo de modelo para recuperar o

4:51

postagem mais semelhante de uma nova entrada

4:53

frase para começar, precisamos de um conjunto de dados em

4:56

neste caso, é um conjunto pré-embutido de

4:58

3000 postagens do Hacker News que já

5:01

foram emitidos em números, então nós construímos

5:04

uma memória salvando todas essas incorporações para

5:07

comparação futura nós basicamente apenas

5:09

salvou essas incorporações de forma eficiente

5:11

maneira quando uma nova consulta é feita, por exemplo

5:13

aqui perguntando qual é o seu mais profundo

5:16

a vida dentro de você pode gerar sua

5:18

incorporação usando a mesma incorporação

5:20

Rede geralmente é bird ou uma versão

5:23

dela e comparamos a distância

5:25

entre o espaço de incorporação para todos os outros

5:27

Postagens do Hacker News em nossa nota de memória

5:30

que é muito importante aqui

5:32

use sempre a mesma rede seja para

5:34

gerar seu conjunto de dados ou para consultar

5:36

como eu disse não existe real

5:38

inteligência aqui nem que realmente

5:40

entende as palavras que acabou de ser

5:42

treinado para incorporar frases semelhantes

5:45

nas proximidades do espaço não tripulado nada

5:47

mais se você enviar sua sentença para um

5:50

rede diferente para gerar um

5:51

incorporação e comparar a incorporação com

5:53

os que você tinha de outra Rede

5:55

nada vai funcionar será apenas como

5:58

as pessoas legais que tentam falar comigo

5:59

em hebraico no eccv na semana passada, apenas

6:02

não estava em um espaço de incorporação meu cérebro

6:04

poderia compreender felizmente para nós o nosso

6:06

cérebro pode aprender a transferir de um

6:08

incorporando espaço a outro como posso com

6:11

francês e inglês, mas exige muito

6:13

de trabalho e prática e é o mesmo

6:16

para máquinas de qualquer maneira voltando para o nosso

6:18

problema, poderíamos encontrar o mais semelhante

6:21

postagens que são muito legais, mas como poderia

6:23

nós conseguimos isso como eu mencionei é

6:25

por causa do nascimento da rede neste

6:28

caso aprenda a criar semelhantes

6:30

incorporações de frases semelhantes, podemos

6:32

mesmo visualizá-lo em duas dimensões como

6:35

aqui você pode ver como dois semelhantes

6:37

pontos representam assuntos semelhantes que você

6:39

pode fazer muitas outras coisas depois de ter

6:41

essas incorporações como extrair

6:43

palavras-chave realizando uma pesquisa semântica

6:45

fazendo análise de sentimento ou mesmo

6:47

gerando imagens como dissemos e

6:49

demonstrado em vídeos anteriores eu tenho um

6:52

muitos vídeos cobrindo esses e listados

6:55

alguns cadernos interessantes para aprender a

6:57

brinque com codificações graças ao cohere

6:59

equipe agora deixe-me falar um pouco sobre

7:02

kohilu, pois são altamente relevantes para

7:05

este cozinheiro de vídeo aqui fornece uma

7:07

tudo o que você precisa se estiver trabalhando

7:09

no campo da PNL, incluindo um super

7:11

maneira simples de usar modelos de incorporação em

7:14

seu aplicativo literalmente com apenas um

7:16

chamada de API, você pode incorporar o texto sem

7:18

sabendo nada sobre como a incorporação

7:21

modelos funcionam, a API faz isso para você em

7:23

o fundo aqui você pode ver o

7:25

caderno de pesquisa semântica que usa

7:27

API coerente para criar incorporações de um

7:30

arquivo de perguntas e perguntas

7:32

consultas para depois realizar a pesquisa de

7:34

perguntas semelhantes usando cozinheiro aqui você

7:37

pode facilmente fazer qualquer coisa relacionada ao texto

7:39

gerar categorizar e organizar em

7:42

praticamente qualquer escala que você possa integrar

7:44

grandes modelos de linguagem treinados em

7:46

bilhões de palavras com algumas linhas de

7:48

código e funciona em qualquer biblioteca que você

7:51

nem precisa de habilidades de aprendizado de máquina

7:53

para começar eles ainda têm aprendizado

7:55

recursos como o recente Cohere para

7:57

programa de cores da ai que eu gosto muito

8:00

esse programa é incrível

8:01

oportunidade para talentos emergentes em PNL

8:04

pesquisa em todo o mundo se selecionado

8:06

você vai trabalhar ao lado de sua equipe

8:08

e ter acesso a uma grande escala

8:10

quadro experimental e coerente

8:12

especialistas, o que é muito legal. Eu também

8:15

convidá-lo para se juntar ao seu grande Discord

8:17

Comunidade engenhosamente chamada de Co Unity I

8:21

espero que você tenha gostado deste vídeo e vai

8:23

experimente você mesmo com o

8:25

primeiro link abaixo, tenho certeza que você vai

8:27

aproveite muito obrigado por

8:29

assistindo o vídeo inteiro e graças a

8:31

qualquer um apoiando meu trabalho deixando um

8:33

curta, comente ou experimente nossos patrocinadores

8:36

que seleciono cuidadosamente para esses vídeos