Explication de l'intégration de texte : comment l'IA comprend les mots

Grands modèles de langage.

Vous devez avoir entendu ces mots avant. Ils représentent un type spécifique d'algorithme basé sur l'apprentissage automatique qui comprend et peut générer du langage, un domaine souvent appelé traitement du langage naturel ou NLP.

Vous avez certainement entendu parler du modèle de langage le plus connu et le plus puissant : .

GPT-3, comme je l'ai décrit dans la vidéo qui le couvre, est capable de prendre le langage, de le comprendre et de générer du langage en retour. Mais soyez prudent ici; il ne le comprend pas vraiment. En fait, c'est loin de comprendre. GPT-3 et d'autres modèles basés sur le langage utilisent simplement ce que nous appelons des dictionnaires de mots pour les représenter sous forme de nombres, se souviennent de leurs positions dans la phrase, et c'est tout.

Plongeons-nous dans ces puissants modèles d'apprentissage automatique et essayons de comprendre ce qu'ils voient à la place des mots, appelés incorporations de mots, et comment les produire avec un exemple fourni par Cohere.

En savoir plus dans la vidéo...

Références

►Lire l'article complet : https://www.louisbouchard.ai/text-embedding/
►Tutoriel sur les incorporations de mots BERT : https://mccormickml.com/2019/05/14/BERT-word-embeddings-tutorial/#why-bert-embeddings
►Cohere's Notebook de l'exemple de code : https://colab.research.google.com/github/cohere-ai/notebooks/blob/main/notebooks/Basic_Semantic_Search.ipynb
►Cohere Repos axé sur les embeddings : https://github.com/cohere-ai/notebooks
►Ma Newsletter (Une nouvelle application d'IA expliquée chaque semaine à vos mails !) : https://www.louisbouchard.ai/newsletter/

Transcription vidéo

0:07

modèles de langage que vous devez avoir entendus

0:10

ces mots avant qu'ils ne représentent un

0:13

type spécifique d'apprentissage automatique

0:14

algorithmes qui comprennent et peuvent

0:16

générer du langage un champ souvent appelé

0:19

traitement automatique du langage naturel ou NLP

0:22

vous avez certainement entendu parler du plus connu

0:24

et des modèles de langage puissants comme gpt3

0:26

gpt3 comme je l'ai décrit dans la vidéo

0:28

couvrant il est capable de prendre la langue

0:30

le comprendre et générer un langage dans

0:33

revenir mais attention ici ça ne marche pas

0:35

vraiment comprendre en fait c'est loin

0:38

de comprendre gbd3 et d'autres

0:41

les modèles basés sur le langage utilisent simplement ce que nous

0:44

appeler des dictionnaires de mots pour représenter

0:46

eux comme des nombres se souviennent de leurs positions

0:49

dans la phrase et c'est tout en utilisant un

0:52

quelques nombres et nombres de position

0:53

appelés incorporations, ils sont capables de

0:55

regroupent des phrases similaires qui

0:58

signifie qu'ils sont en mesure de

1:00

comprendre des phrases en les comparant

1:02

à des phrases connues comme notre ensemble de données

1:05

c'est le même processus pour la phrase image

1:07

modèles qui prennent votre phrase à

1:10

générer une image qu'ils ne font pas vraiment

1:11

le comprendre, mais ils peuvent le comparer à

1:13

images similaires produisant une sorte de

1:16

compréhension des concepts de votre

1:18

phrase dans cette vidéo nous aurons une

1:20

regardez ce que ces puissantes machines

1:22

les modèles d'apprentissage voient au lieu de mots

1:24

appelés word embeddings et comment

1:27

les produire avec un exemple fourni par

1:29

le sponsor de cette vidéo un grand

1:31

entreprise dans le domaine de la PNL cohere que je

1:35

parlerons à la fin de la vidéo

1:36

car ils ont une plate-forme fantastique pour

1:39

PNL, nous avons parlé des incorporations et

1:42

gpt3 mais quel est le lien entre les deux

1:44

les émissions sont ce qui est vu par les modèles

1:47

et comment ils traitent les mots que nous connaissons

1:50

et pourquoi bien utiliser les plongements car comme

1:53

de maintenant les machines ne peuvent pas traiter les mots et

1:56

nous avons besoin de chiffres pour former ces

1:59

grands modèles grâce à notre attention

2:01

ensemble de données construit, nous pouvons utiliser les mathématiques pour

2:04

mesurer la distance entre les encastrements

2:06

et corriger notre réseau en fonction de cela

2:08

distance obtenir itérativement notre

2:10

prédictions plus proches du sens réel

2:12

et améliorer les résultats et les réunions

2:15

sont aussi ce que les modèles aiment clip

2:17

diffusion stable ou Dali utilisé pour

2:19

comprendre des phrases et générer des images

2:21

cela se fait en comparant les deux images

2:24

et texte dans le même espace d'intégration

2:26

ce qui signifie que le modèle ne

2:28

comprendre du texte ou des images, mais il

2:31

peut comprendre si une image est similaire à

2:33

un texte spécifique ou non si nous trouvons

2:36

assez de paires de légendes d'image que nous pouvons former

2:38

un modèle énorme et puissant comme Dali pour

2:41

prendre une phrase l'incorporer trouver son

2:43

cloner l'image la plus proche et la générer dans

2:46

revenir donc l'apprentissage automatique avec du texte est

2:48

tout sur la comparaison des incorporations mais comment

2:51

obtenons-nous ces encastrements, nous les obtenons

2:53

en utilisant un autre modèle formé pour trouver le

2:56

meilleur moyen de générer des représentations vectorielles continues similaires

2:58

pour des phrases similaires tout en gardant le

3:01

différences de sens pour des mots similaires

3:03

par rapport à l'utilisation d'un droit pour un

3:06

dictionnaire les phrases sont généralement

3:08

représenté avec un marquage spécial des jetons

3:10

le début et la fin de notre texte puis

3:13

comme je l'ai dit, nous avons nos poses de tous

3:15

des encastrements qui indiquent la position

3:17

de chaque mot les uns par rapport aux autres

3:19

utilisant souvent des fonctions sinusoïdales I

3:22

a lié un excellent article à ce sujet dans le

3:25

description si vous souhaitez en savoir plus

3:26

enfin nous avons nos plongements de mots nous

3:29

commencer par tous nos mots étant divisés

3:31

dans un tableau comme un tableau de mots

3:34

à partir de maintenant il n'y a plus de mots

3:36

ce ne sont que des jetons ou des nombres du

3:40

tout le dictionnaire anglais que vous pouvez voir

3:42

ici que tous les mots sont maintenant

3:44

représenté par un nombre indiquant où

3:46

ils sont dans le dictionnaire ayant donc

3:49

le même nombre pour le mot Bank even

3:51

même si leur signification est différente dans

3:53

la phrase que nous avons maintenant nous devons ajouter

3:56

un peu d'intelligence à cela mais

3:58

pas trop cela se fait grâce à un

4:00

modèle formé pour prendre cette nouvelle liste de

4:03

chiffres et encodez-le ensuite dans

4:05

une autre liste de nombres mieux

4:08

représenter la phrase par exemple it

4:10

n'aura plus le même encastrement

4:13

pour les deux mots banque ici c'est

4:15

possible parce que le modèle utilisé pour faire

4:17

qui a été formé sur beaucoup de

4:19

données textuelles annotées et appris à

4:21

encoder des phrases de sens similaire à côté de

4:24

les uns des autres et des phrases opposées loin

4:27

les uns des autres permettant ainsi à notre

4:29

les incorporations soient moins biaisées par nos

4:31

choix de mots puis l'initiale simple

4:34

un pour un mot incorporant nous initialement

4:37

eu voici à quoi ressemble l'utilisation des images

4:39

comme dans un très court exemple de PNL là-bas

4:42

sont plus de liens ci-dessous pour en savoir plus sur

4:44

embeddings et comment le coder soi-même

4:46

ici, nous allons prendre quelques messages Hacker News

4:49

et construire une étiquette modèle pour récupérer le

4:51

publication la plus similaire d'une nouvelle entrée

4:53

phrase pour commencer, nous avons besoin d'un ensemble de données dans

4:56

dans ce cas, il s'agit d'un ensemble pré-intégré de

4:58

3000 messages Hacker News qui ont déjà

5:01

été émis en nombres alors nous construisons

5:04

une mémoire enregistrant tous ces encastrements pour

5:07

comparaison future, nous venons essentiellement

5:09

enregistré ces incorporations dans un efficace

5:11

façon lorsqu'une nouvelle requête est effectuée par exemple

5:13

ici demandant ce qui est votre plus profond

5:16

la vie à l'intérieur de vous peut générer son

5:18

intégration utilisant la même intégration

5:20

Réseau généralement c'est un oiseau ou une version

5:23

de celui-ci et nous comparons la distance

5:25

entre l'espace d'encastrement et tous les autres

5:27

Articles de Hacker News dans notre note de mémoire

5h30

qu'il est vraiment important ici de

5:32

toujours utiliser le même réseau que ce soit pour

5:34

générer votre ensemble de données ou pour interroger

5:36

comme je l'ai dit il n'y a pas de vrai

5:38

intelligence ici ni qu'il en fait

5:40

comprend les mots que ça vient d'être

5:42

formés pour intégrer des phrases similaires

5:45

à proximité dans l'espace sans pilote rien

5:47

plus si vous envoyez votre phrase à un

5:50

réseau différent pour générer un

5:51

intégration et comparer l'intégration à

5:53

ceux que vous aviez d'un autre réseau

5:55

rien ne fonctionnera, ce sera comme

5:58

les gens sympas qui essaient de me parler

5:59

en hébreu à l'eccv la semaine dernière, c'est juste

6:02

n'était pas dans un espace d'intégration mon cerveau

6:04

pourrait comprendre heureusement pour nous notre

6:06

le cerveau peut apprendre à transférer d'un

6:08

imbriquer l'espace à l'autre comme je peux avec

6:11

français et anglais mais ça demande beaucoup

6:13

de travail et de pratique et c'est pareil

6:16

pour les machines revenant de toute façon à notre

6:18

problème nous pourrions trouver le plus similaire

6:21

messages c'est plutôt cool mais comment pourrait

6:23

nous y parvenons comme je l'ai mentionné

6:25

à cause de la naissance du réseau dans ce

6:28

cas, il apprend à créer similaire

6h30

plongements à partir de phrases similaires, nous pouvons

6:32

même le visualiser en deux Dimensions comme

6:35

ce où vous pouvez voir comment deux similaires

6:37

les points représentent des sujets similaires que vous

6:39

pouvez faire beaucoup d'autres choses une fois que vous avez

6:41

ces encastrements comme l'extraction

6:43

mots-clés effectuant une recherche sémantique

6:45

faire une analyse des sentiments ou même

6:47

générer des images comme nous l'avons dit et

6:49

démontré dans les vidéos précédentes j'ai un

6:52

beaucoup de vidéos couvrant ceux-ci et listées

6:55

quelques cahiers intéressants pour apprendre à

6:57

jouer avec les encodages grâce à la cohérence

6:59

équipe maintenant permettez-moi de parler un peu de

7:02

kohilu car ils sont très pertinents pour

7:05

ce cuisinier vidéo ici fournit un

7:07

tout ce dont vous avez besoin si vous travaillez

7:09

dans le domaine de la PNL dont un super

7:11

moyen simple d'utiliser des modèles d'intégration dans

7:14

votre application littéralement avec juste un

7:16

Appel API, vous pouvez intégrer le texte sans

7:18

savoir comment l'intégration

7:21

les modèles fonctionnent l'API le fait pour vous dans

7:23

l'arrière-plan ici vous pouvez voir le

7:25

cahier de recherche sémantique qui utilise

7:27

API cohere pour créer des incorporations d'un

7h30

archive de questions et question

7:32

requêtes pour effectuer ultérieurement une recherche de

7:34

questions similaires à l'aide de cuisinier ici vous

7:37

peut facilement faire tout ce qui concerne le texte

7:39

générer catégoriser et organiser à

7:42

à peu près n'importe quelle échelle que vous pouvez intégrer

7:44

grands modèles de langage formés sur

7:46

des milliards de mots avec quelques lignes de

7:48

code et cela fonctionne dans n'importe quelle bibliothèque que vous

7:51

n'ont même pas besoin de compétences en apprentissage automatique

7:53

pour commencer ils ont même un apprentissage

7:55

des ressources comme le récent cohere pour

7:57

le programme de couleurs d'ai que j'aime beaucoup

8h00

ce programme est un incroyable

8:01

opportunité pour les talents émergents en PNL

8:04

recherche dans le monde entier si sélectionné

8:06

vous travaillerez aux côtés de leur équipe

8:08

et avoir accès à une grande échelle

8:10

cadre expérimental et cohérence

8:12

experts ce qui est plutôt cool moi aussi

8:15

vous invite à rejoindre leur super Discord

8:17

Communauté ingénieusement appelée Co Unity I

8:21

J'espère que vous avez apprécié cette vidéo et que vous le ferez

8:23

essayez par vous-même avec le

8:25

premier lien ci-dessous, je suis sûr que vous le ferez

8:27

profitez-en merci beaucoup pour

8:29

regarder toute la vidéo et merci à

8:31

toute personne soutenant mon travail en laissant un

8:33

like commenter ou essayer nos sponsors

8:36

que je sélectionne avec soin pour ces vidéos