Grandes modelos de linguagem. Você deve ter ouvido essas palavras antes. Eles representam um tipo específico de algoritmo baseado em aprendizado de máquina que entende e pode gerar linguagem, um campo geralmente chamado ou NLP. de processamento de linguagem natural Você certamente já ouviu falar do modelo de linguagem mais conhecido e poderoso: . GPT-3 GPT-3, como descrevi no vídeo que cobre, é capaz de pegar a linguagem, entendê-la e gerar linguagem em troca. Mas tenha cuidado aqui; realmente não o entende. Na verdade, está longe de entender. O GPT-3 e outros modelos baseados em linguagem apenas usam o que chamamos de dicionários de palavras para representá-los como números, lembrar suas posições na frase e pronto. Vamos mergulhar nesses poderosos modelos de aprendizado de máquina e tentar entender o que eles veem em vez de palavras, chamados de incorporação de palavras, e como produzi-los com um exemplo fornecido pelo Cohere. Saiba mais no vídeo... Referências ►Leia o artigo completo: ►Tutorial de incorporação de palavras do BERT: ►Cohere's Notebook do exemplo de código: ►Cohere Repos focado em embeddings: ►Meu boletim informativo (um novo aplicativo de IA explicado semanalmente para seus e-mails!): https://www.louisbouchard.ai/text-embedding/ https://mccormickml.com/2019/05/14/BERT-word-embeddings-tutorial/#why-bert-embeddings https://colab.research.google.com/github/cohere-ai/notebooks/blob/main/notebooks/Basic_Semantic_Search.ipynb https://github.com/cohere-ai/notebooks https://www.louisbouchard.ai/newsletter/ Transcrição de vídeo 0:07 modelos de linguagem que você deve ter ouvido 0:10 essas palavras antes de representarem um 0:13 tipo específico de aprendizado de máquina 0:14 algoritmos que entendem e podem 0:16 gerar linguagem um campo frequentemente chamado 0:19 processamento de linguagem natural ou PNL 0:22 você certamente já ouviu falar do mais conhecido 0:24 e poderosos modelos de linguagem como gpt3 0:26 gpt3 como descrevi no vídeo 0:28 cobri-lo é capaz de levar linguagem 0:30 entendê-lo e gerar linguagem em 0:33 retorne mas cuidado aqui não 0:35 realmente entendo isso na verdade é longe 0:38 da compreensão de gbd3 e outros 0:41 modelos baseados em linguagem meramente usam o que nós 0:44 chamar dicionários de palavras para representar 0:46 eles como números lembram suas posições 0:49 na frase e é isso usando um 0:52 poucos números e números posicionais 0:53 chamados embeddings, eles são capazes de 0:55 reagrupar frases semelhantes que também 0:58 significa que eles são capazes de 1:00 entender frases comparando-as 1:02 a frases conhecidas como nosso conjunto de dados 1:05 é o mesmo processo para frase de imagem 1:07 modelos que levam sua frase para 1:10 gerar uma imagem que eles realmente não 1:11 entendê-lo, mas eles podem compará-lo com 1:13 imagens semelhantes produzindo algum tipo de 1:16 compreensão dos conceitos em seu 1:18 frase neste vídeo teremos uma 1:20 veja o que essas poderosas máquinas 1:22 modelos de aprendizagem veem em vez de palavras 1:24 chamadas de incorporação de palavras e como 1:27 produzi-los com um exemplo fornecido por 1:29 o patrocinador deste vídeo um grande 1:31 empresa no campo da PNL coerente que eu 1:35 vai falar no final do vídeo 1:36 pois eles têm uma plataforma fantástica para 1:39 PNL, falamos sobre incorporações e 1:42 gpt3 mas qual é o link entre os dois 1:44 emissões são o que é visto pelos modelos 1:47 e como eles processam as palavras que conhecemos 1:50 e por que usar embeddings bem porque como 1:53 de agora as máquinas não podem processar palavras e 1:56 precisamos de números para treinar esses 1:59 modelos grandes graças ao nosso cuidado 2:01 conjunto de dados construídos, podemos usar a matemática para 2:04 medir a distância entre as incorporações 2:06 e corrija nossa Rede com base nisso 2:08 distância obtendo iterativamente nosso 2:10 previsões mais próximas do real significado 2:12 e melhorando os resultados e reuniões 2:15 também são o que os modelos gostam de clipe 2:17 difusão estável ou Dali usado para 2:19 entender frases e gerar imagens 2:21 isso é feito comparando as duas imagens 2:24 e texto no mesmo espaço de incorporação 2:26 o que significa que o modelo não 2:28 entender texto ou imagens, mas 2:31 pode entender se uma imagem é semelhante a 2:33 um texto específico ou não, se encontrarmos 2:36 pares de legenda de imagem suficientes que podemos treinar 2:38 um modelo enorme e poderoso como Dali para 2:41 pegue uma frase incorpore-a encontre seu 2:43 clone de imagem mais próximo e gerá-lo em 2:46 retornar para que o aprendizado de máquina com texto seja 2:48 tudo sobre como comparar incorporações, mas como 2:51 nós obtemos essas incorporações nós as obtemos 2:53 usando outro modelo treinado para encontrar o 2:56 melhor maneira de gerar embeddings semelhantes 2:58 para frases semelhantes, mantendo o 3:01 diferenças de significado para palavras semelhantes 3:03 em comparação com o uso de um reto para um 3:06 dicionário as frases são geralmente 3:08 representado com marcações de fichas especiais 3:10 o começo e o fim do nosso texto então 3:13 como eu disse, temos nossas poses de todos 3:15 incorporações que indicam a posição 3:17 de cada palavra em relação à outra 3:19 muitas vezes usando funções senoidais I 3:22 vinculou um ótimo artigo sobre isso no 3:25 descrição se você gostaria de aprender mais 3:26 finalmente temos nossas incorporações de palavras 3:29 comece com todas as nossas palavras sendo divididas 3:31 em uma matriz como uma tabela de palavras 3:34 a partir de agora não há mais palavras 3:36 eles são apenas tokens ou números do 3:40 todo o dicionário de inglês que você pode ver 3:42 aqui que todas as palavras agora são 3:44 representado por um número que indica onde 3:46 estão no dicionário tendo assim 3:49 o mesmo número para a palavra Banco mesmo 3:51 embora seus significados sejam diferentes em 3:53 a frase que temos agora precisamos adicionar 3:56 um pouco de inteligência para isso, mas 3:58 não muito isso é feito graças a um 4:00 modelo treinado para levar esta nova lista de 4:03 números e codificá-los ainda mais em 4:05 outra lista de números que melhor 4:08 representam a frase por exemplo 4:10 não terá mais a mesma incorporação 4:13 para o banco de duas palavras aqui é 4:15 possível porque o modelo usado para fazer 4:17 que foi treinado em muitos 4:19 anotou dados de texto e aprendeu a 4:21 codificar frases de significado semelhante ao lado 4:24 uns aos outros e frases opostas longe 4:27 uns dos outros, permitindo assim a nossa 4:29 incorporações sejam menos tendenciosas por nossos 4:31 escolha de palavras, em seguida, o simples inicial 4:34 incorporação de uma por uma palavra inicialmente 4:37 tinha aqui está o que o uso de imagens parece 4:39 como em um exemplo muito curto de PNL lá 4:42 há mais links abaixo para saber mais sobre 4:44 embeddings e como codificar você mesmo 4:46 aqui vamos pegar algumas postagens do Hacker News 4:49 e crie um rótulo de modelo para recuperar o 4:51 postagem mais semelhante de uma nova entrada 4:53 frase para começar, precisamos de um conjunto de dados em 4:56 neste caso, é um conjunto pré-embutido de 4:58 3000 postagens do Hacker News que já 5:01 foram emitidos em números, então nós construímos 5:04 uma memória salvando todas essas incorporações para 5:07 comparação futura nós basicamente apenas 5:09 salvou essas incorporações de forma eficiente 5:11 maneira quando uma nova consulta é feita, por exemplo 5:13 aqui perguntando qual é o seu mais profundo 5:16 a vida dentro de você pode gerar sua 5:18 incorporação usando a mesma incorporação 5:20 Rede geralmente é bird ou uma versão 5:23 dela e comparamos a distância 5:25 entre o espaço de incorporação para todos os outros 5:27 Postagens do Hacker News em nossa nota de memória 5:30 que é muito importante aqui 5:32 use sempre a mesma rede seja para 5:34 gerar seu conjunto de dados ou para consultar 5:36 como eu disse não existe real 5:38 inteligência aqui nem que realmente 5:40 entende as palavras que acabou de ser 5:42 treinado para incorporar frases semelhantes 5:45 nas proximidades do espaço não tripulado nada 5:47 mais se você enviar sua sentença para um 5:50 rede diferente para gerar um 5:51 incorporação e comparar a incorporação com 5:53 os que você tinha de outra Rede 5:55 nada vai funcionar será apenas como 5:58 as pessoas legais que tentam falar comigo 5:59 em hebraico no eccv na semana passada, apenas 6:02 não estava em um espaço de incorporação meu cérebro 6:04 poderia compreender felizmente para nós o nosso 6:06 cérebro pode aprender a transferir de um 6:08 incorporando espaço a outro como posso com 6:11 francês e inglês, mas exige muito 6:13 de trabalho e prática e é o mesmo 6:16 para máquinas de qualquer maneira voltando para o nosso 6:18 problema, poderíamos encontrar o mais semelhante 6:21 postagens que são muito legais, mas como poderia 6:23 nós conseguimos isso como eu mencionei é 6:25 por causa do nascimento da rede neste 6:28 caso aprenda a criar semelhantes 6:30 incorporações de frases semelhantes, podemos 6:32 mesmo visualizá-lo em duas dimensões como 6:35 aqui você pode ver como dois semelhantes 6:37 pontos representam assuntos semelhantes que você 6:39 pode fazer muitas outras coisas depois de ter 6:41 essas incorporações como extrair 6:43 palavras-chave realizando uma pesquisa semântica 6:45 fazendo análise de sentimento ou mesmo 6:47 gerando imagens como dissemos e 6:49 demonstrado em vídeos anteriores eu tenho um 6:52 muitos vídeos cobrindo esses e listados 6:55 alguns cadernos interessantes para aprender a 6:57 brinque com codificações graças ao cohere 6:59 equipe agora deixe-me falar um pouco sobre 7:02 kohilu, pois são altamente relevantes para 7:05 este cozinheiro de vídeo aqui fornece uma 7:07 tudo o que você precisa se estiver trabalhando 7:09 no campo da PNL, incluindo um super 7:11 maneira simples de usar modelos de incorporação em 7:14 seu aplicativo literalmente com apenas um 7:16 chamada de API, você pode incorporar o texto sem 7:18 sabendo nada sobre como a incorporação 7:21 modelos funcionam, a API faz isso para você em 7:23 o fundo aqui você pode ver o 7:25 caderno de pesquisa semântica que usa 7:27 API coerente para criar incorporações de um 7:30 arquivo de perguntas e perguntas 7:32 consultas para depois realizar a pesquisa de 7:34 perguntas semelhantes usando cozinheiro aqui você 7:37 pode facilmente fazer qualquer coisa relacionada ao texto 7:39 gerar categorizar e organizar em 7:42 praticamente qualquer escala que você possa integrar 7:44 grandes modelos de linguagem treinados em 7:46 bilhões de palavras com algumas linhas de 7:48 código e funciona em qualquer biblioteca que você 7:51 nem precisa de habilidades de aprendizado de máquina 7:53 para começar eles ainda têm aprendizado 7:55 recursos como o recente Cohere para 7:57 programa de cores da ai que eu gosto muito 8:00 esse programa é incrível 8:01 oportunidade para talentos emergentes em PNL 8:04 pesquisa em todo o mundo se selecionado 8:06 você vai trabalhar ao lado de sua equipe 8:08 e ter acesso a uma grande escala 8:10 quadro experimental e coerente 8:12 especialistas, o que é muito legal. Eu também 8:15 convidá-lo para se juntar ao seu grande Discord 8:17 Comunidade engenhosamente chamada de Co Unity I 8:21 espero que você tenha gostado deste vídeo e vai 8:23 experimente você mesmo com o 8:25 primeiro link abaixo, tenho certeza que você vai 8:27 aproveite muito obrigado por 8:29 assistindo o vídeo inteiro e graças a 8:31 qualquer um apoiando meu trabalho deixando um 8:33 curta, comente ou experimente nossos patrocinadores 8:36 que seleciono cuidadosamente para esses vídeos
