LLMs for Dummies: guia passo a passo e glossário

É você 👆? Você não fez CompSci, então agora você é o bobo da corte, tentando rapidamente ampliar o conhecimento na __ indústria de evolução mais rápida __ que o mundo já viu?

Respire. Aqui está um post voltando ao básico onde você pode fazer “ uma pergunta realmente idiota” e não se sentir julgado.

Um pequeno glossário de termos LLM para quem está aprendendo

Transformer — Mais do que aparenta…Um tipo de modelo usado em aprendizado de máquina, especialmente para lidar com sequências de dados como texto ou áudio. É bom para compreender o contexto das frases e pode ser usado para traduzir idiomas, resumir textos ou gerar respostas de chatbot.

Large Language Model (LLM) — É como um enorme banco de dados de conhecimento linguístico que pode escrever artigos, responder perguntas ou criar diálogos realistas.

Um Transformer é uma técnica usada em IA para processar linguagem. Um LLM é um grande modelo de IA para tarefas de linguagem, geralmente construído usando a técnica Transformer.

Interface – A parte de um sistema de computador ou software que permite aos usuários interagir com ele. Pense nisso como o front-end de um programa onde você digita sua pergunta ou comando e o programa responde.

Inferência — Na IA, isso significa usar um modelo treinado para fazer previsões ou decisões. Por exemplo, depois de treinar um modelo para reconhecer gatos em imagens, a inferência ocorre quando o modelo olha para uma nova imagem e decide se há um gato nela.🐈‍⬛

Aprendizagem Supervisionada - Uma forma de treinar máquinas onde você dá exemplos com respostas ao modelo. Como mostrar a um programa muitas fotos de gatos e dizer “Isto é um gato” para que ele aprenda como são os gatos.

Aprendizagem não supervisionada ( heeeyo) — Treinar uma máquina sem dar-lhe as respostas. O modelo analisa os dados e tenta encontrar padrões ou grupos por conta própria. Por exemplo, ele pode classificar diferentes tipos de música em gêneros sem saber os nomes dos gêneros.

Aprendizado por Reforço – Ensinando máquinas por meio de tentativa e erro. A máquina faz escolhas em uma situação e recebe recompensas ou penalidades com base no fato de suas escolhas serem boas ou más, aprendendo com o tempo a tomar melhores decisões ( ou a tornar-se ressentida e reservada).

Rede Neural — Projetada para funcionar um pouco como um cérebro humano. Consiste em muitas pequenas unidades (como células cerebrais) que trabalham juntas para processar informações e resolver problemas.

Criando um LLM

Coletando seus dados

Comece coletando uma ampla variedade de dados de texto. Isso pode incluir livros, artigos online ou dados de bancos de dados. Quanto mais diversificados forem seus dados, melhor será seu LLM na compreensão de diferentes aspectos da linguagem.

Kaggle possui ótimos dados para projetos de ML e ciência de dados. Confira o grande mestre local australiano e Kaggle, Jeremy Howard .

O GitHub geralmente hospeda conjuntos de dados publicados por pesquisadores e desenvolvedores. Bom lugar para pesquisar.

Vale a pena mencionar - Google Scholar para conjuntos de dados relacionados a artigos + sites governamentais

Pré-processamento de dados

Agora, limpe esses dados. Esta etapa trata de corrigir erros, remover partes que não são úteis e organizá-las para que sua IA possa aprender com elas de maneira eficaz.

Considerações

Como você lidará com valores ausentes, corrigirá problemas de formatação e lidará com dados duplicados?

Escolhendo uma arquitetura de modelo

A arquitetura do modelo é essencialmente o design ou estrutura do modelo, atuando como o modelo que orienta como a IA processa as informações.

A arquitetura do Transformer é especialmente adaptada para lidar com dados sequenciais como texto, com foco na compreensão do contexto dos dados, e continuaremos com isso por hoje.

Treinando o modelo

Alimente os dados preparados em seu modelo de IA. É aqui que sua IA começa a aprender as complexidades da linguagem. O treinamento pode consumir tempo e recursos, especialmente com muitos dados. (É aqui que gostaria de mencionar meus amigos do Unsloth , o podcast será lançado em breve)

Teste e refinamento

Após o treinamento, avalie quão bem sua IA entende e gera a linguagem. Dependendo dos resultados, pode ser necessário ajustar e treinar novamente para melhorar seu desempenho.

Executando o LLM

Agora, como você comanda a fera?

Em vez de construir um LLM do zero, você pode usar o Hugging Face para acessar modelos já treinados em quantidades absurdas de dados. Você pode executar esses modelos em seu serviço de nuvem ou baixá-los para execução local em sua máquina.

Independentemente da sua escolha, o segredo é ter um modelo de LLM treinado e meios de interagir com ele, seja pela internet ou diretamente no computador.

Esta é a primeira parte de uma série de postagens que visam reduzir a barreira de compreensão e adoção de IA de código aberto.

Eu escrevo e produzo podcasts aqui-

Aprendizagem (não) supervisionada

Outros links aqui https://linktr.ee/Unsupervisedlearning

Também publicado aqui