É você 👆? Você não fez CompSci, então agora você é o bobo da corte, tentando rapidamente ampliar o conhecimento na __ __ que o mundo já viu? Respire. Aqui está um post voltando ao básico onde você pode fazer “ e não se sentir julgado. indústria de evolução mais rápida uma pergunta realmente idiota” Um pequeno glossário de termos LLM para quem está aprendendo — Mais do que aparenta…Um tipo de modelo usado em aprendizado de máquina, especialmente para lidar com sequências de dados como texto ou áudio. É bom para compreender o das frases e pode ser usado para traduzir idiomas, resumir textos ou gerar respostas de chatbot. Transformer contexto É como um enorme banco de dados de conhecimento linguístico que pode escrever artigos, responder perguntas ou criar diálogos realistas. Large Language Model (LLM) — Um Transformer é uma técnica usada em IA para processar linguagem. Um LLM é um grande modelo de IA para tarefas de linguagem, geralmente construído usando a técnica Transformer. – A parte de um sistema de computador ou software que permite aos usuários interagir com ele. Pense nisso como o front-end de um programa onde você digita sua pergunta ou comando e o programa responde. Interface — Na IA, isso significa usar um modelo treinado para fazer previsões ou decisões. Por exemplo, depois de treinar um modelo para reconhecer gatos em imagens, a inferência ocorre quando o modelo olha para uma nova imagem e decide se há um gato nela.🐈⬛ Inferência - Uma forma de treinar máquinas onde você dá exemplos com respostas ao modelo. Como mostrar a um programa muitas fotos de gatos e dizer “Isto é um gato” para que ele aprenda como são os gatos. Aprendizagem Supervisionada — Treinar uma máquina sem dar-lhe as respostas. O modelo analisa os dados e tenta encontrar padrões ou grupos por conta própria. Por exemplo, ele pode classificar diferentes tipos de música em gêneros sem saber os nomes dos gêneros. ( Aprendizagem não supervisionada heeeyo) – Ensinando máquinas por meio de tentativa e erro. A máquina faz escolhas em uma situação e recebe recompensas ou penalidades com base no fato de suas escolhas serem boas ou más, aprendendo com o tempo a tomar melhores decisões ( Aprendizado por Reforço ou a tornar-se ressentida e reservada). — Projetada para funcionar um pouco como um cérebro humano. Consiste em muitas pequenas unidades (como células cerebrais) que trabalham juntas para processar informações e resolver problemas. Rede Neural Criando um LLM Coletando seus dados Comece coletando uma ampla variedade de dados de texto. Isso pode incluir livros, artigos online ou dados de bancos de dados. Quanto mais diversificados forem seus dados, melhor será seu LLM na compreensão de diferentes aspectos da linguagem. Kaggle possui ótimos dados para projetos de ML e ciência de dados. Confira . o grande mestre local australiano e Kaggle, Jeremy Howard geralmente hospeda conjuntos de dados publicados por pesquisadores e desenvolvedores. Bom lugar para pesquisar. O GitHub Vale a pena mencionar - Google Scholar para conjuntos de dados relacionados a artigos + sites governamentais Pré-processamento de dados Agora, Esta etapa trata de corrigir erros, remover partes que não são úteis e organizá-las para que sua IA possa aprender com elas de maneira eficaz. limpe esses dados. Considerações Como você lidará com valores ausentes, corrigirá problemas de formatação e lidará com dados duplicados? Escolhendo uma arquitetura de modelo A arquitetura do modelo é essencialmente o design ou estrutura do modelo, atuando como o modelo que orienta como a IA processa as informações. A arquitetura do Transformer é especialmente adaptada para lidar com dados sequenciais como texto, com foco na compreensão do contexto dos dados, e continuaremos com isso por hoje. Treinando o modelo Alimente os dados preparados em seu modelo de IA. É aqui que sua IA começa a aprender as complexidades da linguagem. O treinamento pode consumir tempo e recursos, especialmente com muitos dados. (É aqui que gostaria de mencionar meus amigos do , o podcast será lançado em breve) Unsloth Teste e refinamento Após o treinamento, avalie quão bem sua IA entende e gera a linguagem. Dependendo dos resultados, pode ser necessário ajustar e treinar novamente para melhorar seu desempenho. Executando o LLM Agora, como você comanda a fera? Em vez de construir um LLM do zero, você pode usar para acessar modelos já treinados em quantidades absurdas de dados. Você pode executar esses modelos em seu serviço de nuvem ou baixá-los para execução local em sua máquina. o Hugging Face Independentemente da sua escolha, o segredo é ter um modelo de LLM treinado seja pela internet ou diretamente no computador. e meios de interagir com ele, Esta é a primeira parte de uma série de postagens que visam reduzir a barreira de compreensão e adoção de IA de código aberto. Eu escrevo e produzo podcasts aqui- Aprendizagem (não) supervisionada Outros links aqui https://linktr.ee/Unsupervisedlearning Também publicado aqui
