Já se foi o tempo em que ChatGPT era a solução singular na indústria de IA. Novos players como LLaMA e Gemini, desenvolvidos pela Meta e Google respectivamente, entraram em campo. Apesar das diferentes ferramentas e implementações, eles compartilham um ponto em comum: são de código fechado (com algumas exceções para LLaMA) e estão sob o controle de grandes empresas de tecnologia. Este artigo explora um novo concorrente na indústria de IA, apresentando uma ferramenta de código aberto que supera o ChatGPT 3.5 e pode ser executada localmente. Também aprenderemos como usá-lo sem censura e como treiná-lo com nossos próprios dados. Apresentando Mistral 8x7B Mistral é uma startup francesa, fundada por ex-pesquisadores da Meta e DeepMind. Aproveitando seu amplo conhecimento e experiência, eles levantaram com sucesso US$ 415 milhões em investimentos, elevando a avaliação da Mistral para US$ 2 bilhões. A equipe da Mistral começou a ganhar força quando lançou um link de torrent no X para seu novo modelo, Mistral 8x7B. De acordo com a licença Apache 2.0, este modelo não é apenas mais poderoso que o LLaMA 2 e o ChatGPT 3.5, mas também é totalmente de código aberto. Poder e capacidades Mistral Lida com um contexto de 32 mil tokens. Funções em inglês, alemão, espanhol, italiano e francês. Apresenta excelente desempenho ao gerar código. Pode ser transformado em um modelo de seguimento de instruções. Nos testes, o Mistral demonstrou um poder notável, superando o LLaMA 2 70B na maioria dos benchmarks e também igualando ou superando o ChatGPT 3.5 em outros benchmarks. Executando Mistral localmente Indo além das figuras e tabelas, vamos começar a ser práticos. Primeiro, precisaremos de uma ferramenta para nos ajudar a executá-lo localmente: . Os usuários do MacOS podem baixar o arquivo . Para usuários Linux ou WSL, cole os seguintes comandos em seu terminal: Ollama aqui curl https://ollama.ai/install.sh | sh Podemos então executar LLMs localmente, mas não pretendemos simplesmente que uma IA responda a perguntas aleatórias - é para isso que serve o ChatGPT. Nosso objetivo é uma IA sem censura que possamos ajustar e ajustar de acordo com nossas preferências. Considerando isso, usaremos o dolphin-mistral, uma versão customizada do Mistral que elimina todas as restrições. Para saber mais sobre como o golfinho-mistral removeu essas restrições, confira este de seu criador. artigo Execute o seguinte comando em seu terminal para começar a executar o Ollama em seu computador: ollama serve Então, em outro terminal, execute: ollama run dolphin-mistral:latest O download inicial pode ser demorado, pois requer o download de 26 GB. Assim que o download for concluído, o mistral aguardará sua entrada. Lembre-se de que executar o dolphin-mistral requer recursos substanciais do sistema, principalmente RAM. Treinando seu próprio modelo Agora, você deve estar se perguntando sobre as possibilidades de treinar o mistral com seus dados. A resposta é um sim retumbante. Comece criando uma conta no Hugging Face (se ainda não o fez) e depois crie um novo espaço. Escolha Docker para Autotrain A partir daqui, você pode selecionar seu modelo, fazer upload de seus dados e iniciar o treinamento. Treinar um modelo em um computador doméstico pode ser desafiador devido às demandas de hardware. Serviços como o Hugging Face oferecem poder de computação (mediante taxa), mas você também pode considerar o Amazon Bedrock ou o Google Vertex AI para agilizar o processo.
