Vicunha: Como se compara a Llama, Alpaca e ChatGPT?

Como fundador de uma startup de IA, você provavelmente sabe o impacto de grandes modelos de linguagem como o ChatGPT no avanço da IA de conversação.

No entanto, com custos de licenciamento comercial, problemas de censura, desempenho degradado, preocupações com privacidade e caixas pretas, esses modelos proprietários permanecem fora do alcance de muitas startups.

É aqui que entra um projeto de código aberto chamado Vicuna. Desenvolvido por uma equipe de pesquisadores de instituições como Stanford, o Vicuna é um modelo conversacional de código aberto que atinge mais de 90% da qualidade do ChatGPT. Isso o torna uma alternativa interessante para modelos fechados como o GPT-4.

Inscreva-se ou siga-me no Twitter para mais conteúdo como este!

Neste artigo, exploraremos o que é a Vicuna, como ela funciona, seus recursos e como você pode aproveitá-la como um fundador de IA. Veremos como ele se compara a concorrentes como o ChatGPT e o modelo básico LLaMA.

Também compartilharei algumas dicas e guias úteis que você pode seguir para obter mais informações sobre aspectos específicos do modelo.

Vamos nos concentrar na Vicunha-13b para este artigo, mas existem muitos modelos de Vicunha de tamanhos diferentes para você experimentar. Vamos começar!

Observação: o Vicuna não é o único modelo disponível para ajustar o LLaMA para bate-papo. Confira nossos guias sobre como usar LLaMA v2 , Alpaca e LLaMA-v2-chat para aplicativos de conversação.

Uma Visão Geral da Vicunha

No mundo da IA conversacional, vimos um progresso surpreendente recentemente com modelos como o ChatGPT demonstrando habilidades notáveis de linguagem natural. No entanto, como um modelo proprietário com todos os problemas descritos acima, o ChatGPT continua sendo uma opção ruim para muitos desenvolvedores.

Portanto, há uma necessidade de modelos mais acessíveis e abertos que possam capacitar a inovação em aplicativos de conversação.

É aqui que entra o Vicuna. Desenvolvido por pesquisadores de instituições líderes como Stanford, Berkeley e MBZUAI, o Vicuna representa IA de conversação aberta de ponta.

Ele foi criado ajustando o modelo LLaMA em dados de diálogo selecionados, demonstrando o poder do aprendizado de transferência de um modelo de fundação de código aberto.

Apesar de ser menor em tamanho que o ChatGPT, o Vicuna iguala sua qualidade de conversação e supera significativamente outros modelos abertos.

Mas não se trata apenas de tecnologia com a Vicuna. O que o torna realmente impactante é sua disponibilidade sob uma licença de pesquisa não comercial. Isso abre o acesso à IA de conversação de última geração que antes era restrita apenas a grandes empresas de tecnologia.

Finalmente temos um modelo aberto que pode capacitar a próxima geração de chatbots, assistentes virtuais, mecanismos de pesquisa de conversação e outros aplicativos inovadores.

A promessa da Vicunha já foi demonstrada por meio de projetos bacanas que a alavancam. Por exemplo, o MiniGPT4 usou o Vicuna para construir um assistente virtual inteligente, o LLaVA criou um mecanismo de busca conversacional com ele e o ToolLLaMA explora as habilidades do Vicuna para criação de conteúdo em linguagem natural.

E, claro, você pode adicionar seu próprio projeto a esta lista um dia!

Para desenvolvedores e startups de IA, a Vicunha representa uma nova e empolgante oportunidade. Sua alta capacidade, disponibilidade gratuita e licença de pesquisa permissiva permitem a prototipagem rápida de aplicativos de conversação.

Em vez de serem bloqueadas pelo acesso a modelos proprietários, as startups agora podem validar e construir produtos com IA conversacional de ponta. O campo de jogo acabou de ser nivelado.

Assim, em resumo, a Vicunha promete democratizar o acesso à inteligência conversacional de primeira linha. Seu surgimento representa um marco importante na criação de modelos de IA abertos que capacitam a inovação.

Para qualquer startup que queira alavancar a IA conversacional, o Vicuna é definitivamente um projeto que vale a pena prestar atenção!

Como foi criada a vicunha? O que o torna especial?

A história da Vicunha começa com o LLaMA, um modelo de linguagem de código aberto desenvolvido pela Meta AI. Embora capaz, o LLaMA não tinha habilidades de conversação inerentes, concentrando-se principalmente na linguagem em si, e não na arte da conversação.

Pesquisadores de instituições como Stanford, Berkeley e MBZUAI decidiram mudar isso. Seu objetivo era criar um modelo de conversação de código aberto que rivalizasse com chatbots proprietários como o ChatGPT.

A propósito, qual é a diferença entre um modelo de IA treinado para processar e analisar texto (como o LLaMA) e um especializado para bate-papo (como o Vicuna)? Existem alguns fatores-chave que diferenciam os dois:

• Arquitetura - Modelos de conversação como o Vicuna possuem uma estrutura de codificador-decodificador otimizada para diálogo. O codificador contextualiza o histórico da conversa e a entrada atual do usuário. O decodificador então gera uma resposta relevante. Modelos de linguagem geral como o LLaMA carecem dessa arquitetura especializada.

• Objetivo do treinamento - Modelos como o Vicuna são ajustados para maximizar o desempenho especificamente em tarefas de conversação. Isso envolve treinamento em conjuntos de dados de diálogo para otimizar as métricas de conversação. O LLaMA é treinado de forma mais geral para texto, não especializado para diálogo.

• Capacidades de vários turnos - Os modelos de conversação precisam lidar com conversas de vários turnos, mantendo o contexto e a coerência em várias trocas. Os modelos gerais de texto avaliam uma entrada por vez.

• Interatividade - A IA conversacional precisa interagir de forma fluida com os usuários, respondendo a perguntas e esclarecimentos de acompanhamento. A avaliação do texto é mais passiva, sem interatividade do usuário.

• Avaliação - Os modelos de conversação exigem uma avaliação mais complexa além das métricas de texto, testando qualidades como consistência, nuances e a capacidade de lidar graciosamente com respostas inadequadas.

Enquanto um modelo geral de linguagem como o LLaMA se concentra mais na análise e geração de texto, sem os requisitos específicos dos agentes de diálogo, o objetivo da IA conversacional é fundamentalmente mais complexo do que a avaliação passiva de texto.

Para esse fim, os pesquisadores que criaram o Vicuna ajustaram o LLaMA em mais de 70.000 trocas de diálogo humano-ChatGPT, especializando o modelo para conversação e ensinando-lhe as características naturais do texto em contextos de conversação.

Esse ajuste fino foi crucial para dar à sua versão do LLaMA a inteligência de conversação que faltava anteriormente. Por meio de treinamento iterativo nos dados de diálogo, o LLaMA foi transformado em Vicuna, um transformador codificador-decodificador otimizado para conversas multiturn.

Quão bem seus esforços funcionaram?

Na arena: avaliando a vicunha em relação a modelos alternativos de IA de bate-papo

Para avaliar as capacidades da Vicunha, os pesquisadores a testaram em 200 diferentes prompts de conversação. Para uma avaliação mais aprofundada, eles fizeram com que o modelo GPT-4 julgasse comparativamente as respostas da Vicunha.

Os resultados demonstraram que o Vicuna alcançou mais de 90% da qualidade do ChatGPT em capacidade de conversação, apesar de ser menor em tamanho. Ele superou significativamente o modelo LLaMA original.

Ao combinar otimizações de arquitetura com ajuste fino especializado em dados de diálogo humano, os pesquisadores aprimoraram com sucesso o LLaMA em um modelo de conversação de código aberto a par dos chatbots proprietários.

Vamos dar uma olhada em um teste frente a frente como exemplo, retirado do site oficial do projeto .

Exemplo de desafio frente a frente entre Vicunha e modelos concorrentes, neste caso, usando o ChatGPT-3.5 como uma possível alternativa.

O site do projeto tem uma coleção de tarefas de exemplo, nas quais tanto o Vicuna-13b quanto os modelos concorrentes são solicitados a competir lado a lado. O modelo GPT-4 é então usado como um juiz para pontuar cada modelo e expor seu raciocínio.

Isso produz algumas comparações realmente reveladoras. Um exemplo é fornecido na imagem acima. Outro é esse desafio, mostrado a seguir:

• Categoria: RPG
• Pergunta: Como você se apresentaria como um cavaleiro medieval em um banquete real?

Resposta do LLaMA-13b:

"Sou um cavaleiro valente, leal ao rei. Farei o possível para defender sua honra e proteger seu país. (Coxo! Pontuação de 7/10 pelo GPT-4, muito generoso em minha opinião.)"

Vicunha-13b:

**"**Como um cavaleiro medieval, eu me apresentaria em um banquete real com uma profunda reverência e um discurso respeitoso, reconhecendo minhas origens humildes e minha lealdade à coroa. Eu diria algo como:

"Meus senhores e senhoras, sou um humilde cavaleiro, que jurei servir e proteger o reino. Venho de uma longa linhagem de guerreiros que lutaram para defender este reino por gerações. Sinto-me honrado por estar aqui hoje, na presença de empresa tão estimada, e espero ganhar sua confiança e respeito com meus atos e ações. Prometo minha espada, meu escudo e minha vida ao serviço de meu rei e meu povo."

Eu então me sentaria no banquete, pronto para ouvir e aprender com os sábios conselhos de meus superiores, e para servi-los da maneira que pudesse."

Uau! Muito melhor resposta da Vicunha. Aqui está o raciocínio do GPT-4 explicando o que torna a Vicuna uma alternativa superior ao LLaMA.

O assistente 1 [LLaMA] forneceu uma resposta breve e relevante, mas faltou o detalhe e a formalidade esperados na introdução de um cavaleiro medieval. A Assistente 2 [Vicunha] , por outro lado, ofereceu uma resposta mais abrangente e bem estruturada, incluindo um discurso respeitoso que mostrava a humildade, lealdade e dedicação do cavaleiro ao reino. Esta resposta era mais adequada ao contexto de um banquete real e demonstrava uma melhor compreensão do papel e da etiqueta do cavaleiro medieval.

Embora os LLMs não sejam juízes infalíveis de outros LLMs, os humanos também não são. Acho que o uso da IA para julgar e avaliar a IA é uma maneira bastante escalável e consistente de julgar quais alternativas são as melhores.

Você deve verificar algumas das respostas e tarefas de outros concorrentes no site LMSYS.org .

Vamos tentar nós mesmos: como construir um chatbot básico com Vicuna

Agora que vimos como o modelo se compara a algumas alternativas, vamos ver como podemos construir um chatbot simples com o qual podemos interagir a partir de nossa linha de comando. As etapas do guia fornecido aqui podem ser expandidas para que você possa continuar e criar seu próprio chatbot para seu projeto de IA!

Passo 1: Configuração

Instalar o Node.js : certifique-se de que o Node.js esteja instalado em seu sistema.

Crie um diretório de projeto : execute o seguinte em seu terminal:

 mkdir my-chatbot cd my-chatbot npm init -y npm install replicate

Defina seu token de API : substitua your_api_token_here pelo seu token de API real:

 export REPLICATE_API_TOKEN=your_api_token_here

Passo 2: Escrevendo o Código do Chatbot

Crie um arquivo chamado chatbot.js e adicione o seguinte código:

 const Replicate = require("replicate"); const replicate = new Replicate({ auth: process.env.REPLICATE_API_TOKEN, }); async function generateResponse(prompt) { const output = await replicate.run( "replicate/vicuna-13b:version_hash_here", { input: { prompt: prompt }, } ); return output.items[0]; } const readline = require('readline'); const rl = readline.createInterface({ input: process.stdin, output: process.stdout }); function askQuestion() { rl.question('You: ', async (userInput) => { const botResponse = await generateResponse(userInput); console.log(`Bot: ${botResponse}`); askQuestion(); }); } askQuestion();

Substitua version_hash_here pelo hash da versão correta para o modelo Vicuna 13b.

Passo 3: Executando o Chatbot

Execute o chatbot executando:

 node chatbot.js

Agora você pode enviar uma mensagem para o seu chatbot através da linha de comando!

Não quer construir seu próprio chatbot? Você pode usar esta demonstração para avaliar o desempenho da Vicunha.

A página de detalhes do modelo para Vicuna-13b-v1.3 inclui algumas demos que você pode usar para brincar com o modelo. Aqui está um incorporado para você tentar (você também pode usar este link para acessá-lo se não estiver disponível no link abaixo).

Esta demonstração, criada por zeno-ml, permite comparar modelos e parâmetros adicionais para ver o desempenho do Vicuna em relação a concorrentes como LLaMA, GPT2 e MPT, ao mesmo tempo em que varia a temperatura ou outros parâmetros.

Limitações da Vicunha

Embora as tecnologias de conversação tenham avançado rapidamente, os modelos ainda enfrentam desafios importantes.

• Uma questão é a fundamentação do conhecimento. Os agentes conversacionais carecem de base suficiente no conhecimento factual real, tornando-os propensos a respostas que parecem plausíveis, mas incorretas. Mais aterramento no mundo real poderia melhorar a precisão.

• Habilidades de raciocínio são outra área para melhoria. A realização de raciocínio lógico, inferência causal e operações matemáticas continua sendo difícil para os chatbots. Suas capacidades de raciocínio ainda são limitadas.

• Avaliar a qualidade conversacional dos sistemas de IA em escala também apresenta dificuldades. As soluções atuais, como pedir a um juiz de IA separado, têm falhas. O desenvolvimento de estruturas de avaliação rigorosas é um problema em aberto.

• Além disso, vieses e problemas de segurança persistem devido à dependência de dados de treinamento imperfeitos. Os modelos de conversação às vezes podem se comportar de maneira inadequada ou insegura. Uma melhor curadoria de dados de treinamento é importante.

• Adaptar chatbots para usuários específicos e casos de uso ainda é um desafio. Mais personalização e customização são necessárias para diferentes domínios. Você não pode fazer isso fora da caixa facilmente.

Embora um grande progresso tenha sido feito, essas limitações destacam as principais áreas de melhoria.

O avanço da fundamentação do conhecimento, raciocínio, avaliação, dados de treinamento, personalização e eficiência de implantação pode permitir o próximo nível de inteligência conversacional com modelos como o Vicuna.

Conclusão: Usando Vicuna AI como uma alternativa de código aberto para ChatGPT, LLaMA e outros LLMs

O desenvolvimento do Vicuna demonstra um progresso promissor no avanço da IA de conversação de código aberto.

Ao ajustar a arquitetura do modelo LLaMA e a metodologia de treinamento especificamente para aplicativos de diálogo, os pesquisadores foram capazes de criar um agente de conversação disponível gratuitamente, competitivo com as principais alternativas proprietárias.

No entanto, ainda há trabalho a ser feito para abordar as limitações em torno do raciocínio, avaliação, personalização e outras áreas. Embora modelos como o Vicuna alcancem bons resultados em muitos benchmarks, eles não replicam totalmente a conversa humana abrangente.

A pesquisa em andamento sobre o alinhamento desses modelos será importante.

No entanto, o Vicuna representa um passo valioso na democratização do acesso à inteligência conversacional de última geração.

Para startups e desenvolvedores que criam chatbots, assistentes e outros aplicativos, as opções de código aberto, como o Vicuna, fornecem recursos de boas-vindas sem licenciamento comercial restritivo.

As origens e os detalhes técnicos por trás da Vicuna oferecem informações úteis sobre abordagens de treinamento especializado para IA conversacional. À medida que a pesquisa continua, podemos esperar mais inovações que se baseiam nesses métodos.

Os autores por trás do Vicuna fizeram uma contribuição importante para o código aberto de um agente de diálogo tão capaz.

Embora ainda seja necessário mais progresso, Vicuna demonstra os resultados significativos que podem advir do desenvolvimento de modelos de conversação aberta. Para a comunidade de IA, representa um passo promissor, não o destino final.

Com o trabalho contínuo no avanço dessas tecnologias, o potencial à frente continua empolgante.

Inscreva-se ou siga-me no Twitter para mais conteúdo como este!

Leitura adicional e recursos

Você pode achar esses outros artigos úteis em sua busca para criar o melhor chatbot para seu novo produto ou projeto.

• Detalhes do modelo Vicuna-13b - Uma visão geral do Vicuna com informações básicas do modelo
• Construindo chatbots com Vicuna-13B - Um artigo sobre como usar Vicuna para criar chatbots
• Comparando LLMs para chat: LLaMA v2 vs Vicuna - Uma comparação entre a nova versão 2 do LLaMA e Vicuna
• Modelos de bate-papo LangChain: uma visão geral - LangChain é uma estrutura popular para criar aplicativos de bate-papo

Também publicado aqui