100 dias de IA, dia 11: Tornando-se um assistente de ajuste fino em aplicativos Gen AI

Se você tem seguido a IA generativa ou o espaço LLM, você já deve ter ouvido falar sobre o Finetuning. Neste post vamos tentar entender o que é o ajuste fino e qual o seu papel no desenvolvimento de aplicações de geração de IA.

O que é ajuste fino?

O ajuste fino é um processo de modificação de um modelo básico de uso geral para fazê-lo funcionar em um caso de uso especializado. Por exemplo, pegue o modelo gpt-3 da Open AI. Gpt-3 é um modelo básico que foi ajustado com o propósito de ser um chat bot que resultou no que as pessoas agora chamam de aplicativo chat-gpt. Outro exemplo seria a modificação do modelo GPT-4 para ser um copiloto para codificadores, o que foi feito para criar o copiloto GitHub.

Por que precisamos ajustar os modelos básicos?

O ajuste fino nos permite superar a limitação dos modelos básicos. Modelos básicos como o gpt-3 da Open AI ou o Llama da Meta geralmente são treinados em todos os dados da Internet. Mas eles não têm o contexto dos dados internos da sua organização. E não é possível fornecer todos os dados relevantes para sua organização ou caso de uso proprietário via prompt. O ajuste fino nos permite ajustar muito mais dados do que a engenharia imediata nos permite. O ajuste fino também permite que o modelo gere resultados consistentes, reduza alucinações e personalize o modelo para um caso de uso específico.

Qual a diferença entre o ajuste fino e a engenharia imediata?

Vimos como a engenharia imediata pode ser poderosa nos posts anteriores . Então, como o ajuste fino é diferente? O ajuste fino é para casos de uso de aplicativos corporativos, enquanto a engenharia imediata é para casos de uso gerais e não requer dados. Ele pode ser usado com dados adicionais com RAG como técnica, mas não pode ser usado com grandes dados existentes em casos de uso corporativo. O ajuste fino permite dados ilimitados, faz com que o modelo aprenda novas informações, também pode ser usado junto com um RAG.

Comparando resposta com ajuste fino e resposta sem ajuste fino

Vamos dar um exemplo que pode lhe dar uma melhor intuição da diferença entre modelos com ajuste fino e modelos sem ajuste fino. Estou usando as bibliotecas do Lamini para chamar modelos Llama ajustados e não ajustados para mostrar a diferença. Você precisará da chave API do Lamini para essa finalidade. Lamini fornece uma maneira simples e fácil de interagir com LLMs de código aberto. Confira aqui se quiser saber mais sobre isso.

Neste exemplo, fiz a mesma pergunta a ambos os modelos: “O que você acha da morte?” e aqui estão as respostas.

Resposta do modelo Llama não ajustado:

Resposta do modelo Finetuned Llama:

Você notará que a primeira resposta foi apenas a repetição de uma única linha, enquanto a segunda resposta foi muito mais coerente. Antes de falar sobre o que está acontecendo aqui vamos dar outro exemplo onde pergunto à modelo “Qual é o seu primeiro nome?”. Aqui está o que eu tenho.

Resposta do modelo Llama não ajustado:

Resposta do modelo Finetuned Llama:

Nas respostas do modelo não ajustado, as respostas são estranhas porque o modelo está fazendo apenas uma coisa. Ele está tentando prever o próximo texto provável com base no texto de entrada, mas também não está percebendo que você fez uma pergunta. Modelos baseados em dados da Internet são máquinas de previsão de texto e tentam prever o próximo melhor texto. Com o ajuste fino, o modelo é treinado para basear sua resposta fornecendo dados adicionais e aprende um novo comportamento que é atuar como um chatbot destinado a responder perguntas. Observe também que na maioria dos modelos fechados, como gpt-3 ou gpt-4 da Open AI, não sabemos exatamente em quais dados eles são treinados. Mas existem alguns conjuntos de dados abertos interessantes que podem ser usados para treinar seus modelos. Mais sobre isso mais tarde.

É isso no dia 11 de 100 dias de IA.

Escrevo um boletim informativo chamado Above Average, onde falo sobre os insights de segunda ordem por trás de tudo o que está acontecendo nas grandes tecnologias. Se você trabalha com tecnologia e não quer ser mediano, inscreva-se .

Siga-me no Twitter , LinkedIn ou HackerNoon para obter as atualizações mais recentes sobre os 100 dias de IA. Se você trabalha com tecnologia, pode estar interessado em ingressar na minha comunidade de profissionais de tecnologia aqui .