Cómo utilizar un modelo de IA sin censura y entrenarlo con sus datos

Los días en que ChatGPT era la solución singular en la industria de la IA quedaron atrás. Han entrado en escena nuevos jugadores como LLaMA y Gemini, desarrollados por Meta y Google respectivamente. A pesar de las diferentes herramientas e implementaciones, comparten algo en común: son de código cerrado (con algunas excepciones para LLaMA) y están bajo el control de grandes empresas de tecnología.

Este artículo explora un nuevo competidor en la industria de la IA, que cuenta con una herramienta de código abierto que supera a ChatGPT 3.5 y se puede ejecutar localmente. También aprenderemos a utilizarlo sin censura y a entrenarlo con nuestros propios datos.

Presentamos Mistral 8x7B

Mistral es una startup francesa, fundada por antiguos investigadores de Meta y DeepMind. Aprovechando su amplio conocimiento y experiencia, lograron recaudar 415 millones de dólares en inversiones, elevando la valoración de Mistral a 2 mil millones de dólares.

El equipo de Mistral comenzó a ganar terreno cuando lanzaron un enlace de torrent en X a su nuevo modelo, Mistral 8x7B. Según la licencia Apache 2.0, este modelo no sólo es más potente que LLaMA 2 y ChatGPT 3.5 sino que también es completamente de código abierto.

Poder y capacidades de Mistral

• Maneja un contexto de 32k tokens.

• Funciones en inglés, alemán, español, italiano y francés.

• Muestra un rendimiento excelente al generar código.

• Se puede transformar en un modelo que sigue instrucciones.

En las pruebas, Mistral demostró una potencia notable, superando al LLaMA 2 70B en la mayoría de los puntos de referencia y también igualando o superando al ChatGPT 3.5 en otros puntos de referencia.

Ejecutando Mistral localmente

Más allá de las figuras y tablas, comencemos a ser prácticos. Primero, necesitaremos una herramienta que nos ayude a ejecutarlo localmente: Ollama . Los usuarios de MacOS pueden descargar el archivo aquí . Para usuarios de Linux o WSL, pegue los siguientes comandos en su terminal:

 curl https://ollama.ai/install.sh | sh

Luego podemos ejecutar LLM localmente, pero no buscamos simplemente que una IA responda preguntas aleatorias: para eso está ChatGPT. Nuestro objetivo es una IA sin censura que podamos modificar y ajustar según nuestras preferencias.

Teniendo esto en cuenta, usaremos Dolphin-Mistral, una versión personalizada de Mistral que elimina todas las restricciones. Para obtener más información sobre cómo Dolphin-mistral eliminó estas restricciones, consulte este artículo de su creador.

Ejecute el siguiente comando en su terminal para comenzar a ejecutar Ollama en su computadora:

 ollama serve

Luego, en otra terminal, ejecuta:

 ollama run dolphin-mistral:latest

La descarga inicial puede llevar mucho tiempo, ya que requiere descargar 26 GB. Una vez que se complete la descarga, mistral esperará su opinión.

Recuerde, ejecutar Dolphin-mistral requiere recursos sustanciales del sistema, particularmente RAM.

Entrenando tu propio modelo

Ahora bien, quizás te estés preguntando sobre las posibilidades de entrenar a mistral con tus datos. La respuesta es un sí rotundo.

Comience creando una cuenta en Hugging Face (si aún no la ha hecho) y luego cree un nuevo espacio.

Elija Docker para Autotrain

Desde aquí, puedes seleccionar tu modelo, cargar tus datos y comenzar a entrenar. Entrenar un modelo en una computadora doméstica puede ser un desafío debido a las demandas de hardware.

Servicios como Hugging Face ofrecen potencia informática (por una tarifa), pero también puedes considerar Amazon Bedrock o Google Vertex AI para acelerar el proceso.