Este es el año decisivo para la IA generativa Bien; por decir lo menos, este año he tenido muchas opciones para elegir cómo ejecutar un modelo LLM localmente. Empecemos: 1) Transformadores de HuggingFace: Todas las imágenes creadas por Bing Image Creator Para ejecutar Hugging Face Transformers sin conexión a Internet, siga estos pasos: Instale Transformers con las dependencias necesarias y asegúrese de no depender de las actualizaciones automáticas durante la instalación. Puede instalar mediante pip o conda como se describe en la documentación de Hugging Face pip install transformers==4.xy Cargue modelos previamente entrenados desde su máquina local después de descargarlos desde Hugging Face Hub con acceso a Internet. Guarde el modelo usando save_pretrained() y luego cárguelo más tarde en modo fuera de línea. from transformers import AutoModelForSequenceClassification, BertTokenizerFast Primera vez, descarga y guarda el modelo. model = AutoModelForSequenceClassification.from_pretrained("bert-base-uncased") model.save_pretrained("/my/local/directory/bert-base-uncased") Luego, cargue el modelo guardado sin conexión. model = AutoModelForSequenceClassification.from_pretrained("/my/local/directory/bert-base-uncased") tokenizer = BertTokenizerFast.from_pretrained("/my/local/directory/bert-base-uncased") Configure las variables de entorno TRANSFORMERS_OFFLINE y HF_DATASETS_OFFLINE para habilitar el uso sin conexión. export TRANSFORMERS_OFFLINE=1 export HF_DATASETS_OFFLINE=1 Clona el repositorio de modelos directamente si prefieres no descargar archivos individuales. git clone https://huggingface.co/<username>/<repository> /my/local/directory Asegúrese de que todos los archivos necesarios estén presentes en el directorio donde planea ejecutar sus scripts. Recuerde que configurar TRANSFORMERS_OFFLINE en 1 por sí solo no funcionará si el modelo aún no está disponible localmente. Debe descargar el modelo con acceso a Internet y guardarlo localmente o clonar el repositorio de modelos. 2) gpt4all es un proyecto de código abierto que permite a cualquiera acceder y utilizar potentes modelos de IA como GPT-3. Aquí hay instrucciones paso a paso para instalar y usar gpt4all: gpt4all Instalación: gpt4all requiere Python 3.7 o superior y algunas dependencias del paquete Python. La forma más sencilla de instalar gpt4all es mediante pip: pip install gpt4all Obtenga una clave API: Necesita una clave API para acceder a los modelos a través de gpt4all. Puede obtener una clave API gratuita registrándose en . https://platform.openai.com Configurar la autenticación: Una vez que tenga su clave API, establezca una variable de entorno llamada con su clave API como valor. OPENAI_API_KEY export OPENAI_API_KEY="YOUR_API_KEY_HERE" Utilice gpt4all: Ahora está listo para usar gpt4all en Python para acceder a GPT-3 y otros modelos. A continuación se muestra un ejemplo que solicita a Davinci (una versión de GPT-3) que resuma un pasaje de texto: from gpt4all import completions summary = completions.generate(engine="text-davinci-003", prompt="Summarize this text: [insert long text here]", max_tokens=50) print(summary.text) Consulte la documentación de gpt4all para obtener más ejemplos de cómo utilizar diferentes modelos. 3) ollama Ollamma es una biblioteca de código abierto que brinda fácil acceso a modelos de lenguaje grandes como GPT-3. Aquí están los detalles sobre los requisitos, la instalación y el uso del sistema: Requisitos del sistema: Python 3.7 o superior Biblioteca de solicitudes Clave API de OpenAI válida Instalación: pip install ollamma Uso: Establecer clave API import os os.environ["OPENAI_API_KEY"] = "<YOUR_API_KEY>" Importar y crear el cliente. from ollamma import Client client = Client() Generar texto response = client.generate( engine="text-davinci-003", prompt="Hello world", max_tokens=100 ) print(response.generations[0].text) El método de generación le permite especificar el motor, el mensaje y parámetros como tokens máximos para configurar su solicitud. También puedes ajustar los motores, moderar el contenido y más. Consulte la documentación de Ollamma para obtener detalles adicionales sobre todos los métodos disponibles. En resumen, ¡Ollamma hace que sea realmente fácil aprovechar GPT-3 y otros modelos en solo unas pocas líneas de código Python una vez instalado y configurado! 4) Estudio LM LM Studio es una herramienta de código abierto que agiliza el proceso de capacitación, evaluación y uso de modelos de lenguaje de última generación a nivel local. Estos son los pasos para que LM Studio se ejecute localmente: Instalación: LM Studio requiere Docker y Docker Compose. Instalar: a. Instale Docker Engine y Docker Compose en su máquina b. Clona el repositorio de LM Studio GitHub: git clone https://github.com/lm-studio/lm-studio.git Configuración: LM Studio se basa en archivos de configuración en la carpeta . Los archivos comunes incluyen: config/ a. : especifica arquitecturas modelo b. : establece los parámetros de entrenamiento. C. : ajustar la configuración de evaluación model.yaml training.yaml evaluation.yaml Ejecutando LM Studio: La interfaz principal es a través de Docker Compose. Algunos comandos comunes: a. Construir imágenes: b. Inicie todos los servicios: C. Ver registros: d. Detener servicios: docker-compose build docker-compose up -d docker-compose logs -f docker-compose down Los servicios exponen varios puertos que puede utilizar para interactuar con la interfaz de usuario, las API, las computadoras portátiles y más. En resumen, LM Studio agiliza la experimentación con modelos de lenguaje local. Los usuarios solo necesitan clonar el repositorio, configurar archivos de configuración y usar comandos simples de Docker para comenzar a entrenar, evaluar y usar modelos. 5) local Creo que esta es la forma más cómoda y sencilla de todas. La explicación completa se da en el siguiente enlace: https://cloud.google.com/blog/products/application-development/new-localllm-lets-you-develop-gen-ai-apps-locally- without-gpus Resumido: combinado con Cloud Workstations revoluciona el desarrollo de aplicaciones impulsado por IA al permitirle usar LLM localmente en la CPU y la memoria dentro del entorno de Google Cloud. Al eliminar la necesidad de GPU, puede superar los desafíos que plantea la escasez de GPU y desbloquear todo el potencial de los LLM. Con productividad mejorada, rentabilidad y seguridad de datos mejorada, localllm le permite crear aplicaciones innovadoras con facilidad localllm 6) llama.cpp Para instalar y usar Llama.cpp para entrenamiento e inferencia local, siga estos pasos: Instalar dependencias: Python 3 CMake Optional (for GPU acceleration) NVIDIA drivers, CUDA, and cuDNN For Windows, use Visual Studio Community with Desktop C++ Environment and Python 3 Clone the repository: git clone --recursive Si desea utilizar la aceleración de GPU, configure la variable de entorno como se describe en el repositorio (por ejemplo, en Linux): https://github.com/abetlen/llama-cpp-python.git export CMAKE_ARGS="-DLLAMA_CUBLAS=ON" Install Llamma.cpp: Para compilación local y del sistema: cd llama-cpp-python pip install -e . For Windows, or if you want prebuilt binaries, consider the following: No GPU support: pip install llama-cpp-python[server] Opcionalmente, para utilizar una interfaz de alto nivel, utilice el comando: python -m llama_cpp.server --model models/7B/llama-model.gguf With GPU support: set FORCE_CMAKE=1 set CMAKE_ARGS=-DLLAMA_CUBLAS=ON pip install --upgrade --force-reinstall llama-cpp-python --no-cache-dir Opcional, para Windows, utilizar una interfaz de alto nivel: python -m llama_cpp.server --model "path/to/your/model" Download and place Llama models in the models/ subdirectory within the Llama.cpp repository if they are not included (models like llama-model.gguf or ggml-* files are available on Hugging Face or GGML). Pruebe la instalación: The llama_cpp/llama_cpp.py script provides a simple high-level interface in Python. Replace llama-model.gguf with your downloaded Llama model to test inference. If you want to train your own Llama model, you'll need to train it according to the official documentation and manually convert the GGML files into GGUF files (for GPU deployment). 7) Oobagooba Esta es una implementación gradio de código abierto de una webui para generar texto usando langchain. Algunos extractos del archivo README.md: extensiones-webui-de-generación-de-texto Este es un directorio de extensiones para https://github.com/oobabooga/text-generación-webui Si crea su propia extensión, puede enviarla a esta lista en un PR. memoria a largo plazo Una extensión sofisticada que crea una memoria a largo plazo para los bots en modo chat. https://github.com/wawawario2/long_term_memory Todo habla TTS AllTalk se basa en el motor Coqui TTS, similar a la extensión Coqui_tts para la interfaz de usuario web de generación de texto, sin embargo, admite una variedad de funciones avanzadas. ajuste su configuración de inicio predeterminada. Configuración de inicio personalizada: Captura de pantalla utilice diferentes voces para el personaje principal y la narración. Narrador: Narración de ejemplo ideal para personas con poca memoria de GPU o si su LLM llena su VRAM. Modo de baja VRAM: Captura de pantalla un aumento de rendimiento de 3 a 4 veces generando TTS. DeepSpeed: Instrucciones de velocidad profunda para Windows/Linux Captura de pantalla utilice cualquiera de los modelos XTTSv2 (API Local y XTTSv2 Local). Modelos locales/personalizados: eliminación configurable de archivos wav de salida antiguos. Mantenimiento de archivos wav opcional: Captura de pantalla Entrene el modelo específicamente con una voz de su elección para una mejor reproducción. Ajuste Totalmente documentada con una página web integrada. Documentación: Captura de pantalla Borre la salida de la línea de comando para detectar cualquier advertencia o problema. Salida de la consola Se puede utilizar con aplicaciones de terceros a través de llamadas JSON. API Suite y soporte de terceros a través de llamadas JSON. no solo dentro de la webui de generación de texto. Se puede ejecutar como una aplicación independiente, https://github.com/erew123/alltalk_tts BordeGPT Extensión para Webui de generación de texto basada en EdgeGPT de acheong08, para un acceso rápido a Internet para su bot. https://github.com/GiusTex/EdgeGPT XTTSv2 Una variante de la extensión coqui_tts en el repositorio principal. Ambos usan el modelo XTTSv2, pero éste tiene una función de "narrador" para el texto escrito *entre asteriscos*. https://github.com/kanttouchthis/text_generación_webui_xtts Zona de juegos para escritores Esta extensión proporciona un cuaderno avanzado independiente que siempre estará presente en la pestaña superior. Tiene muchas características que no se encuentran en el portátil: Dos Notebooks A y B independientes que siempre están presentes, independientemente del modo Instrucciones en línea (capacidad de hacer preguntas o dar tareas desde el propio texto) Seleccionar e insertar: genera texto en medio de tu texto Memoria permanente, resumen, paráfrasis LoRA-Rama: muestra los puntos de control de LoRA y la capacidad de cambiar entre ellos. Escalado de LoRA (experimental): ajuste el impacto de LoRA usando un control deslizante https://github.com/FartyPants/Playground Y hay mucho más por explorar: echa un vistazo: https://github.com/oobabooga/text-generación-webui-extensiones ¿Conclusión? ¡Y hay más! ¡Mucho más! LangChain, llm, ollamma, ¡la lista sigue creciendo cada vez más! Por un año glorioso de hermosa creatividad. ¡Salud!

The writer is smart, but don't just like, take their word for it. #DoYourOwnResearch before making any investment decisions or decisions regarding your health or security. (Do not regard any of this content as professional investment advice, or health advice)

Portfolio

Hire Me

Read My Stories

Systems Developer - Python

Generative AI Engineer

Team Lead, Tech Lead

Technical Research Theoretician

Este audio es producido en el idioma original de la historia!

Cómo ejecutar su propio LLM local (actualizado para 2024)

Demasiado Largo; Para Leer

People Mentioned

Thomas Cherickal

STORY’S CREDIBILITY

DYOR

About Author

ETIQUETAS

Languages

ESTE ARTÍCULO FUE PRESENTADO EN...