 Este es el año decisivo para la IA generativa  Bien; por decir lo menos, este año he tenido muchas opciones para elegir cómo ejecutar un modelo LLM localmente.  Empecemos:  1) Transformadores de HuggingFace:   Todas las imágenes creadas por Bing Image Creator  Para ejecutar Hugging Face Transformers sin conexión a Internet, siga estos pasos: Instale Transformers con las dependencias necesarias y asegúrese de no depender de las actualizaciones automáticas durante la instalación. Puede instalar mediante pip o conda como se describe en la documentación de Hugging Face   pip install transformers==4.xy  Cargue modelos previamente entrenados desde su máquina local después de descargarlos desde Hugging Face Hub con acceso a Internet. Guarde el modelo usando save_pretrained() y luego cárguelo más tarde en modo fuera de línea.   from transformers import AutoModelForSequenceClassification, BertTokenizerFast  Primera vez, descarga y guarda el modelo.   model = AutoModelForSequenceClassification.from_pretrained("bert-base-uncased") model.save_pretrained("/my/local/directory/bert-base-uncased")  Luego, cargue el modelo guardado sin conexión.   model = AutoModelForSequenceClassification.from_pretrained("/my/local/directory/bert-base-uncased") tokenizer = BertTokenizerFast.from_pretrained("/my/local/directory/bert-base-uncased")  Configure las variables de entorno TRANSFORMERS_OFFLINE y HF_DATASETS_OFFLINE para habilitar el uso sin conexión.   export TRANSFORMERS_OFFLINE=1 export HF_DATASETS_OFFLINE=1  Clona el repositorio de modelos directamente si prefieres no descargar archivos individuales.   git clone https://huggingface.co/<username>/<repository> /my/local/directory  Asegúrese de que todos los archivos necesarios estén presentes en el directorio donde planea ejecutar sus scripts. Recuerde que configurar TRANSFORMERS_OFFLINE en 1 por sí solo no funcionará si el modelo aún no está disponible localmente. Debe descargar el modelo con acceso a Internet y guardarlo localmente o clonar el repositorio de modelos.  2) gpt4all     es un proyecto de código abierto que permite a cualquiera acceder y utilizar potentes modelos de IA como GPT-3. Aquí hay instrucciones paso a paso para instalar y usar gpt4all: gpt4all  Instalación:  gpt4all requiere Python 3.7 o superior y algunas dependencias del paquete Python. La forma más sencilla de instalar gpt4all es mediante pip:   pip install gpt4all  Obtenga una clave API:  Necesita una clave API para acceder a los modelos a través de gpt4all. Puede obtener una clave API gratuita registrándose en   . https://platform.openai.com  Configurar la autenticación:  Una vez que tenga su clave API, establezca una variable de entorno llamada   con su clave API como valor. OPENAI_API_KEY   export OPENAI_API_KEY="YOUR_API_KEY_HERE"  Utilice gpt4all:  Ahora está listo para usar gpt4all en Python para acceder a GPT-3 y otros modelos. A continuación se muestra un ejemplo que solicita a Davinci (una versión de GPT-3) que resuma un pasaje de texto:   from gpt4all import completions summary = completions.generate(engine="text-davinci-003", prompt="Summarize this text: [insert long text here]", max_tokens=50) print(summary.text)  Consulte la documentación de gpt4all para obtener más ejemplos de cómo utilizar diferentes modelos.  3) ollama   Ollamma es una biblioteca de código abierto que brinda fácil acceso a modelos de lenguaje grandes como GPT-3. Aquí están los detalles sobre los requisitos, la instalación y el uso del sistema:  Requisitos del sistema:  Python 3.7 o superior  Biblioteca de solicitudes  Clave API de OpenAI válida  Instalación:   pip install ollamma  Uso:  Establecer clave API   import os os.environ["OPENAI_API_KEY"] = "<YOUR_API_KEY>"  Importar y crear el cliente.   from ollamma import Client client = Client()  Generar texto   response = client.generate( engine="text-davinci-003", prompt="Hello world", max_tokens=100 ) print(response.generations[0].text)  El método de generación le permite especificar el motor, el mensaje y parámetros como tokens máximos para configurar su solicitud.  También puedes ajustar los motores, moderar el contenido y más. Consulte la documentación de Ollamma para obtener detalles adicionales sobre todos los métodos disponibles.  En resumen, ¡Ollamma hace que sea realmente fácil aprovechar GPT-3 y otros modelos en solo unas pocas líneas de código Python una vez instalado y configurado!  4) Estudio LM   LM Studio es una herramienta de código abierto que agiliza el proceso de capacitación, evaluación y uso de modelos de lenguaje de última generación a nivel local. Estos son los pasos para que LM Studio se ejecute localmente:  Instalación:  LM Studio requiere Docker y Docker Compose. Instalar:  a. Instale Docker Engine y Docker Compose en su máquina  b. Clona el repositorio de LM Studio GitHub:   git clone https://github.com/lm-studio/lm-studio.git  Configuración:  LM Studio se basa en archivos de configuración en la carpeta   . Los archivos comunes incluyen: config/  a.   : especifica arquitecturas modelo  b.   : establece los parámetros de entrenamiento.  C.   : ajustar la configuración de evaluación model.yaml training.yaml evaluation.yaml  Ejecutando LM Studio:  La interfaz principal es a través de Docker Compose. Algunos comandos comunes:  a. Construir imágenes:   b. Inicie todos los servicios:   C. Ver registros:   d. Detener servicios:  docker-compose build docker-compose up -d docker-compose logs -f docker-compose down  Los servicios exponen varios puertos que puede utilizar para interactuar con la interfaz de usuario, las API, las computadoras portátiles y más.  En resumen, LM Studio agiliza la experimentación con modelos de lenguaje local. Los usuarios solo necesitan clonar el repositorio, configurar archivos de configuración y usar comandos simples de Docker para comenzar a entrenar, evaluar y usar modelos.  5) local  Creo que esta es la forma más cómoda y sencilla de todas. La explicación completa se da en el siguiente enlace:   https://cloud.google.com/blog/products/application-development/new-localllm-lets-you-develop-gen-ai-apps-locally- without-gpus  Resumido:    combinado con Cloud Workstations revoluciona el desarrollo de aplicaciones impulsado por IA al permitirle usar LLM localmente en la CPU y la memoria dentro del entorno de Google Cloud. Al eliminar la necesidad de GPU, puede superar los desafíos que plantea la escasez de GPU y desbloquear todo el potencial de los LLM. Con productividad mejorada, rentabilidad y seguridad de datos mejorada, localllm le permite crear aplicaciones innovadoras con facilidad localllm  6) llama.cpp  Para instalar y usar Llama.cpp para entrenamiento e inferencia local, siga estos pasos:  Instalar dependencias:   Python 3 CMake Optional (for GPU acceleration) NVIDIA drivers, CUDA, and cuDNN For Windows, use Visual Studio Community with Desktop C++ Environment and Python 3 Clone the repository:  git clone --recursive   Si desea utilizar la aceleración de GPU, configure la variable de entorno como se describe en el repositorio (por ejemplo, en Linux): https://github.com/abetlen/llama-cpp-python.git   export CMAKE_ARGS="-DLLAMA_CUBLAS=ON" Install Llamma.cpp:  Para compilación local y del sistema:   cd llama-cpp-python pip install -e . For Windows, or if you want prebuilt binaries, consider the following: No GPU support: pip install llama-cpp-python[server]  Opcionalmente, para utilizar una interfaz de alto nivel, utilice el comando:   python -m llama_cpp.server --model models/7B/llama-model.gguf With GPU support: set FORCE_CMAKE=1 set CMAKE_ARGS=-DLLAMA_CUBLAS=ON pip install --upgrade --force-reinstall llama-cpp-python --no-cache-dir  Opcional, para Windows, utilizar una interfaz de alto nivel:   python -m llama_cpp.server --model "path/to/your/model" Download and place Llama models in the models/ subdirectory within the Llama.cpp repository if they are not included (models like llama-model.gguf or ggml-* files are available on Hugging Face or GGML).  Pruebe la instalación:   The llama_cpp/llama_cpp.py script provides a simple high-level interface in Python. Replace llama-model.gguf with your downloaded Llama model to test inference. If you want to train your own Llama model, you'll need to train it according to the official documentation and manually convert the GGML files into GGUF files (for GPU deployment).  7) Oobagooba  Esta es una implementación gradio de código abierto de una webui para generar texto usando langchain.  Algunos extractos del archivo README.md:  extensiones-webui-de-generación-de-texto  Este es un directorio de extensiones para   https://github.com/oobabooga/text-generación-webui  Si crea su propia extensión, puede enviarla a esta lista en un PR.  memoria a largo plazo  Una extensión sofisticada que crea una memoria a largo plazo para los bots en modo chat.   https://github.com/wawawario2/long_term_memory  Todo habla TTS  AllTalk se basa en el motor Coqui TTS, similar a la extensión Coqui_tts para la interfaz de usuario web de generación de texto, sin embargo, admite una variedad de funciones avanzadas.    ajuste su configuración de inicio predeterminada. Configuración de inicio personalizada:   Captura de pantalla    utilice diferentes voces para el personaje principal y la narración. Narrador:   Narración de ejemplo    ideal para personas con poca memoria de GPU o si su LLM llena su VRAM. Modo de baja VRAM:   Captura de pantalla    un aumento de rendimiento de 3 a 4 veces generando TTS. DeepSpeed:   Instrucciones de velocidad profunda para Windows/Linux   Captura de pantalla    utilice cualquiera de los modelos XTTSv2 (API Local y XTTSv2 Local). Modelos locales/personalizados:    eliminación configurable de archivos wav de salida antiguos. Mantenimiento de archivos wav opcional:   Captura de pantalla    Entrene el modelo específicamente con una voz de su elección para una mejor reproducción. Ajuste    Totalmente documentada con una página web integrada. Documentación:   Captura de pantalla    Borre la salida de la línea de comando para detectar cualquier advertencia o problema. Salida de la consola    Se puede utilizar con aplicaciones de terceros a través de llamadas JSON. API Suite y soporte de terceros a través de llamadas JSON.    no solo dentro de la webui de generación de texto. Se puede ejecutar como una aplicación independiente,   https://github.com/erew123/alltalk_tts  BordeGPT  Extensión para Webui de generación de texto basada en EdgeGPT de acheong08, para un acceso rápido a Internet para su bot.   https://github.com/GiusTex/EdgeGPT  XTTSv2  Una variante de la extensión coqui_tts en el repositorio principal. Ambos usan el modelo XTTSv2, pero éste tiene una función de "narrador" para el texto escrito *entre asteriscos*.   https://github.com/kanttouchthis/text_generación_webui_xtts  Zona de juegos para escritores  Esta extensión proporciona un cuaderno avanzado independiente que siempre estará presente en la pestaña superior. Tiene muchas características que no se encuentran en el portátil:  Dos Notebooks A y B independientes que siempre están presentes, independientemente del modo  Instrucciones en línea (capacidad de hacer preguntas o dar tareas desde el propio texto)  Seleccionar e insertar: genera texto en medio de tu texto  Memoria permanente, resumen, paráfrasis  LoRA-Rama: muestra los puntos de control de LoRA y la capacidad de cambiar entre ellos.  Escalado de LoRA (experimental): ajuste el impacto de LoRA usando un control deslizante   https://github.com/FartyPants/Playground  Y hay mucho más por explorar: echa un vistazo:   https://github.com/oobabooga/text-generación-webui-extensiones  ¿Conclusión?  ¡Y hay más! ¡Mucho más! LangChain, llm, ollamma, ¡la lista sigue creciendo cada vez más!  Por un año glorioso de hermosa creatividad. ¡Salud! 

The writer is smart, but don't just like, take their word for it. #DoYourOwnResearch before making any investment decisions or decisions regarding your health or security. (Do not regard any of this content as professional investment advice, or health advice)

Hire Me to  Write Your Next Viral Article

Portfolio

Newsletter

Buy Me a Coffee

Support Me On Patreon

Independent Research Systems Engineer

Este audio es producido en el idioma original de la historia!

Demasiado Largo; Para Leer

Make resilience your competitive advantage

Cómo ejecutar su propio LLM local (actualizado para 2024)

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Crecimiento de las criptomonedas: creación de perfiles de usuarios eficaces

Las capas invisibles: por qué las entrevistas con los usuarios son un activo irremplazable

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

Crecimiento de las criptomonedas: creación de perfiles de usuarios eficaces

Las capas invisibles: por qué las entrevistas con los usuarios son un activo irremplazable

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps