C'est l'année charnière pour l'IA générative Bien; pour le moins, cette année, j'ai eu l'embarras du choix quant à la manière de gérer un modèle LLM localement. Commençons: 1) Transformateurs HuggingFace : Toutes les images créées par Bing Image Creator Pour exécuter Hugging Face Transformers hors ligne sans accès à Internet, suivez ces étapes : Installez Transformers avec les dépendances nécessaires tout en vous assurant de ne pas compter sur les mises à jour automatiques lors de l'installation. Vous pouvez installer via pip ou conda comme décrit dans la documentation Hugging Face pip install transformers==4.xy Chargez des modèles pré-entraînés à partir de votre ordinateur local après les avoir téléchargés depuis Hugging Face Hub avec accès à Internet. Enregistrez le modèle à l'aide de save_pretrained(), puis chargez-le ultérieurement en mode hors ligne. from transformers import AutoModelForSequenceClassification, BertTokenizerFast Pour la première fois, téléchargez et enregistrez le modèle model = AutoModelForSequenceClassification.from_pretrained("bert-base-uncased") model.save_pretrained("/my/local/directory/bert-base-uncased") Plus tard, chargez le modèle enregistré hors ligne model = AutoModelForSequenceClassification.from_pretrained("/my/local/directory/bert-base-uncased") tokenizer = BertTokenizerFast.from_pretrained("/my/local/directory/bert-base-uncased") Définissez les variables d'environnement TRANSFORMERS_OFFLINE et HF_DATASETS_OFFLINE pour activer l'utilisation hors ligne. export TRANSFORMERS_OFFLINE=1 export HF_DATASETS_OFFLINE=1 Clonez directement le référentiel de modèles si vous préférez ne pas télécharger de fichiers individuels. git clone https://huggingface.co/<username>/<repository> /my/local/directory Assurez-vous que tous les fichiers nécessaires sont présents dans le répertoire dans lequel vous prévoyez d'exécuter vos scripts. N'oubliez pas que définir TRANSFORMERS_OFFLINE sur 1 seul ne fonctionnera pas si le modèle n'est pas déjà disponible localement. Vous devez soit télécharger le modèle avec un accès Internet et l'enregistrer localement, soit cloner le référentiel de modèles. 2) gpt4all est un projet open source qui permet à quiconque d'accéder et d'utiliser de puissants modèles d'IA comme GPT-3. Voici les instructions étape par étape pour installer et utiliser gpt4all : gpt4all Installation: gpt4all nécessite Python 3.7 ou supérieur et quelques dépendances de packages Python. Le moyen le plus simple d'installer gpt4all est via pip : pip install gpt4all Obtenez une clé API : Vous avez besoin d'une clé API pour accéder aux modèles via gpt4all. Vous pouvez obtenir une clé API gratuite en vous inscrivant sur . https://platform.openai.com Configurer l'authentification : Une fois que vous avez votre clé API, définissez une variable d'environnement nommée avec votre clé API comme valeur. OPENAI_API_KEY export OPENAI_API_KEY="YOUR_API_KEY_HERE" Utilisez gpt4all : Vous êtes maintenant prêt à utiliser gpt4all en Python pour accéder à GPT-3 et à d'autres modèles. Voici un exemple invitant Davinci (une version de GPT-3) à résumer un passage de texte : from gpt4all import completions summary = completions.generate(engine="text-davinci-003", prompt="Summarize this text: [insert long text here]", max_tokens=50) print(summary.text) Reportez-vous à la documentation de gpt4all pour plus d'exemples sur la façon d'utiliser différents modèles 3) ollamma Ollamma est une bibliothèque open source qui offre un accès facile à de grands modèles de langage comme GPT-3. Voici les détails sur la configuration système requise, l'installation et l'utilisation : Configuration requise: Python 3.7 ou supérieur Bibliothèque de requêtes Clé API OpenAI valide Installation: pip install ollamma Usage: Définir la clé API import os os.environ["OPENAI_API_KEY"] = "<YOUR_API_KEY>" Importer et créer le client from ollamma import Client client = Client() Générer du texte response = client.generate( engine="text-davinci-003", prompt="Hello world", max_tokens=100 ) print(response.generations[0].text) La méthode generate vous permet de spécifier le moteur, l'invite et les paramètres tels que le nombre maximum de jetons pour configurer votre demande. Vous pouvez également affiner les moteurs, modérer le contenu, etc. Reportez-vous à la documentation Ollamma pour plus de détails sur toutes les méthodes disponibles. Donc, en résumé, Ollamma permet d'exploiter très facilement GPT-3 et d'autres modèles en quelques lignes de code Python une fois installés et configurés ! 4)LM Studio LM Studio est un outil open source qui rationalise le processus de formation, d'évaluation et d'utilisation locale de modèles linguistiques de pointe. Voici les étapes pour faire fonctionner LM Studio localement : Installation: LM Studio nécessite Docker et Docker Compose. À installer: un. Installez Docker Engine et Docker Compose sur votre machine b. Clonez le dépôt GitHub de LM Studio : git clone https://github.com/lm-studio/lm-studio.git Configuration: LM Studio s'appuie sur les fichiers de configuration sous le dossier . Les fichiers courants incluent : config/ un. : spécifier les architectures de modèles b. : définir les paramètres d'entraînement c. : ajuster les paramètres d'évaluation model.yaml training.yaml evaluation.yaml Exécution de LM Studio : L'interface principale se fait via Docker Compose. Quelques commandes courantes : un. Construire des images : b. Démarrez tous les services : c. Afficher les journaux : d. Arrêter les services : docker-compose build docker-compose up -d docker-compose logs -f docker-compose down Les services exposent divers ports que vous pouvez utiliser pour interagir avec l'interface utilisateur, les API, les blocs-notes, etc. En résumé, LM Studio rationalise l'expérimentation de modèles de langage local. Les utilisateurs doivent simplement cloner le dépôt, configurer les fichiers de paramètres et utiliser des commandes Docker simples pour commencer la formation, l'évaluation et l'utilisation des modèles. 5) localllm Je trouve que c’est le moyen le plus pratique et le plus simple de tous. L’explication complète est donnée sur le lien ci-dessous : https://cloud.google.com/blog/products/application-development/new-localllm-lets-you-develop-gen-ai-apps-locally-without-gpus Résumé: combiné à Cloud Workstations révolutionne le développement d'applications basées sur l'IA en vous permettant d'utiliser les LLM localement sur le processeur et la mémoire au sein de l'environnement Google Cloud. En éliminant le besoin de GPU, vous pouvez surmonter les défis posés par la rareté des GPU et libérer tout le potentiel des LLM. Avec une productivité améliorée, une rentabilité et une sécurité des données améliorées, localllm vous permet de créer facilement des applications innovantes. localllm 6) lamma.cpp Pour installer et utiliser Llama.cpp pour la formation et l'inférence locales, procédez comme suit : Installer les dépendances : Python 3 CMake Optional (for GPU acceleration) NVIDIA drivers, CUDA, and cuDNN For Windows, use Visual Studio Community with Desktop C++ Environment and Python 3 Clone the repository: git clone --recursive Si vous souhaitez utiliser l'accélération GPU, définissez la variable d'environnement comme décrit dans le dépôt (par exemple, sous Linux) : https://github.com/abetlen/llama-cpp-python.git export CMAKE_ARGS="-DLLAMA_CUBLAS=ON" Install Llamma.cpp: Pour la compilation locale et la compilation du système : cd llama-cpp-python pip install -e . For Windows, or if you want prebuilt binaries, consider the following: No GPU support: pip install llama-cpp-python[server] En option, pour utiliser une interface de haut niveau, à l'aide de la commande : python -m llama_cpp.server --model models/7B/llama-model.gguf With GPU support: set FORCE_CMAKE=1 set CMAKE_ARGS=-DLLAMA_CUBLAS=ON pip install --upgrade --force-reinstall llama-cpp-python --no-cache-dir Facultatif, pour Windows, pour utiliser une interface de haut niveau : python -m llama_cpp.server --model "path/to/your/model" Download and place Llama models in the models/ subdirectory within the Llama.cpp repository if they are not included (models like llama-model.gguf or ggml-* files are available on Hugging Face or GGML). Testez l'installation : The llama_cpp/llama_cpp.py script provides a simple high-level interface in Python. Replace llama-model.gguf with your downloaded Llama model to test inference. If you want to train your own Llama model, you'll need to train it according to the official documentation and manually convert the GGML files into GGUF files (for GPU deployment). 7) Oobagooba Il s'agit d'une implémentation open source gradio d'un webui pour générer du texte à l'aide de langchain. Quelques extraits du fichier README.md : génération de texte-webui-extensions Ceci est un répertoire d'extensions pour https://github.com/oobabooga/text-generation-webui Si vous créez votre propre extension, vous êtes invités à la soumettre à cette liste dans un PR. memoire à long terme Une extension sophistiquée qui crée une mémoire à long terme pour les robots en mode chat. https://github.com/wawawario2/long_term_memory AllTalk TTS AllTalk est basé sur le moteur Coqui TTS, similaire à l'extension Coqui_tts pour l'interface Web de génération de texte, mais prend cependant en charge une variété de fonctionnalités avancées. ajustez vos paramètres de démarrage par défaut. Paramètres de démarrage personnalisés : Capture d'écran utilisez des voix différentes pour le personnage principal et la narration. Narrarateur : Exemple de narration idéal pour les personnes disposant d'une petite mémoire GPU ou si votre VRAM est remplie par votre LLM. Mode VRAM faible : Capture d'écran une amélioration des performances 3 à 4x générant du TTS. DeepSpeed : Instructions DeepSpeed pour Windows/Linux Capture d'écran utilisez l'un des modèles XTTSv2 (API Local et XTTSv2 Local). Modèles locaux/personnalisés : suppression configurable des anciens fichiers wav de sortie. Maintenance facultative des fichiers wav : Capture d'écran Entraînez le modèle spécifiquement sur une voix de votre choix pour une meilleure reproduction. Réglage fin Entièrement documenté avec une page Web intégrée. Documentation : Capture d'écran Effacer la sortie de la ligne de commande pour tout avertissement ou problème. Sortie de la console Peut être utilisé avec des applications tierces via des appels JSON. Suite API et prise en charge de tiers via des appels JSON. pas seulement à l'intérieur de Text-Generation-Webui. Peut être exécuté en tant qu'application autonome, https://github.com/erew123/alltalk_tts BordGPT Extension pour Webui de génération de texte basée sur EdgeGPT par acheong08, pour un accès Internet rapide pour votre bot. https://github.com/GiusTex/EdgeGPT XTTSv2 Une variante de l'extension coqui_tts dans le référentiel principal. Les deux utilisent le modèle XTTSv2, mais celui-ci dispose d'une fonctionnalité « narrateur » pour le texte écrit *entre astérisques*. https://github.com/kanttouchthis/text_generation_webui_xtts Terrain de jeu pour les écrivains Cette extension fournit un bloc-notes avancé indépendant qui sera toujours présent depuis l'onglet supérieur. Il possède de nombreuses fonctionnalités introuvables dans le notebook : Deux Notebooks A et B indépendants et toujours présents, quel que soit le mode Instruire en ligne (possibilité de poser des questions ou de confier une tâche à partir du texte lui-même) Sélectionner et insérer - générer du texte au milieu de votre texte Mémoire permanente, résumé, paraphrase LoRA-Rama - affiche les points de contrôle LoRA et la possibilité de basculer entre eux Mise à l'échelle LoRA (expérimentale) - ajustez l'impact LoRA à l'aide d'un curseur https://github.com/FartyPants/Playground Et il y a encore bien d’autres choses à explorer : Découvrez : https://github.com/oobabooga/text-generation-webui-extensions Conclusion? Et il y a plus ! Tellement plus! LangChain, llm, ollamma, la liste ne cesse de s'allonger ! En route pour une glorieuse année de belle créativité. Acclamations!

The writer is smart, but don't just like, take their word for it. #DoYourOwnResearch before making any investment decisions or decisions regarding your health or security. (Do not regard any of this content as professional investment advice, or health advice)

Portfolio

Hire Me

Read My Stories

Systems Developer - Python

Generative AI Engineer

Team Lead, Tech Lead

Technical Research Theoretician

Cet audio est produit dans la langue originale de l'histoire !

Comment gérer votre propre LLM local (mis à jour pour 2024)

Trop long; Pour lire

People Mentioned

Thomas Cherickal

STORY’S CREDIBILITY

DYOR

About Author

ÉTIQUETTES

Languages

CET ARTICLE A ÉTÉ PARU DANS...