Dies ist das Durchbruchsjahr für Generative AI Nun, um es gelinde auszudrücken, hatte ich dieses Jahr die Qual der Wahl, was die Durchführung eines LLM-Modells vor Ort angeht. Lasst uns beginnen: 1) HuggingFace-Transformatoren: Alle Bilder wurden mit Bing Image Creator erstellt. Um Hugging Face Transformers offline ohne Internetzugang auszuführen, befolgen Sie diese Schritte: Installieren Sie Transformers mit den erforderlichen Abhängigkeiten und stellen Sie sicher, dass Sie sich während der Installation nicht auf automatische Updates verlassen. Sie können die Installation über pip oder conda durchführen, wie in der Hugging Face-Dokumentation beschrieben. pip install transformers==4.xy Laden Sie vorab trainierte Modelle von Ihrem lokalen Computer, nachdem Sie sie von Hugging Face Hub mit Internetzugang heruntergeladen haben. Speichern Sie das Modell mit save_pretrained() und laden Sie es später im Offlinemodus. from transformers import AutoModelForSequenceClassification, BertTokenizerFast Laden Sie das Modell zum ersten Mal herunter und speichern Sie es model = AutoModelForSequenceClassification.from_pretrained("bert-base-uncased") model.save_pretrained("/my/local/directory/bert-base-uncased") Laden Sie das gespeicherte Modell später offline model = AutoModelForSequenceClassification.from_pretrained("/my/local/directory/bert-base-uncased") tokenizer = BertTokenizerFast.from_pretrained("/my/local/directory/bert-base-uncased") Legen Sie die Umgebungsvariablen TRANSFORMERS_OFFLINE und HF_DATASETS_OFFLINE fest, um die Offline-Nutzung zu aktivieren. export TRANSFORMERS_OFFLINE=1 export HF_DATASETS_OFFLINE=1 Klonen Sie das Modell-Repository direkt, wenn Sie keine einzelnen Dateien herunterladen möchten. git clone https://huggingface.co/<username>/<repository> /my/local/directory Stellen Sie sicher, dass alle erforderlichen Dateien in dem Verzeichnis vorhanden sind, in dem Sie Ihre Skripte ausführen möchten. Denken Sie daran, dass das Setzen von TRANSFORMERS_OFFLINE auf 1 allein nicht funktioniert, wenn das Modell nicht bereits lokal verfügbar ist. Sie müssen das Modell entweder mit Internetzugang herunterladen und lokal speichern oder das Modell-Repository klonen. 2) gpt4all ist ein Open-Source-Projekt, das jedem den Zugriff auf leistungsstarke KI-Modelle wie GPT-3 und deren Nutzung ermöglicht. Hier finden Sie eine Schritt-für-Schritt-Anleitung zur Installation und Nutzung von gpt4all: gpt4all Installation: gpt4all erfordert Python 3.7 oder höher und einige Python-Paketabhängigkeiten. Der einfachste Weg, gpt4all zu installieren, ist über pip: pip install gpt4all Holen Sie sich einen API-Schlüssel: Sie benötigen einen API-Schlüssel, um über gpt4all auf die Modelle zuzugreifen. Sie können einen kostenlosen API-Schlüssel erhalten, indem Sie sich unter anmelden. https://platform.openai.com Authentifizierung einrichten: Sobald Sie Ihren API-Schlüssel haben, legen Sie eine Umgebungsvariable namens mit Ihrem API-Schlüssel als Wert fest. OPENAI_API_KEY export OPENAI_API_KEY="YOUR_API_KEY_HERE" Verwenden Sie gpt4all: Jetzt können Sie gpt4all in Python verwenden, um auf GPT-3 und andere Modelle zuzugreifen. Hier ist ein Beispiel, das Davinci (eine Version von GPT-3) dazu auffordert, eine Textpassage zusammenzufassen: from gpt4all import completions summary = completions.generate(engine="text-davinci-003", prompt="Summarize this text: [insert long text here]", max_tokens=50) print(summary.text) Weitere Beispiele zur Verwendung verschiedener Modelle finden Sie in der gpt4all-Dokumentation 3) ollamma Ollamma ist eine Open-Source-Bibliothek, die einfachen Zugriff auf große Sprachmodelle wie GPT-3 bietet. Hier sind die Details zu den Systemanforderungen, der Installation und der Verwendung: System Anforderungen: Python 3.7 oder höher Anfragen-Bibliothek Gültiger OpenAI API-Schlüssel Installation: pip install ollamma Verwendung: API-Schlüssel festlegen import os os.environ["OPENAI_API_KEY"] = "<YOUR_API_KEY>" Importieren und Erstellen des Clients from ollamma import Client client = Client() Text generieren response = client.generate( engine="text-davinci-003", prompt="Hello world", max_tokens=100 ) print(response.generations[0].text) Mit der Methode „Generieren“ können Sie die Engine, die Eingabeaufforderung und Parameter wie die maximale Anzahl an Token angeben, um Ihre Anfrage zu konfigurieren. Sie können auch Engines optimieren, Inhalte moderieren und mehr. Weitere Einzelheiten zu allen verfügbaren Methoden finden Sie in der Ollamma-Dokumentation. Zusammenfassend lässt sich also sagen: Ollamma macht es wirklich einfach, GPT-3 und andere Modelle nach der Installation und Konfiguration mit nur wenigen Zeilen Python-Code zu nutzen! 4) LM Studio LM Studio ist ein Open-Source-Tool, das den Prozess des Trainierens, Auswertens und lokalen Verwendens modernster Sprachmodelle optimiert. So bringen Sie LM Studio lokal zum Laufen: Installation: LM Studio erfordert Docker und Docker Compose. So installieren Sie es: a. Installieren Sie Docker Engine und Docker Compose auf Ihrem Computer b. Klonen Sie das LM Studio GitHub-Repository: git clone https://github.com/lm-studio/lm-studio.git Aufbau: LM Studio verwendet Konfigurationsdateien im Ordner . Zu den üblichen Dateien gehören: config/ a. : Modellarchitekturen angeben b. : Trainingsparameter festlegen c. : Auswertungseinstellungen anpassen model.yaml training.yaml evaluation.yaml LM Studio ausführen: Die Hauptschnittstelle ist Docker Compose. Einige allgemeine Befehle: a. Images erstellen: b. Starten Sie alle Dienste: c. Protokolle anzeigen: d. Dienste stoppen: docker-compose build docker-compose up -d docker-compose logs -f docker-compose down Die Dienste stellen verschiedene Ports bereit, die Sie zur Interaktion mit der Benutzeroberfläche, APIs, Notebooks und mehr verwenden können. Zusammenfassend lässt sich also sagen, dass LM Studio das Experimentieren mit lokalen Sprachmodellen optimiert. Benutzer müssen lediglich das Repository klonen, Einstellungsdateien konfigurieren und einfache Docker-Befehle verwenden, um mit dem Trainieren, Auswerten und Verwenden von Modellen zu beginnen. 5) lokales Ich finde, das ist die bequemste und einfachste Methode von allen. Die vollständige Erklärung finden Sie unter dem folgenden Link: https://cloud.google.com/blog/products/application-development/new-localllm-lets-you-develop-gen-ai-apps-locally-without-gpus Zusammengefasst: in Kombination mit Cloud Workstations revolutioniert die KI-gesteuerte Anwendungsentwicklung, indem Sie LLMs lokal auf CPU und Speicher innerhalb der Google Cloud-Umgebung verwenden können. Durch den Wegfall der Notwendigkeit von GPUs können Sie die Herausforderungen des GPU-Mangels überwinden und das volle Potenzial von LLMs ausschöpfen. Mit gesteigerter Produktivität, Kosteneffizienz und verbesserter Datensicherheit können Sie mit localllm mühelos innovative Anwendungen erstellen. localllm 6) llamma.cpp Um Llama.cpp für lokales Training und Inferenz zu installieren und zu verwenden, führen Sie diese Schritte aus: Installieren Sie Abhängigkeiten: Python 3 CMake Optional (for GPU acceleration) NVIDIA drivers, CUDA, and cuDNN For Windows, use Visual Studio Community with Desktop C++ Environment and Python 3 Clone the repository: git clone --recursive Wenn Sie die GPU-Beschleunigung verwenden möchten, legen Sie die Umgebungsvariable wie im Repo beschrieben fest (z. B. unter Linux): https://github.com/abetlen/llama-cpp-python.git export CMAKE_ARGS="-DLLAMA_CUBLAS=ON" Install Llamma.cpp: Für den lokalen Build und die Systemkompilierung: cd llama-cpp-python pip install -e . For Windows, or if you want prebuilt binaries, consider the following: No GPU support: pip install llama-cpp-python[server] Optional können Sie eine High-Level-Schnittstelle mit dem folgenden Befehl verwenden: python -m llama_cpp.server --model models/7B/llama-model.gguf With GPU support: set FORCE_CMAKE=1 set CMAKE_ARGS=-DLLAMA_CUBLAS=ON pip install --upgrade --force-reinstall llama-cpp-python --no-cache-dir Optional können Sie für Windows eine High-Level-Schnittstelle verwenden: python -m llama_cpp.server --model "path/to/your/model" Download and place Llama models in the models/ subdirectory within the Llama.cpp repository if they are not included (models like llama-model.gguf or ggml-* files are available on Hugging Face or GGML). Testen Sie die Installation: The llama_cpp/llama_cpp.py script provides a simple high-level interface in Python. Replace llama-model.gguf with your downloaded Llama model to test inference. If you want to train your own Llama model, you'll need to train it according to the official documentation and manually convert the GGML files into GGUF files (for GPU deployment). 7) Oobagooba Dies ist eine Open-Source-Gradio-Implementierung einer WebUI zur Textgenerierung mit Langchain. Einige Auszüge aus der Datei README.md: Textgenerierung-WebUI-Erweiterungen Dies ist ein Verzeichnis von Erweiterungen für https://github.com/oobabooga/text-generation-webui Wenn Sie Ihre eigene Erweiterung erstellen, können Sie sie gerne in einem PR an diese Liste senden. Langzeitgedächtnis Eine ausgeklügelte Erweiterung, die ein Langzeitgedächtnis für Bots im Chat-Modus erstellt. https://github.com/wawawario2/long_term_memory AllTalk TTS AllTalk basiert auf der Coqui-TTS-Engine, ähnlich der Coqui_tts-Erweiterung für die WebUI zur Textgenerierung, unterstützt jedoch eine Vielzahl erweiterter Funktionen. Passen Sie Ihre Standard-Starteinstellungen an. Benutzerdefinierte Starteinstellungen: Bildschirmfoto Verwenden Sie unterschiedliche Stimmen für Hauptfigur und Erzähler. Erzähler: Beispielerzählung Ideal für Personen mit kleinem GPU-Speicher oder wenn Ihr VRAM von Ihrem LLM gefüllt ist. Niedriger VRAM-Modus: Bildschirmfoto Eine 3- bis 4-fache Leistungssteigerung durch TTS. DeepSpeed: DeepSpeed Windows/Linux-Anweisungen Bildschirmfoto Verwenden Sie eines der XTTSv2-Modelle (API Local und XTTSv2 Local). Lokale/benutzerdefinierte Modelle: Konfigurierbares Löschen alter Ausgabe-WAV-Dateien. Optionale WAV-Dateiwartung: Bildschirmfoto Trainieren Sie das Modell gezielt mit einer Stimme Ihrer Wahl für eine bessere Wiedergabe. Feinabstimmung: Vollständig dokumentiert mit integrierter Webseite. Dokumentation: Bildschirmfoto Löschen Sie die Befehlszeilenausgabe bei etwaigen Warnungen oder Problemen. Konsolenausgabe: Kann mit Drittanbieter-Anwendungen über JSON-Aufrufe verwendet werden. API-Suite und Drittanbieter-Unterstützung über JSON-Aufrufe. nicht nur innerhalb der Textgenerierungs-WebUI. Kann als eigenständige App ausgeführt werden, https://github.com/erew123/alltalk_tts EdgeGPT Erweiterung für Text Generation Webui basierend auf EdgeGPT von acheong08, für einen schnellen Internetzugriff für Ihren Bot. https://github.com/GiusTex/EdgeGPT XTTSv2 Eine Variante der coqui_tts-Erweiterung im Hauptrepository. Beide verwenden das XTTSv2-Modell, aber dieses verfügt über eine „Erzähler“-Funktion für Text, der *zwischen Sternchen* geschrieben ist. https://github.com/kanttouchthis/text_generation_webui_xtts Spielplatz für Schriftsteller Diese Erweiterung bietet ein unabhängiges erweitertes Notizbuch, das immer auf der oberen Registerkarte angezeigt wird. Es verfügt über viele Funktionen, die im Notizbuch nicht vorhanden sind: Zwei unabhängige Notebooks A und B, die immer vorhanden sind, unabhängig vom Modus Inline-Anweisung (Möglichkeit, direkt im Text Fragen zu stellen oder Aufgaben zu erteilen) Auswählen und einfügen - Text in der Mitte Ihres Textes generieren Perma-Gedächtnis, Zusammenfassung, Paraphrasierung LoRA-Rama - zeigt LoRA-Checkpoints und die Möglichkeit, zwischen ihnen zu wechseln LoRA-Skalierung (experimentell) - Passen Sie die LoRA-Auswirkung mit einem Sclider an https://github.com/FartyPants/Playground Und es gibt noch so viel mehr zu entdecken: Schauen Sie sich an: https://github.com/oobabooga/text-generation-webui-extensions Abschluss? Und es gibt noch mehr! So viel mehr! LangChain, llm, ollamma, die Liste wird einfach immer länger! Auf ein herrliches Jahr voller wunderbarer Kreativität. Prost!

The writer is smart, but don't just like, take their word for it. #DoYourOwnResearch before making any investment decisions or decisions regarding your health or security. (Do not regard any of this content as professional investment advice, or health advice)

Portfolio

Hire Me

Read My Stories

Systems Developer - Python

Generative AI Engineer

Team Lead, Tech Lead

Technical Research Theoretician

Dieses Audio ist in der Originalsprache der Geschichte produziert!

So führen Sie Ihren eigenen lokalen LLM durch (Aktualisiert für 2024)

Zu lang; Lesen

People Mentioned

Thomas Cherickal

STORY’S CREDIBILITY

DYOR

About Author

Hängeetiketten

Languages

DIESER ARTIKEL WURDE VORGESTELLT IN...