 Dies ist das Durchbruchsjahr für Generative AI  Nun, um es gelinde auszudrücken, hatte ich dieses Jahr die Qual der Wahl, was die Durchführung eines LLM-Modells vor Ort angeht.  Lasst uns beginnen:  1) HuggingFace-Transformatoren:   Alle Bilder wurden mit Bing Image Creator erstellt.  Um Hugging Face Transformers offline ohne Internetzugang auszuführen, befolgen Sie diese Schritte: Installieren Sie Transformers mit den erforderlichen Abhängigkeiten und stellen Sie sicher, dass Sie sich während der Installation nicht auf automatische Updates verlassen. Sie können die Installation über pip oder conda durchführen, wie in der Hugging Face-Dokumentation beschrieben.   pip install transformers==4.xy  Laden Sie vorab trainierte Modelle von Ihrem lokalen Computer, nachdem Sie sie von Hugging Face Hub mit Internetzugang heruntergeladen haben. Speichern Sie das Modell mit save_pretrained() und laden Sie es später im Offlinemodus.   from transformers import AutoModelForSequenceClassification, BertTokenizerFast  Laden Sie das Modell zum ersten Mal herunter und speichern Sie es   model = AutoModelForSequenceClassification.from_pretrained("bert-base-uncased") model.save_pretrained("/my/local/directory/bert-base-uncased")  Laden Sie das gespeicherte Modell später offline   model = AutoModelForSequenceClassification.from_pretrained("/my/local/directory/bert-base-uncased") tokenizer = BertTokenizerFast.from_pretrained("/my/local/directory/bert-base-uncased")  Legen Sie die Umgebungsvariablen TRANSFORMERS_OFFLINE und HF_DATASETS_OFFLINE fest, um die Offline-Nutzung zu aktivieren.   export TRANSFORMERS_OFFLINE=1 export HF_DATASETS_OFFLINE=1  Klonen Sie das Modell-Repository direkt, wenn Sie keine einzelnen Dateien herunterladen möchten.   git clone https://huggingface.co/<username>/<repository> /my/local/directory  Stellen Sie sicher, dass alle erforderlichen Dateien in dem Verzeichnis vorhanden sind, in dem Sie Ihre Skripte ausführen möchten. Denken Sie daran, dass das Setzen von TRANSFORMERS_OFFLINE auf 1 allein nicht funktioniert, wenn das Modell nicht bereits lokal verfügbar ist. Sie müssen das Modell entweder mit Internetzugang herunterladen und lokal speichern oder das Modell-Repository klonen.  2) gpt4all     ist ein Open-Source-Projekt, das jedem den Zugriff auf leistungsstarke KI-Modelle wie GPT-3 und deren Nutzung ermöglicht. Hier finden Sie eine Schritt-für-Schritt-Anleitung zur Installation und Nutzung von gpt4all: gpt4all  Installation:  gpt4all erfordert Python 3.7 oder höher und einige Python-Paketabhängigkeiten. Der einfachste Weg, gpt4all zu installieren, ist über pip:   pip install gpt4all  Holen Sie sich einen API-Schlüssel:  Sie benötigen einen API-Schlüssel, um über gpt4all auf die Modelle zuzugreifen. Sie können einen kostenlosen API-Schlüssel erhalten, indem Sie sich unter   anmelden. https://platform.openai.com  Authentifizierung einrichten:  Sobald Sie Ihren API-Schlüssel haben, legen Sie eine Umgebungsvariable namens   mit Ihrem API-Schlüssel als Wert fest. OPENAI_API_KEY   export OPENAI_API_KEY="YOUR_API_KEY_HERE"  Verwenden Sie gpt4all:  Jetzt können Sie gpt4all in Python verwenden, um auf GPT-3 und andere Modelle zuzugreifen. Hier ist ein Beispiel, das Davinci (eine Version von GPT-3) dazu auffordert, eine Textpassage zusammenzufassen:   from gpt4all import completions summary = completions.generate(engine="text-davinci-003", prompt="Summarize this text: [insert long text here]", max_tokens=50) print(summary.text)  Weitere Beispiele zur Verwendung verschiedener Modelle finden Sie in der gpt4all-Dokumentation  3) ollamma   Ollamma ist eine Open-Source-Bibliothek, die einfachen Zugriff auf große Sprachmodelle wie GPT-3 bietet. Hier sind die Details zu den Systemanforderungen, der Installation und der Verwendung:  System Anforderungen:  Python 3.7 oder höher  Anfragen-Bibliothek  Gültiger OpenAI API-Schlüssel  Installation:   pip install ollamma  Verwendung:  API-Schlüssel festlegen   import os os.environ["OPENAI_API_KEY"] = "<YOUR_API_KEY>"  Importieren und Erstellen des Clients   from ollamma import Client client = Client()  Text generieren   response = client.generate( engine="text-davinci-003", prompt="Hello world", max_tokens=100 ) print(response.generations[0].text)  Mit der Methode „Generieren“ können Sie die Engine, die Eingabeaufforderung und Parameter wie die maximale Anzahl an Token angeben, um Ihre Anfrage zu konfigurieren.  Sie können auch Engines optimieren, Inhalte moderieren und mehr. Weitere Einzelheiten zu allen verfügbaren Methoden finden Sie in der Ollamma-Dokumentation.  Zusammenfassend lässt sich also sagen: Ollamma macht es wirklich einfach, GPT-3 und andere Modelle nach der Installation und Konfiguration mit nur wenigen Zeilen Python-Code zu nutzen!  4) LM Studio   LM Studio ist ein Open-Source-Tool, das den Prozess des Trainierens, Auswertens und lokalen Verwendens modernster Sprachmodelle optimiert. So bringen Sie LM Studio lokal zum Laufen:  Installation:  LM Studio erfordert Docker und Docker Compose. So installieren Sie es:  a. Installieren Sie Docker Engine und Docker Compose auf Ihrem Computer  b. Klonen Sie das LM Studio GitHub-Repository:   git clone https://github.com/lm-studio/lm-studio.git  Aufbau:  LM Studio verwendet Konfigurationsdateien im Ordner   . Zu den üblichen Dateien gehören: config/  a.   : Modellarchitekturen angeben  b.   : Trainingsparameter festlegen  c.   : Auswertungseinstellungen anpassen model.yaml training.yaml evaluation.yaml  LM Studio ausführen:  Die Hauptschnittstelle ist Docker Compose. Einige allgemeine Befehle:  a. Images erstellen:   b. Starten Sie alle Dienste:   c. Protokolle anzeigen:   d. Dienste stoppen:  docker-compose build docker-compose up -d docker-compose logs -f docker-compose down  Die Dienste stellen verschiedene Ports bereit, die Sie zur Interaktion mit der Benutzeroberfläche, APIs, Notebooks und mehr verwenden können.  Zusammenfassend lässt sich also sagen, dass LM Studio das Experimentieren mit lokalen Sprachmodellen optimiert. Benutzer müssen lediglich das Repository klonen, Einstellungsdateien konfigurieren und einfache Docker-Befehle verwenden, um mit dem Trainieren, Auswerten und Verwenden von Modellen zu beginnen.  5) lokales  Ich finde, das ist die bequemste und einfachste Methode von allen. Die vollständige Erklärung finden Sie unter dem folgenden Link:   https://cloud.google.com/blog/products/application-development/new-localllm-lets-you-develop-gen-ai-apps-locally-without-gpus  Zusammengefasst:    in Kombination mit Cloud Workstations revolutioniert die KI-gesteuerte Anwendungsentwicklung, indem Sie LLMs lokal auf CPU und Speicher innerhalb der Google Cloud-Umgebung verwenden können. Durch den Wegfall der Notwendigkeit von GPUs können Sie die Herausforderungen des GPU-Mangels überwinden und das volle Potenzial von LLMs ausschöpfen. Mit gesteigerter Produktivität, Kosteneffizienz und verbesserter Datensicherheit können Sie mit localllm mühelos innovative Anwendungen erstellen. localllm  6) llamma.cpp  Um Llama.cpp für lokales Training und Inferenz zu installieren und zu verwenden, führen Sie diese Schritte aus:  Installieren Sie Abhängigkeiten:   Python 3 CMake Optional (for GPU acceleration) NVIDIA drivers, CUDA, and cuDNN For Windows, use Visual Studio Community with Desktop C++ Environment and Python 3 Clone the repository:  git clone --recursive   Wenn Sie die GPU-Beschleunigung verwenden möchten, legen Sie die Umgebungsvariable wie im Repo beschrieben fest (z. B. unter Linux): https://github.com/abetlen/llama-cpp-python.git   export CMAKE_ARGS="-DLLAMA_CUBLAS=ON" Install Llamma.cpp:  Für den lokalen Build und die Systemkompilierung:   cd llama-cpp-python pip install -e . For Windows, or if you want prebuilt binaries, consider the following: No GPU support: pip install llama-cpp-python[server]  Optional können Sie eine High-Level-Schnittstelle mit dem folgenden Befehl verwenden:   python -m llama_cpp.server --model models/7B/llama-model.gguf With GPU support: set FORCE_CMAKE=1 set CMAKE_ARGS=-DLLAMA_CUBLAS=ON pip install --upgrade --force-reinstall llama-cpp-python --no-cache-dir  Optional können Sie für Windows eine High-Level-Schnittstelle verwenden:   python -m llama_cpp.server --model "path/to/your/model" Download and place Llama models in the models/ subdirectory within the Llama.cpp repository if they are not included (models like llama-model.gguf or ggml-* files are available on Hugging Face or GGML).  Testen Sie die Installation:   The llama_cpp/llama_cpp.py script provides a simple high-level interface in Python. Replace llama-model.gguf with your downloaded Llama model to test inference. If you want to train your own Llama model, you'll need to train it according to the official documentation and manually convert the GGML files into GGUF files (for GPU deployment).  7) Oobagooba  Dies ist eine Open-Source-Gradio-Implementierung einer WebUI zur Textgenerierung mit Langchain.  Einige Auszüge aus der Datei README.md:  Textgenerierung-WebUI-Erweiterungen  Dies ist ein Verzeichnis von Erweiterungen für   https://github.com/oobabooga/text-generation-webui  Wenn Sie Ihre eigene Erweiterung erstellen, können Sie sie gerne in einem PR an diese Liste senden.  Langzeitgedächtnis  Eine ausgeklügelte Erweiterung, die ein Langzeitgedächtnis für Bots im Chat-Modus erstellt.   https://github.com/wawawario2/long_term_memory  AllTalk TTS  AllTalk basiert auf der Coqui-TTS-Engine, ähnlich der Coqui_tts-Erweiterung für die WebUI zur Textgenerierung, unterstützt jedoch eine Vielzahl erweiterter Funktionen.    Passen Sie Ihre Standard-Starteinstellungen an. Benutzerdefinierte Starteinstellungen:   Bildschirmfoto    Verwenden Sie unterschiedliche Stimmen für Hauptfigur und Erzähler. Erzähler:   Beispielerzählung    Ideal für Personen mit kleinem GPU-Speicher oder wenn Ihr VRAM von Ihrem LLM gefüllt ist. Niedriger VRAM-Modus:   Bildschirmfoto    Eine 3- bis 4-fache Leistungssteigerung durch TTS. DeepSpeed:   DeepSpeed Windows/Linux-Anweisungen   Bildschirmfoto    Verwenden Sie eines der XTTSv2-Modelle (API Local und XTTSv2 Local). Lokale/benutzerdefinierte Modelle:    Konfigurierbares Löschen alter Ausgabe-WAV-Dateien. Optionale WAV-Dateiwartung:   Bildschirmfoto    Trainieren Sie das Modell gezielt mit einer Stimme Ihrer Wahl für eine bessere Wiedergabe. Feinabstimmung:    Vollständig dokumentiert mit integrierter Webseite. Dokumentation:   Bildschirmfoto    Löschen Sie die Befehlszeilenausgabe bei etwaigen Warnungen oder Problemen. Konsolenausgabe:    Kann mit Drittanbieter-Anwendungen über JSON-Aufrufe verwendet werden. API-Suite und Drittanbieter-Unterstützung über JSON-Aufrufe.    nicht nur innerhalb der Textgenerierungs-WebUI. Kann als eigenständige App ausgeführt werden,   https://github.com/erew123/alltalk_tts  EdgeGPT  Erweiterung für Text Generation Webui basierend auf EdgeGPT von acheong08, für einen schnellen Internetzugriff für Ihren Bot.   https://github.com/GiusTex/EdgeGPT  XTTSv2  Eine Variante der coqui_tts-Erweiterung im Hauptrepository. Beide verwenden das XTTSv2-Modell, aber dieses verfügt über eine „Erzähler“-Funktion für Text, der *zwischen Sternchen* geschrieben ist.   https://github.com/kanttouchthis/text_generation_webui_xtts  Spielplatz für Schriftsteller  Diese Erweiterung bietet ein unabhängiges erweitertes Notizbuch, das immer auf der oberen Registerkarte angezeigt wird. Es verfügt über viele Funktionen, die im Notizbuch nicht vorhanden sind:  Zwei unabhängige Notebooks A und B, die immer vorhanden sind, unabhängig vom Modus  Inline-Anweisung (Möglichkeit, direkt im Text Fragen zu stellen oder Aufgaben zu erteilen)  Auswählen und einfügen - Text in der Mitte Ihres Textes generieren  Perma-Gedächtnis, Zusammenfassung, Paraphrasierung  LoRA-Rama - zeigt LoRA-Checkpoints und die Möglichkeit, zwischen ihnen zu wechseln  LoRA-Skalierung (experimentell) - Passen Sie die LoRA-Auswirkung mit einem Sclider an   https://github.com/FartyPants/Playground  Und es gibt noch so viel mehr zu entdecken: Schauen Sie sich an:   https://github.com/oobabooga/text-generation-webui-extensions  Abschluss?  Und es gibt noch mehr! So viel mehr! LangChain, llm, ollamma, die Liste wird einfach immer länger!  Auf ein herrliches Jahr voller wunderbarer Kreativität. Prost! 

The writer is smart, but don't just like, take their word for it. #DoYourOwnResearch before making any investment decisions or decisions regarding your health or security. (Do not regard any of this content as professional investment advice, or health advice)

Hire Me to  Write Your Next Viral Article

Portfolio

Newsletter

Buy Me a Coffee

Support Me On Patreon

Independent Research Systems Engineer

Dieses Audio ist in der Originalsprache der Geschichte produziert!

Zu lang; Lesen

Get Free Unlimited IP Geo Data With IPinfo Lite

So führen Sie Ihren eigenen lokalen LLM durch (Aktualisiert für 2024)

About Author

KOMMENTARE

Hängeetiketten

DIESER ARTIKEL WURDE VORGESTELLT IN

Related Stories

HackerNoon Decoded 2024: Wir feiern die Community unserer Technologieunternehmen!

HackerNoon Decoded 2024: Wir feiern unsere Remote-Work-Community!

Starting 2025 with New Features: Settings Dashboard, HackerNoon Decoded, Updated Search UI, and More

HackerNoon's DeFi Writing Contest with SORA Network: XSTUSD Use Cases

HackerNoon Decoded 2024: Wir feiern die Community unserer Technologieunternehmen!

HackerNoon Decoded 2024: Wir feiern unsere Remote-Work-Community!

Starting 2025 with New Features: Settings Dashboard, HackerNoon Decoded, Updated Search UI, and More

HackerNoon's DeFi Writing Contest with SORA Network: XSTUSD Use Cases

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps