So verwenden Sie ein unzensiertes KI-Modell und trainieren es mit Ihren Daten

Die Zeiten, in denen ChatGPT die einzige Lösung in der KI-Branche war, sind lange vorbei. Neue Player wie LLaMA und Gemini, entwickelt von Meta bzw. Google, haben das Feld betreten. Trotz der unterschiedlichen Tools und Implementierungen haben sie eine Gemeinsamkeit: Sie sind Closed-Source-Lösungen (mit einigen Ausnahmen für LLaMA) und stehen unter der Kontrolle großer Technologieunternehmen.

In diesem Artikel geht es um einen neuen Konkurrenten in der KI-Branche, der über ein Open-Source-Tool verfügt, das ChatGPT 3.5 übertrifft und lokal ausgeführt werden kann. Außerdem erfahren wir, wie wir es unzensiert nutzen und mit unseren eigenen Daten trainieren können.

Wir stellen vor: Mistral 8x7B

Mistral ist ein französisches Startup, das von ehemaligen Meta- und DeepMind-Forschern gegründet wurde. Mithilfe ihres umfangreichen Wissens und ihrer Erfahrung konnten sie erfolgreich Investitionen in Höhe von 415 Millionen US-Dollar beschaffen, wodurch sich Mistrals Wert auf 2 Milliarden US-Dollar erhöhte.

Das Team von Mistral begann an Fahrt zu gewinnen, als es auf X einen Torrent-Link zu seinem neuen Modell Mistral 8x7B veröffentlichte. Gemäß der Apache 2.0-Lizenz ist dieses Modell nicht nur leistungsfähiger als LLaMA 2 und ChatGPT 3.5, sondern auch vollständig Open Source.

Mistral-Macht und -Fähigkeiten

• Verarbeitet einen Kontext von 32.000 Token.

• Funktionen in Englisch, Deutsch, Spanisch, Italienisch und Französisch.

• Zeigt eine hervorragende Leistung beim Generieren von Code.

• Kann in ein Anweisungsfolgemodell umgewandelt werden.

In Tests zeigte Mistral eine bemerkenswerte Leistung, indem es LLaMA 2 70B in den meisten Benchmarks übertraf und auch ChatGPT 3.5 in anderen Benchmarks entweder erreichte oder übertraf.

Mistral lokal ausführen

Lassen Sie uns über die Abbildungen und Tabellen hinausgehen und mit der praktischen Umsetzung beginnen. Zuerst benötigen wir ein Tool, das uns bei der lokalen Ausführung hilft: Ollama . MacOS-Benutzer können die Datei hier herunterladen. Für Linux- oder WSL-Benutzer fügen Sie die folgenden Befehle in Ihr Terminal ein:

 curl https://ollama.ai/install.sh | sh

Wir können LLMs dann lokal ausführen, aber wir streben nicht einfach danach, dass eine KI zufällige Fragen beantwortet – dafür ist ChatGPT da. Unser Ziel ist eine unzensierte KI, die wir entsprechend unseren Vorlieben optimieren und verfeinern können.

Aus diesem Grund werden wir Dolphin-Mistral verwenden, eine benutzerdefinierte Version von Mistral, die alle Einschränkungen aufhebt. Um mehr darüber zu erfahren, wie Dolphin-Mistral diese Einschränkungen beseitigt hat, lesen Sie diesen Artikel seines Erstellers.

Führen Sie den folgenden Befehl in Ihrem Terminal aus, um Ollama auf Ihrem Computer auszuführen:

 ollama serve

Führen Sie dann in einem anderen Terminal Folgendes aus:

 ollama run dolphin-mistral:latest

Der erste Download kann zeitaufwändig sein, da 26 GB heruntergeladen werden müssen. Sobald der Download abgeschlossen ist, wartet Mistral auf Ihre Eingabe.

Denken Sie daran, dass die Ausführung von Dolphin-Mistral erhebliche Systemressourcen erfordert, insbesondere RAM.

Trainieren Sie Ihr eigenes Modell

Jetzt fragen Sie sich vielleicht, welche Möglichkeiten es gibt, Mistral mit Ihren Daten zu trainieren. Die Antwort ist ein klares Ja.

Erstellen Sie zunächst ein Konto bei Hugging Face (falls Sie dies noch nicht getan haben) und erstellen Sie dann einen neuen Bereich.

Wählen Sie Docker für Autotrain

Von hier aus können Sie Ihr Modell auswählen, Ihre Daten hochladen und mit dem Training beginnen. Das Training eines Modells auf einem Heimcomputer kann aufgrund der Hardwareanforderungen eine Herausforderung sein.

Dienste wie Hugging Face bieten Rechenleistung (gegen Gebühr), Sie können aber auch Amazon Bedrock oder Google Vertex AI in Betracht ziehen, um den Prozess zu beschleunigen.