LLMs für Dummies – Komplettlösung und Glossar

Bist du das 👆? Sie haben nicht CompSci gemacht, also sind Sie jetzt der Hofnarr, der schnell versucht, Wissen in der __ am schnellsten wachsenden Branche __ zu erweitern, die die Welt je gesehen hat?

Hol erstmal Luft. Hier ist ein Beitrag, der auf das Wesentliche zurückgeht und in dem Sie „ eine wirklich dumme Frage“ stellen können, ohne sich beurteilt zu fühlen.

Ein kleines Glossar mit LLM-Begriffen für diejenigen, die lernen

Transformer – Mehr als man auf den ersten Blick sieht … Eine Art Modell, das beim maschinellen Lernen verwendet wird, insbesondere für die Verarbeitung von Datensequenzen wie Text oder Audio. Es eignet sich gut zum Verstehen des Kontexts in Sätzen und kann zum Übersetzen von Sprachen, zum Zusammenfassen von Text oder zum Generieren von Chatbot-Antworten verwendet werden.

Large Language Model (LLM) – Es ist wie eine riesige Datenbank mit Sprachkenntnissen, die Artikel schreiben, Fragen beantworten oder realistische Dialoge erstellen kann.

Ein Transformer ist eine Technik, die in der KI zur Verarbeitung von Sprache verwendet wird. Ein LLM ist ein großes KI-Modell für Sprachaufgaben, das oft mit der Transformer-Technik erstellt wird.

Schnittstelle – Der Teil eines Computersystems oder einer Software, der es Benutzern ermöglicht, damit zu interagieren. Stellen Sie es sich als das Frontend eines Programms vor, in das Sie Ihre Frage oder Ihren Befehl eingeben und das Programm antwortet.

Inferenz – In der KI bedeutet dies, ein trainiertes Modell zu verwenden, um Vorhersagen oder Entscheidungen zu treffen. Nachdem beispielsweise ein Modell darauf trainiert wurde, Katzen in Bildern zu erkennen, erfolgt die Inferenz, wenn das Modell ein neues Bild betrachtet und entscheidet, ob eine Katze darin zu sehen ist.🐈‍⬛

Überwachtes Lernen – Eine Methode zum Trainieren von Maschinen, bei der Sie den Modellbeispielen Antworten geben. Als würde man einem Programm viele Bilder von Katzen zeigen und ihm sagen: „Das ist eine Katze“, damit es lernt, wie Katzen aussehen.

Unüberwachtes Lernen ( heeeyo) – Eine Maschine trainieren, ohne ihr die Antworten zu geben. Das Modell betrachtet Daten und versucht selbstständig Muster oder Gruppen zu finden. Es könnte beispielsweise verschiedene Arten von Musik nach Genres sortieren, ohne dass die Genrenamen mitgeteilt werden.

Reinforcement Learning – Maschinen durch Versuch und Irrtum beibringen. Die Maschine trifft Entscheidungen in einer Situation und erhält Belohnungen oder Strafen, je nachdem, ob ihre Entscheidungen gut oder schlecht sind. Mit der Zeit lernt sie, bessere Entscheidungen zu treffen ( oder nachtragend und verschwiegen zu werden).

Neuronales Netzwerk – Entwickelt, um ein bisschen wie ein menschliches Gehirn zu funktionieren. Es besteht aus vielen kleinen Einheiten (wie Gehirnzellen), die zusammenarbeiten, um Informationen zu verarbeiten und Probleme zu lösen.

Erstellen eines LLM

Sammeln Ihrer Daten

Beginnen Sie mit der Erfassung verschiedenster Textdaten. Dies können Bücher, Online-Artikel oder Daten aus Datenbanken sein. Je vielfältiger Ihre Daten sind, desto besser kann Ihr LLM verschiedene Aspekte der Sprache verstehen.

Kaggle verfügt über großartige Daten für ML- und Data-Science-Projekte. Schauen Sie sich den australischen Einheimischen und Kaggle-Großmeister Jeremy Howard an.

GitHub hostet häufig von Forschern und Entwicklern veröffentlichte Datensätze. Guter Ort zum Suchen.

Erwähnenswert ist Google Scholar für Datensätze zu Aufsätzen und Regierungsseiten

Daten vorverarbeiten

Bereinigen Sie nun diese Daten. In diesem Schritt geht es darum, Fehler zu beheben, Teile zu entfernen, die nicht nützlich sind, und sie so zu organisieren, dass Ihre KI effektiv daraus lernen kann.

Überlegungen

Wie gehen Sie mit fehlenden Werten um, beheben Formatierungsprobleme und gehen mit doppelten Daten um?

Auswahl einer Modellarchitektur

Bei der Modellarchitektur handelt es sich im Wesentlichen um das Design oder die Struktur des Modells, die als Blaupause dafür dient, wie die KI Informationen verarbeitet.

Die Transformer-Architektur ist besonders darauf zugeschnitten, sequentielle Daten wie Text zu verarbeiten, wobei der Schwerpunkt auf dem Verständnis des Kontexts innerhalb der Daten liegt, und dabei bleiben wir für heute.

Trainieren des Modells

Geben Sie die aufbereiteten Daten in Ihr KI-Modell ein. Hier beginnt Ihre KI, die Feinheiten der Sprache zu erlernen. Schulungen können zeit- und ressourcenintensiv sein, insbesondere bei vielen Daten. (Hier möchte ich meine Freunde bei Unsloth erwähnen, der Podcast kommt bald)

Testen und Verfeinern

Bewerten Sie nach dem Training, wie gut Ihre KI Sprache versteht und generiert. Abhängig von den Ergebnissen müssen Sie möglicherweise Anpassungen und Umschulungen vornehmen, um die Leistung zu verbessern.

Ausführen des LLM

Nun, wie lässt man das Biest laufen?

Anstatt ein LLM von Grund auf neu zu erstellen, können Sie Hugging Face verwenden, um auf Modelle zuzugreifen, die bereits mit wahnsinnigen Datenmengen trainiert wurden. Sie können diese Modelle entweder in ihrem Cloud-Dienst ausführen oder sie herunterladen, um sie lokal auf Ihrem Computer auszuführen.

Unabhängig von Ihrer Wahl liegt der Schlüssel darin, über ein trainiertes LLM-Modell und die Möglichkeit zu verfügen, damit zu interagieren, sei es über das Internet oder direkt auf Ihrem Computer.

Dies ist Teil eins einer Reihe von Beiträgen, die darauf abzielen, die Hürden für das Verständnis und die Einführung von Open-Source-KI zu verringern.

Ich schreibe und produziere hier Podcasts-

(unbeaufsichtigtes Lernen

Weitere Links hier https://linktr.ee/Unsupervisedlearning

Auch hier veröffentlicht