Bist du das 👆? Sie haben nicht CompSci gemacht, also sind Sie jetzt der Hofnarr, der schnell versucht, Wissen in der __ __ zu erweitern, die die Welt je gesehen hat? Hol erstmal Luft. Hier ist ein Beitrag, der auf das Wesentliche zurückgeht und in dem Sie „ stellen können, ohne sich beurteilt zu fühlen. am schnellsten wachsenden Branche eine wirklich dumme Frage“ Ein kleines Glossar mit LLM-Begriffen für diejenigen, die lernen – Mehr als man auf den ersten Blick sieht … Eine Art Modell, das beim maschinellen Lernen verwendet wird, insbesondere für die Verarbeitung von Datensequenzen wie Text oder Audio. Es eignet sich gut zum Verstehen des in Sätzen und kann zum Übersetzen von Sprachen, zum Zusammenfassen von Text oder zum Generieren von Chatbot-Antworten verwendet werden. Transformer Kontexts Es ist wie eine riesige Datenbank mit Sprachkenntnissen, die Artikel schreiben, Fragen beantworten oder realistische Dialoge erstellen kann. Large Language Model (LLM) – Ein Transformer ist eine Technik, die in der KI zur Verarbeitung von Sprache verwendet wird. Ein LLM ist ein großes KI-Modell für Sprachaufgaben, das oft mit der Transformer-Technik erstellt wird. – Der Teil eines Computersystems oder einer Software, der es Benutzern ermöglicht, damit zu interagieren. Stellen Sie es sich als das Frontend eines Programms vor, in das Sie Ihre Frage oder Ihren Befehl eingeben und das Programm antwortet. Schnittstelle – In der KI bedeutet dies, ein trainiertes Modell zu verwenden, um Vorhersagen oder Entscheidungen zu treffen. Nachdem beispielsweise ein Modell darauf trainiert wurde, Katzen in Bildern zu erkennen, erfolgt die Inferenz, wenn das Modell ein neues Bild betrachtet und entscheidet, ob eine Katze darin zu sehen ist.🐈⬛ Inferenz – Eine Methode zum Trainieren von Maschinen, bei der Sie den Modellbeispielen Antworten geben. Als würde man einem Programm viele Bilder von Katzen zeigen und ihm sagen: „Das ist eine Katze“, damit es lernt, wie Katzen aussehen. Überwachtes Lernen – Eine Maschine trainieren, ohne ihr die Antworten zu geben. Das Modell betrachtet Daten und versucht selbstständig Muster oder Gruppen zu finden. Es könnte beispielsweise verschiedene Arten von Musik nach Genres sortieren, ohne dass die Genrenamen mitgeteilt werden. ( Unüberwachtes Lernen heeeyo) – Maschinen durch Versuch und Irrtum beibringen. Die Maschine trifft Entscheidungen in einer Situation und erhält Belohnungen oder Strafen, je nachdem, ob ihre Entscheidungen gut oder schlecht sind. Mit der Zeit lernt sie, bessere Entscheidungen zu treffen ( Reinforcement Learning oder nachtragend und verschwiegen zu werden). – Entwickelt, um ein bisschen wie ein menschliches Gehirn zu funktionieren. Es besteht aus vielen kleinen Einheiten (wie Gehirnzellen), die zusammenarbeiten, um Informationen zu verarbeiten und Probleme zu lösen. Neuronales Netzwerk Erstellen eines LLM Sammeln Ihrer Daten Beginnen Sie mit der Erfassung verschiedenster Textdaten. Dies können Bücher, Online-Artikel oder Daten aus Datenbanken sein. Je vielfältiger Ihre Daten sind, desto besser kann Ihr LLM verschiedene Aspekte der Sprache verstehen. Kaggle verfügt über großartige Daten für ML- und Data-Science-Projekte. Schauen Sie sich den australischen Einheimischen und an. Kaggle-Großmeister Jeremy Howard hostet häufig von Forschern und Entwicklern veröffentlichte Datensätze. Guter Ort zum Suchen. GitHub Erwähnenswert ist Google Scholar für Datensätze zu Aufsätzen und Regierungsseiten Daten vorverarbeiten In diesem Schritt geht es darum, Fehler zu beheben, Teile zu entfernen, die nicht nützlich sind, und sie so zu organisieren, dass Ihre KI effektiv daraus lernen kann. Bereinigen Sie nun diese Daten. Überlegungen Wie gehen Sie mit fehlenden Werten um, beheben Formatierungsprobleme und gehen mit doppelten Daten um? Auswahl einer Modellarchitektur Bei der Modellarchitektur handelt es sich im Wesentlichen um das Design oder die Struktur des Modells, die als Blaupause dafür dient, wie die KI Informationen verarbeitet. Die Transformer-Architektur ist besonders darauf zugeschnitten, sequentielle Daten wie Text zu verarbeiten, wobei der Schwerpunkt auf dem Verständnis des Kontexts innerhalb der Daten liegt, und dabei bleiben wir für heute. Trainieren des Modells Geben Sie die aufbereiteten Daten in Ihr KI-Modell ein. Hier beginnt Ihre KI, die Feinheiten der Sprache zu erlernen. Schulungen können zeit- und ressourcenintensiv sein, insbesondere bei vielen Daten. (Hier möchte ich meine Freunde bei erwähnen, der Podcast kommt bald) Unsloth Testen und Verfeinern Bewerten Sie nach dem Training, wie gut Ihre KI Sprache versteht und generiert. Abhängig von den Ergebnissen müssen Sie möglicherweise Anpassungen und Umschulungen vornehmen, um die Leistung zu verbessern. Ausführen des LLM Nun, wie lässt man das Biest laufen? Anstatt ein LLM von Grund auf neu zu erstellen, können Sie verwenden, um auf Modelle zuzugreifen, die bereits mit wahnsinnigen Datenmengen trainiert wurden. Sie können diese Modelle entweder in ihrem Cloud-Dienst ausführen oder sie herunterladen, um sie lokal auf Ihrem Computer auszuführen. Hugging Face Unabhängig von Ihrer Wahl liegt der Schlüssel darin, über ein trainiertes LLM-Modell sei es über das Internet oder direkt auf Ihrem Computer. und die Möglichkeit zu verfügen, damit zu interagieren, Dies ist Teil eins einer Reihe von Beiträgen, die darauf abzielen, die Hürden für das Verständnis und die Einführung von Open-Source-KI zu verringern. Ich schreibe und produziere hier Podcasts- (unbeaufsichtigtes Lernen Weitere Links hier https://linktr.ee/Unsupervisedlearning Auch veröffentlicht hier
