
 
 Hinweis: Das folgende betrifft Vanille-Transformatoren, aber die Schlussfolgerungen und Metaphern können erweitert werden, um fruchtbar über neuere LLMs zu reden (die in einem späteren Artikel behandelt werden). Hinweis: Das folgende betrifft Vanille-Transformatoren, aber die Schlussfolgerungen und Metaphern können erweitert werden, um fruchtbar über neuere LLMs zu reden (die in einem späteren Artikel behandelt werden). Viele Menschen haben die Intuition, dass ein LLM (Large Language Model, z.B. ChatGPT) nicht wirklich versteht, was es sagt. Wenn Sie ein wenig technische Kenntnisse haben, können Sie darauf hinweisen, dass ein LLM nur ein fancy autocomplete ist, oder ein "Token-Vorhersager". Dies konsolidiert die Intuition ein wenig - Vorhersage von Token (d.h. Wortfragmente, kurze Wörter, Symbole ...) scheint wie ein weit weg von der Überlegung - aber es bleibt eine Intuition, die vernünftigerweise in Frage gestellt werden kann: Können Sie diesen Satz beenden, wenn Sie nicht ein Verständnis aufgebaut haben, woran der Absatz geht? Jetzt werden diejenigen, die mehr Wohltätigkeit gegenüber unseren sprechenden Maschinen haben, argumentieren, dass LLMs immer noch schlecht verstandene "Schwarze Kästchen" sind, und die Skeptiker des Reduktionismus beschuldigen: Ist die Natur nicht voller "weltlicher" Mechanismen, die aufkommende Phänomene hervorrufen, mit Qualitäten, die sich von ihren Grundursachen unterscheiden? Ja, wahrscheinlich nicht Die Schlüsselsache, die man über die Token-Predictor-Perspektive verstehen muss, ist, dass es nicht wirklich Reduktionistisch ist - zumindest nicht in der Art, das Gehirn "nur eine Gruppe von Neuronen" zu nennen. Ja, das Modell selbst ist ein riesiges Ensemble von kleinen Teilen, aber sie arbeiten alle zusammen, um genau eine Anforderung zu befriedigen: gegeben N vorherige Token, voraussagen Sie die nächste. die aufstrebende Eigenschaft, von der Sie erwarten würden, dass sie von den numerischen Daten, die durch die Schichten des Modells fließen, nach unten fließt. ist Aber nichts Extra konnte noch herauskommen aus Die Vorhersage von Token? Wiederholung In gewisser Weise ist jeder Text größer als die Summe seiner Teile: Die Bedeutung jedes Wortes wird durch den gesamten Kontext um ihn herum modifiziert, so dass die Bedeutung des gesamten Textes über eine Verknüpfung isolierter Wortbedeutungen hinausgeht. Dennoch ist für einen Text, der durch Token-Vorhersage erzeugt wird, jeder Schritt im Prinzip ein unabhängiger Prozess - er folgt nur einer im Zwischenergebnis impliziten Bahn. Wie wir sehen werden, setzt Token-Vorhersage inhärente qualitative Einschränkungen auf, die durch die Magie des Auftretens nicht umgangen werden können. Um dorthin zu gelangen, werden wir untersuchen, was auf einer höheren Ebene als die einzelnen Texte auftaucht: Was ist, wenn wir alle möglichen Ausgänge des Modells in eine einzige Struktur organisieren? Ironischerweise ist der "reduzierende" Formalismus das perfekte mathematische Werkzeug für diese Aufgabe. Aber zuerst wende ich mich an Borges' Bibliothek von Babel für Inspiration 
 
 
 
 
 Die Geschichte beschreibt eine Bibliothek, die aus endlosen hexagonalen Räumen besteht.Jedes Zimmer beherbergt Regale von Büchern, die jede mögliche Anordnung von Buchstaben, Räumen und Punktionszeichen enthalten. Folglich enthält die Bibliothek nicht nur alle bedeutenden Werke – jede Wahrheit, jede Lüge, jede Prophezeiung, jeden wissenschaftlichen Durchbruch oder jedes Meisterwerk – sondern auch endlose Bände unverständlicher Unsinn. Die Bewohner der Bibliothek - ihre Bibliothekare - wandern unermüdlich durch die unendlichen Korridore, angetrieben von einer unersättlichen Suche nach Sinn und Erleuchtung.Aber die Unendlichkeit der Bibliothek macht jeden sinnvollen Text effektiv unmöglich zu finden, begraben inmitten eines unendlichen Unsinns. Verschiedene Sekten bilden sich unter ihnen: Einige suchen verzweifelt nach einem mythischen "Katalog" der Inhalte der Bibliothek, andere zerstören Bücher, die als nutzlos angesehen werden, und doch geben sich andere der nihilistischen Verzweiflung - religiösen Glauben, Fundamentalismus oder Nihilismus - zurück, die alle aus einem Verlangen nach Gewissheit geboren werden. Die Geschichte beschreibt eine Bibliothek, die aus endlosen hexagonalen Räumen besteht.Jedes Zimmer beherbergt Regale von Büchern, die jede mögliche Anordnung von Buchstaben, Räumen und Punktionszeichen enthalten. Folglich enthält die Bibliothek nicht nur alle bedeutenden Werke – jede Wahrheit, jede Lüge, jede Prophezeiung, jeden wissenschaftlichen Durchbruch oder jedes Meisterwerk – sondern auch endlose Bände unverständlicher Unsinn. Die Bewohner der Bibliothek - ihre Bibliothekare - wandern unermüdlich durch die unendlichen Korridore, angetrieben von einer unersättlichen Suche nach Sinn und Erleuchtung.Aber die Unendlichkeit der Bibliothek macht jeden sinnvollen Text effektiv unmöglich zu finden, begraben inmitten eines unendlichen Unsinns. Verschiedene Sekten bilden sich unter ihnen: Einige suchen verzweifelt nach einem mythischen "Katalog" der Inhalte der Bibliothek, andere zerstören Bücher, die als nutzlos angesehen werden, und doch geben sich andere der nihilistischen Verzweiflung - religiösen Glauben, Fundamentalismus oder Nihilismus - zurück, die alle aus einem Verlangen nach Gewissheit geboren werden. Vielen Dank an ChatGPT für diese Zusammenfassung. oder besser noch, lesen Sie es selbst. Es ist eine faszinierende Geschichte, aber was hat es mit Sprachmodellen zu tun? Denken Sie zunächst an die Borges-Bibliothek als die Reihe von Ausgängen aus einem primitiven Sprachmodell: ein Modell, das Zeichen anstelle von Token vorhersagt, aber mit Null Betrachtung für die Genauigkeit. Natürlich schlägt ein solches Modell keine Organisationsprinzipien für seine Ausgänge vor - zumindest keine, die helfen, Daten von Lärm zu trennen.Borges nimmt künstlerische Freiheit mit dem hexagonalen Layout, aber die ganze Bibliothek stellt einen einheitlich zufälligen Generationsprozess dar. Betrachten Sie jetzt eine analoge Bibliothek, die auf Token anstelle von Zeichen basiert: Sie würde alle möglichen Texte bis zu einer gewissen maximalen Anzahl von Token enthalten, die Ausgänge aus einem "undifferenzierten" LLM darstellen. Diese neue Bibliothek würde im Wesentlichen die gleichen Eigenschaften wie das Original haben. Verwirrung – Perplexity Formell wird Perplexität als die exponentierte durchschnittliche negative Log-Wahrscheinlichkeit einer Sequenz definiert: PP(X) = exp(-1/N ∑ log P(xᵢ|x₁,…,xᵢ₋₁)) Weniger formell behandeln wir einen gegebenen Text als eine Sequenz von Ergebnissen aus einem zufälligen Prozess (nicht unbedingt einheitlich). Jeder Token wird einer Wahrscheinlichkeit entsprechend dem Modell zugeteilt, basierend auf den vorherigen Token: Es spiegelt wider, wie gut jede Folgemaßnahme den Trainingsdaten entspricht. Die Wahrscheinlichkeiten werden dann so zusammengefasst, dass ein nützlicher Durchschnitt für den gesamten Text berechnet werden kann. Schließlich wird das in einen intuitiven Wert gemappt, der (ungefähr) die durchschnittliche Anzahl der tragfähigen Fortsetzungen bei jedem Schritt widerspiegelt. Verwirrungswerte reichen von 1 bis unendlich. 1 bedeutet, dass der Text so vorhersehbar ist, dass jeder Schritt unweigerlich in den nächsten führt - etwas, das so typisch für die Trainingsdaten ist, dass seine Fertigstellung wie Hohe Werte implizieren ein verzweigtes Labyrinth von Möglichkeiten: Das Modell ist nicht sicher, wohin der Text geht, und die höhere Anzahl der möglichen Fortsetzungen bedeutet ein geringeres Vertrauen in jeden. Rote Erinnerung Stellen Sie sich jetzt eine Struktur von konzentrierten Kreisen vor Die Kreise sind Grenzen, die eine flache, endlose Ausdehnung in Ringe teilen. Jede Grenze wird einem Verwirrungswert zugewiesen, beginnend mit 1 für das kreisförmige Zentrum und steigend nach außen. Die Bereiche zwischen den angrenzenden Kreisen bilden Verwirrungsbänder: Jeder Ring beherbergt alle Texte, deren Verwirrungswerte in den von seinen inneren und äußeren Grenzen definierten Bereich fallen. Das ist die moderne Bibliothek von Babel. Diese neue Bibliothek sortiert alle möglichen Ausgänge des Modells auf eine Weise, die treu widerspiegelt, was das Modell gelernt hat.Um eine mögliche Antwort für einen gegebenen Anruf zu finden, müssen Sie nur eine Band auswählen, einen Text finden, der mit diesem Anruf beginnt, und weiterlesen. Klingt einfach genug, aber welche Band wählen? Wie LLM-Designer gut wissen, befinden sich die meisten Texte, die Benutzer wollen, nicht im Zentrum der Bibliothek, obwohl Sie dort höchstwahrscheinlich wahre Aussagen finden (oder zumindest Aussagen, die perfekt mit konventionellem Wissen übereinstimmen). Betrachten Sie, was passiert, wenn ein Benutzer die Lösung eines schwierigen oder offenen Problems will: Das Zentrum der Bibliothek kann allgemeine Hinweise anbieten oder einfach feststellen, dass es keine bekannte Lösung gibt; es enthält sichere Antworten, die strikt den Schulungsdaten entsprechen. In der Praxis, wenn Sie Ihren Lieblings-Chatbot auffordern, erkunden Sie einige Bands um das Zentrum, wo Sie einige "kreative" Ausgänge finden können. Da das Token-Vorhersage-Design keine inhärente Möglichkeit bietet, die Korrektheit von der Kreativität zu trennen, ist die Wahl der Bands ein Ausgleichsakt. Wenn wir etwas von empirischen Beobachtungen extrapolieren und den Implikationen der Verwirrungsmetrik folgen können, sollten wir schließen, dass wirklich innovative Texte weit vom Zentrum entfernt wären: Einsteins ungeschriebene Theorien oder gültige Beweise für die Riemann-Hypothese sind inhärent unwahrscheinlich Texte. Warum also nicht weiter schauen? Nun, basierend auf der Definition von Verwirrung, explodiert die Anzahl der potenziellen Antworten auf eine Anfrage exponentiell, je weiter Sie gehen. In der Zwischenzeit bleibt die Anzahl der korrekten Antworten konstant, mit nur so vielen verschiedenen Möglichkeiten, sie zu erklären. Das Verhältnis von nützlichen zu sinnlosen Texten schrumpft schnell. Mit anderen Worten, während die Wahrscheinlichkeit, dass zumindest einige Texte neue und bahnbrechende Werke enthalten, zunimmt, verschwindet die Wahrscheinlichkeit, auf sie zu stürzen. Wenn Sie sich einen engen Verwirrungsband ansehen, betrachten Sie Texte, die vom Modell (mehr oder weniger) gleichermaßen "gut" sind - ebenso wahrscheinlich, unabhängig von ihrer Empfindlichkeit erzeugt zu werden - solange sie mit dem Anruf übereinstimmen. Kurz gesagt, die äußeren Bereiche unserer modernisierten Bibliothek Babel nähern sich tatsächlich der Situation von Borges' Klassiker. Vielleicht fangen Sie an zu sehen, wie sich dies wieder mit der ursprünglichen Intuition verbindet: Sie können einen Text als einen Weg betrachten, der durch den generativen Prozess verfolgt wird - eine Aufzeichnung von Token-Optionen (ha-ha), die bei jedem Schritt gemacht werden. aber angefangen von einem gegebenen Präfix (wie einer Anweisung), hat das Modell keine inhärente Präferenz für einen bestimmten Weg aus der Variante, die im relevanten Verwirrungsband angeboten wird. Dies begründet, was es bedeutet zu sagen, dass das Modell nicht versteht, wovon es spricht: Es weiß nicht oder kümmert sich nicht, wie die verschiedenen Wege, die es nehmen könnte, miteinander vergleichen, in Bezug auf Wahrheit, Nützlichkeit oder irgendeinen äußeren Faktor - es ist kein begründeter Richter. Dennoch hat diese moderne Bibliothek von Babel ihre Bibliothekare: Sie sind die eifrigen Nutzer. Einige von ihnen erkunden die Umgebung für versteckte Edelsteine der Wahrheit. Andere suchen nach etwas wie dem Katalog aus der Geschichte von Borges: Wenn nur sie den richtigen Anruf finden könnten, würden sie eine zuverlässige Antwort auf jede Frage bekommen. Einige suchen sogar nach einem geheimen Zauber, um die Bibliothek zu ihrem eigenen schlafenden Bewusstsein zu erwecken. Wie Borges' Bibliothekare wandern sie durch endlose Korridore, Nasen in endlosen Bänden stecken, ohne das größere Bild dieser Verfolgung zu erfassen - ihre wahren entstehenden Eigenschaften. Aber können Sie das gleiche Argument nicht gegen Menschen wenden? Warum nicht eine menschliche Bibliothek von Babel hypothesen? organisieren Sie einfach alle potenziellen Ausgaben des menschlichen Geistes auf der Grundlage eines menschlichen Maßes der Verwirrung. Ich denke nicht so. Zu Beginn funktioniert die menschliche "Verwirrung" anders: Wenn ich ein bahnbrechendes Werk lese, kann es zunächst als verwirrend und zweifelhaft erscheinen. Vorläufig könnte ich ihm einen Verwirrungswert so hoch wie verwirrend zuschreiben - es wäre nicht so neu, wenn es nicht aus ungewöhnlichen Voraussetzungen begann oder auf einem unwahrscheinlichen Weg begann. Aber am Ende wird sich das Werk gerechtfertigt haben. Insgesamt verstanden, könnte es gut mit bekannten Fakten und gültigen Argumenten übereinstimmen. Eine solche dramatische Neubewertung früherer Token, mit ihrer plötzlichen Veränderung in der Verwirrung, passiert nicht mit normalen transformatorbasierten LLMs: Ein ungewöhnlicher Text kann sich schließlich in relativer Vorhersehbarkeit niederlassen, wenn genügend Kontext gegeben wird, aber der Durchschnitt wird verschmutzt bleiben. Noch bedeutender ist, dass es bei Token-Vorhersagen eine Symmetrie zwischen der Erzeugung und der Bewertung von Texten gibt. Aber dies ist nicht der Fall bei Menschen: Durch tiefe Einsicht kann der Geist Verbindungen zwischen Ideen spüren, die fern und unabhängig erscheinen. Um eine solche Einsicht zu validieren und zu kommunizieren, müsst ihr explizit zwischen den Ideen vermitteln - um ein Argument mit einer linearen Progression aufzubauen, die andere Köpfe folgen können. Dieser Prozess kann langsam und mühsam sein, aber von dem anfänglichen Blitz des Verständnisses geleitet, den ihr vom Leser nicht erwarten könnt. Das ist ein erheblicher Kontrast. Wenn ein LLM einen Text erzeugt, folgt er einem Pfad, der sich vor ihm zu einem unbekannten Ziel entfaltet. Die Steppensteine - die Sequenz erzeugter Token - sind keine Vermittler, sondern Führer. Es ist genauso "verloren", einen neuen Text zu konstruieren, wie die Verwirrungsbeurteilung des Ergebnisses impliziert. d.h. den größten Teil des Weges durch, es ist am Rande seines Sitzes, erraten wie ein unwissender Leser! Dennoch kann das Bild eines Kerns mit konzentrierten Kreisen auch für Menschen nützlich sein Lassen Sie den Kern die Erde sein: Grundwahrheit. Um sie herum sind Bänder der intellektuellen Atmosphäre der Menschheit, die allmählich verdünnen, wenn sie in einen weiten und unerforschten Raum gelangt. Einige Ideen liegen direkt auf dem Boden, wie offensichtliche Schlussfolgerungen, leicht zu stürzen. Eine Menge sind in der Luft, über unseren Köpfen, auf einen intuitiven Sprung warten. Die meisten sind auf dem Himmel, oder den ganzen Weg in den Raum - unbewiesene Theorien, unbegründete Fantasien, bloße Täuschungen... Aber man kann sich auch einen Berg vorstellen: Er beginnt vom Boden und geht aufwärts. Der intellektuelle Abenteurer sieht seine Umrisse von weitem und entwirft einen rauen Kurs für den Gipfel. Wenn er anfängt zu klettern, stellt der Berg viele Herausforderungen dar, die er nicht vorhergesehen hatte - so dass sie nur von oben aus gelöst werden können. Schließlich erreicht er den Gipfel und sieht die Welt von einem neuen Vorteilspunkt aus. Er steht dort, wo selbst die Luft dünn ist, aber er ist mit dem Boden durch einen reinen Berg verbunden. Von dort aus kann er neue Erkenntnisse wieder auf den Boden bringen, zusammen mit der Geschichte, wie er zu ihnen kam: eine Geschichte, die am Anfang zu fantastisch ist, aber am Ende unbestreitbar wahr ist.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Read My Stories

Dieses Audio ist in der Originalsprache der Geschichte produziert!

Wie KI-Reasoning die Bibliothek von Babel von Borge spiegelt

About Author

KOMMENTARE

Hängeetiketten

DIESER ARTIKEL WURDE VORGESTELLT IN

Related Stories

This Black Friday & Holiday Season, HackerNoon Has Your Tech Marketing Covered 🎁 💚

HackerNoon Decoded 2024: Celebrating Our Writing Community!

Starting 2025 with New Features: Settings Dashboard, HackerNoon Decoded, Updated Search UI, and More

HackerNoon Decoded 2024: Wir feiern unsere Gaming-Community!

This Black Friday & Holiday Season, HackerNoon Has Your Tech Marketing Covered 🎁 💚

HackerNoon Decoded 2024: Celebrating Our Writing Community!

Starting 2025 with New Features: Settings Dashboard, HackerNoon Decoded, Updated Search UI, and More

HackerNoon Decoded 2024: Wir feiern unsere Gaming-Community!

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps