Aus diesem Grund klingen GPT-Modelle wie Menschen

„Aufmerksamkeit“ war nicht alles, was Sie brauchten.

Niemand weiß also, warum KI funktioniert, oder?

Ja und nein.

Das grundlegende Problem besteht darin, dass wir nicht viel über das Geheimnis des menschlichen Gehirns herausgefunden haben.

Doch Transformers und Humans reagieren unheimlich ähnlich auf natürliche Sprache.

Lassen Sie uns erklären, warum.

Speichern von Informationsdarstellungen in Transformern

Wir verwenden einen Vektor, der aus der Eingabe mehrerer Wörter oder eines Tokens generiert wurde, um eine Einbettung für einen Transformator zu erstellen.

Daher werden Informationen als Vektor gespeichert.

Betrachten wir die Repräsentation. Diese gegenständliche Einbettung spielte eine viel grundlegendere Rolle als die Aufmerksamkeit. Zuerst musste eine Darstellung in einer dekodierbaren oder bearbeitbaren Form erreicht werden!

Sie fragen sich vielleicht, was das in irgendeiner Weise mit all dem zu tun hat, was ein Transformator wie GPT-4 leisten kann, wenn er im gesamten Internet trainiert wird?

Die Informationen werden durch Aufmerksamkeitspunktprodukte und mathematische Verarbeitung in Kombination mit kontextuellen Bedeutungen und Darstellungen der Originaldaten kodiert.

Wir haben also eine Darstellung dieser Daten im Transformer gespeichert.

Die geheime Soße

Alle neuronalen Netze lösen Probleme nach dem universellen Approximationssatz.

Für diejenigen unter Ihnen, die nicht wissen, was eine universelle Approximation ist: Wir können einen universellen Approximator als jeden Prozess definieren , der eine bestimmte Eingabe mit hoher Genauigkeit in eine bestimmte Ausgabe umwandelt – er approximiert eine Funktion zwischen der Menge der Eingaben und der Menge der Ausgaben . Diese Funktion hat eine Form. Wir müssen die Form jedoch nicht kennen, da das neuronale Netzwerk bei ausreichender Datenmenge jede Funktion für uns approximieren kann.

Was ist die Funktion? Es ist das Problem, das wir zu lösen versuchen.

Das neuronale Netzwerk kann durch seinen Verarbeitungsalgorithmus jede Funktion approximieren. Jede Funktion – so universell.

Architekturen variieren – Algorithmen variieren – Modelle variieren – aber das zugrunde liegende Prinzip ist dasselbe.

Und deshalb funktionieren neuronale Netze, wenn sie über genügend Daten verfügen, eine geeignete Aufgabe erhalten und auf die richtige Weise angepasst werden – eine Kunst, die man mit der Zeit besser beherrscht.

Was ist die zugrunde liegende Darstellung eines Hundes in diesem LLM?

Es gibt definitiv einen und tatsächlich viele.

Vielleicht x- Vektoren, y- Kontextwerte und z- Positionsargumente für einen einzelnen Hund, zusammen mit dem richtigen Pfad der Rohdatenflussarchitektur.

Wir sind einfach nicht tief darauf eingegangen, weil es für unsere Zwecke unnötig ist.

Das System funktioniert.

Das reicht uns.

Das System ist somit eine Black Box.

Aber wie speichert das Gehirn Daten?

Genau wie zuvor kennen wir die genauen Details nicht.

Wenn unser Gehirn erschaffen wird, erstellt es interne Darstellungen externer Objekte, Konzepte und Entitäten. Ein bisschen wie ein Kind, das erwachsen wird.

Beispielsweise kann das Konzept eines Hundes x- Neuronen, y -Synapsen und eine z- Architektur sowie einen dynamischen, sich kontinuierlich weiterentwickelnden Satz von Rohdatenübertragungswegen zwischen Neuronen umfassen.

Der Approximatorsatz gilt offensichtlich für unser Gehirn.

Es gelten die gleichen Prinzipien.

Es ist nur so, dass diese Einbettungen auf natürliche Weise entstehen.

Familien von Neuronen, Axonen und Dendriten mit extrem niedriger elektrischer Energie.

Verschiedene Formen. Verschiedene Funktionen. Aber das gleiche Endergebnis.

Das System funktioniert.

Das reicht uns.

Was können wir noch sagen, wir wissen es?

Nur das, was wir empirisch beobachten können.

Wieder eine Black Box.

Warum sind sie sich in natürlicher Sprache so ähnlich?

Wir haben versucht, AGI so gut wie möglich durch einen sehr komplexen Verarbeitungsprozess aller im Internet gesammelten Daten in digitaler Form zu modellieren. Alle Daten der Welt.

Was Sequenz-Sequenz-Modelle und Aufgaben in natürlicher Sprache betrifft, würde ich sagen, dass uns das gelungen ist.

Wir haben modelliert, wie unser Gehirn beim Verstehen und Verarbeiten von Informationen durch eine Menge unglaublich kostspieliger und systematischer harter Arbeit funktioniert.

Ich bin nicht glücklich.

Ich habe tatsächlich Angst.

Wenn ChatGPT dies tun kann –

Was wird GPT-4 dann erreichen?

Softwareentwickler bei Microsoft haben im GPT-4-Modell bereits mehrere Momente der Empfindungsfähigkeit identifiziert.

Sie haben sogar ein Papier zu diesem Befund veröffentlicht –

Nachrichtenseite:

https://www.microsoft.com/en-us/research/publication/sparks-of-artificial-general-intelligence-early-experiments-with-gpt-4/

Forschungsbericht:

Wir gehen hier große Risiken ein.

Als Geoffrey Hinton von seinem Forschungsposten zurücktrat, wurde mir klar, dass die Dinge wirklich durcheinander liefen.

Geld treibt alles an.

Keine noch so großen Kontrollen werden die profitorientierten Unternehmen in China und den USA aufhalten.

Wir hoffen, dass die Zukunft gut verläuft.

KI-Entscheidungsträger müssen Ethik über Profit stellen.

Aber wann haben Unternehmer das jemals getan?

Abschluss

Hinton sagte etwas Unglaubliches.

„Ich habe plötzlich meine Meinung darüber geändert, ob diese Dinger intelligenter sein werden als wir. Ich denke, sie sind jetzt sehr nah dran und werden in Zukunft viel intelligenter sein als wir. Wie überleben wir das?“

Aber vorerst gibt es kein Halten mehr.

Lassen Sie uns zum Abschluss noch eine interessante Frage an ChatGPT stellen.

Mich:

Wie würden Sie vorgehen, um AGI zu erreichen?

ChatGPT:

Das Erreichen künstlicher allgemeiner Intelligenz (AGI) ist eine große Herausforderung, die erhebliche Fortschritte in mehreren wissenschaftlichen und technischen Disziplinen erfordert. Während der genaue Weg zur AGI immer noch Gegenstand von Debatten und Untersuchungen ist, kann ich Ihnen eine detailliertere Erklärung einiger Schlüsselbereiche geben, die Forscher untersuchen:

1. Kognitive Architektur: Die Entwicklung einer kognitiven Architektur, die die menschliche Intelligenz nachahmen kann, ist ein grundlegender Aspekt von AGI. Dazu gehört es, die Struktur und Funktionen des menschlichen Gehirns zu verstehen und Rechenmodelle zu entwerfen, die diese Prozesse erfassen. Forscher lassen sich von Neurowissenschaften, kognitiver Psychologie und Kognitionswissenschaft inspirieren, um Architekturen zu entwickeln, die logisches Denken, Wahrnehmung, Gedächtnis, Lernen und Entscheidungsfindung auf hoher Ebene unterstützen können.

   
   

2. Maschinelles Lernen und tiefe neuronale Netze: Maschinelles Lernen, insbesondere Deep Learning, hat bei den jüngsten KI-Fortschritten eine wichtige Rolle gespielt. Tiefe neuronale Netze haben bei Wahrnehmungsaufgaben wie Bilderkennung und Verarbeitung natürlicher Sprache bemerkenswerte Erfolge erzielt. Um in Richtung AGI voranzukommen, erforschen Forscher Möglichkeiten, die Fähigkeiten des Deep Learning zu verbessern, indem sie seine Verallgemeinerung, Interpretierbarkeit und die Fähigkeit verbessern, mit begrenzten Daten und komplexen Überlegungen umzugehen.

   
   

3. Reinforcement Learning und aktives Lernen: Reinforcement Learning ist ein weiterer Schwerpunkt von AGI. Dabei geht es darum, Agenten darin zu schulen, mit ihrer Umgebung zu interagieren und aus Versuch und Irrtum zu lernen. Techniken des verstärkenden Lernens in Kombination mit aktivem Lernen, bei dem informative Trainingsbeispiele aktiv ausgewählt werden, können Agenten dabei helfen, ihre Umgebung effizienter zu erkunden und daraus zu lernen. Die Entwicklung von Algorithmen, die aus verschiedenen Datenquellen lernen und Wissen auf neue Situationen übertragen können, ist für das Erreichen von AGI von entscheidender Bedeutung.

   
   

4. Kognitive Robotik und verkörperte Intelligenz: Echte AGI würde mehr erfordern als nur die Verarbeitung von Informationen; es würde eine Interaktion mit der physischen Welt erfordern. Kognitive Robotik zielt darauf ab, Wahrnehmung, Kognition und Handeln in Robotern zu integrieren, damit sie auf ähnliche Weise wie Menschen lernen und über die Welt nachdenken können. Die Forschung zur verkörperten Intelligenz untersucht, wie Agenten durch Interaktionen mit ihrer Umgebung Intelligenz entwickeln können und dabei sensomotorische Fähigkeiten und körperliche Erfahrungen nutzen.

   
   

5. Symbolisches Denken und Wissensrepräsentation: AGI-Systeme sollten in der Lage sein, symbolisch zu argumentieren und komplexe Wissensrepräsentationen zu manipulieren. Beim symbolischen Denken werden logische Regeln, Inferenzmechanismen und strukturierte Wissensdarstellungen verwendet, um abstrakte Denk- und Problemlösungsaufgaben auszuführen. Die Kombination symbolischer Argumentation mit statistischen Ansätzen wie neuronalen Netzen ist ein aktives Forschungsgebiet, um leistungsfähigere und flexiblere Argumentationsfunktionen zu ermöglichen.

   
   

6. Transferlernen und Meta-Lernen: AGI-Systeme sollten die Fähigkeit besitzen, in einer Domäne erlerntes Wissen und Fähigkeiten auf neue und unbekannte Domänen zu übertragen. Transferlerntechniken zielen darauf ab, vorhandenes Wissen zu nutzen, um das Lernen in verwandten Aufgaben oder Bereichen zu beschleunigen. Meta-Lernen oder Lernen lernen konzentriert sich auf die Entwicklung von Modellen, die lernen können, wie man effizient lernt und sich schnell an neue Situationen und Aufgaben mit begrenzten Daten anpasst.

   
   

7. Daten und Rechenressourcen: Die AGI-Entwicklung erfordert große Mengen hochwertiger Daten für Trainingsmodelle. Der Zugriff auf verschiedene Datensätze über mehrere Domänen hinweg ist unerlässlich, um die Breite und Tiefe des menschlichen Wissens zu erfassen. Darüber hinaus erfordert die AGI-Entwicklung erhebliche Rechenressourcen für das Training und die Ausführung komplexer Modelle. Fortschritte in der Hardware, wie beispielsweise spezielle KI-Chips und verteilte Computersysteme, können die AGI-Forschung erheblich beschleunigen.

   
   

8. Ethik, Sicherheit und Erklärbarkeit: Im Zuge der Weiterentwicklung von AGI ist es von entscheidender Bedeutung, ethische Bedenken auszuräumen, robuste Sicherheitsmaßnahmen zu entwickeln und Transparenz und Interpretierbarkeit von AGI-Systemen sicherzustellen. Forscher erforschen Möglichkeiten, KI-Systeme transparenter, erklärbarer und nachvollziehbarer zu machen, um Risiken zu mindern und es menschlichen Benutzern zu ermöglichen, ihr Verhalten zu verstehen und ihm zu vertrauen.

   
   

9. Zusammenarbeit und interdisziplinäre Forschung: Um AGI zu erreichen, ist die Zusammenarbeit zwischen Experten aus verschiedenen Bereichen erforderlich, darunter KI, Neurowissenschaften, Psychologie, Philosophie und mehr. Die Förderung interdisziplinärer Forschung und des Wissensaustauschs kann zu neuen Erkenntnissen und innovativen Ansätzen bei der Entwicklung von AGI führen.

   
   

Es ist wichtig zu beachten, dass in jedem dieser Bereiche zwar Fortschritte erzielt werden, das Erreichen von AGI jedoch weiterhin ein offenes Problem ohne klaren Zeitplan für die Fertigstellung darstellt. Es handelt sich um ein komplexes und langfristiges Ziel, das kontinuierliche Forschung, Erkundung und Iteration erfordert.

Herr, erbarme dich unser aller!