Über KI-Winter und was sie für die Zukunft bedeuten

Ausgehend von unserer Reihe über die Geschichte der LLMs möchten wir Ihnen heute die faszinierende Geschichte der „KI-Winter“ erzählen – Zeiten reduzierter Finanzierung und geringeren Interesses an der KI-Forschung. Sie werden sehen, wie sich Aufregung und Enttäuschung abwechseln, aber wichtige Forschungsergebnisse bleiben immer bestehen. Begleiten Sie uns, während wir in dieser umfassendsten Zeitleiste der KI-Winter die Entwicklung der künstlichen Intelligenz erkunden. (Wenn Sie jetzt keine Zeit haben, bewahren Sie den Artikel unbedingt für später auf! Die Lektüre lohnt sich, da Sie einige Lektionen lernen können.)

Gut, dass es Sommer ist, denn wir tauchen ein in:

1. Winter Nr. 1, 1966: Fehler bei der maschinellen Übersetzung
2. Winter Nr. 2, 1969: Konnektionisten und Verfall der neuronalen Netzwerkforschung
3. Winter Nr. 3, 1974: Kommunikationslücke zwischen KI-Forschern und ihren Sponsoren
4. Winter Nr. 4, 1987: Zusammenbruch des LISP-Maschinenmarktes
5. Winter Nr. 5, 1988: Keine hochrangige Maschinenintelligenz – kein Geld

Winter Nr. 1, 1966: Maschinelle Übersetzung

Wie in der ersten Ausgabe dieser Reihe besprochen, hat die NLP-Forschung ihre Wurzeln in den frühen 1930er Jahren und beginnt ihre Existenz mit Arbeiten zur maschinellen Übersetzung (MT). Nach der Veröffentlichung des einflussreichen Memorandums von Warren Weaver im Jahr 1949 zeichneten sich jedoch bedeutende Fortschritte und Anwendungen ab.

Das Memorandum löste in der Forschungsgemeinschaft große Aufregung aus. In den folgenden Jahren ereigneten sich bemerkenswerte Ereignisse: IBM begann mit der Entwicklung der ersten Maschine, das MIT ernannte seinen ersten Vollzeitprofessor für maschinelle Übersetzung und es fanden mehrere Konferenzen zum Thema MT statt. Der Höhepunkt war die öffentliche Vorführung der IBM-Georgetown-Maschine, die 1954 in angesehenen Zeitungen große Aufmerksamkeit erregte.

Ein weiterer Faktor, der das Gebiet der maschinellen Übersetzung voranbrachte, war das Interesse der Central Intelligence Agency (CIA) . Während dieser Zeit glaubte die CIA fest an die Bedeutung der Entwicklung maschineller Übersetzungsfähigkeiten und unterstützte solche Initiativen. Sie erkannten auch, dass dieses Programm Auswirkungen hatte, die über die Interessen der CIA und der Geheimdienste hinausgingen.

Skeptiker

Wie bei allen KI-Booms, denen verzweifelte KI-Winter folgten, neigten die Medien dazu, die Bedeutung dieser Entwicklungen zu übertreiben. Schlagzeilen über das IBM-Georgetown-Experiment enthielten Sätze wie „ Das elektronische Gehirn übersetzt Russisch “, „Die zweisprachige Maschine“, „Robotergehirn übersetzt Russisch in King's English“ und „ Polyglotte Idee “. Die eigentliche Demonstration umfasste jedoch die Übersetzung eines kuratierten Satzes von nur 49 russischen Sätzen ins Englische, wobei der Wortschatz der Maschine auf nur 250 Wörter begrenzt war . Um die Dinge ins rechte Licht zu rücken: Diese Studie ergab, dass Menschen einen Wortschatz mit etwa 8.000 bis 9.000 Wortfamilien benötigen, um geschriebene Texte mit einer Genauigkeit von 98 % zu verstehen.

Diese Demonstration erregte großes Aufsehen. Allerdings gab es auch Skeptiker, etwa Professor Norbert Wiener, der als einer der ersten Pioniere bei der theoretischen Grundlagenlegung der KI-Forschung gilt. Noch vor der Veröffentlichung von Weavers Memorandum und sicherlich vor der Demonstration äußerte Wiener 1947 in einem Brief an Weaver seine Zweifel und erklärte:

Ehrlich gesagt befürchte ich, dass die Grenzen von Wörtern in verschiedenen Sprachen zu vage sind und die emotionalen und internationalen Konnotationen zu umfassend sind, als dass ein quasimechanisches Übersetzungsschema sehr hoffnungsvoll erscheinen könnte. [...] Zum jetzigen Zeitpunkt erscheint die Mechanisierung der Sprache, die über ein Stadium wie die Gestaltung fotoelektrischer Lesemöglichkeiten für Blinde hinausgeht, sehr verfrüht.

Unterstützer und die Finanzierung von MT

Es scheint jedoch, dass die Skeptiker in der Minderheit waren, da die Träumer ihre Bedenken in den Schatten stellten und sich erfolgreich die nötige Finanzierung sicherten. Fünf Regierungsbehörden spielten eine Rolle bei der Förderung der Forschung: die National Science Foundation (NSF) war neben der Central Intelligence Agency (CIA), der Armee, der Marine und der Luftwaffe der Hauptspender. Bis 1960 hatten diese Organisationen zusammen fast 5 Millionen US-Dollar in Projekte im Zusammenhang mit maschineller Übersetzung investiert.

Bis 1954 hatte die mechanische Übersetzungsforschung so viel Interesse geweckt, dass sie von der National Science Foundation (NSF) anerkannt wurde, die dem Massachusetts Institute of Technology (MIT) ein Stipendium gewährte. Die CIA und die NSF führten Verhandlungen, die Anfang 1956 zu einer Korrespondenz zwischen den beiden Direktoren führten. Die NSF erklärte sich bereit, jedes gewünschte Forschungsprogramm in maschineller Übersetzung durchzuführen, das von allen Beteiligten vereinbart wurde. Laut Aussage der National Science Foundation aus dem Jahr 1960 waren 11 Gruppen in den Vereinigten Staaten an verschiedenen Aspekten der von der Bundesregierung unterstützten mechanischen Übersetzungsforschung beteiligt. Auch bei der Air Force, der US Army und der US Navy gab es großes Interesse.

KI-Anfang

Im Jahr nach der öffentlichen Demonstration der IBM-Georgetown-Maschine prägte McCarthy den Begriff „KI“ in dem 1955 veröffentlichten Vorschlag für die Dartmouth-Sommerkonferenz . Dieses Ereignis löste eine neue Welle von Träumen und Hoffnungen aus und stärkte die bestehenden weiter Begeisterung.

Es entstanden neue Forschungszentren, die mit verbesserter Computerleistung und größerer Speicherkapazität ausgestattet waren. Gleichzeitig erfolgte die Entwicklung höherer Programmiersprachen. Diese Fortschritte wurden zum Teil durch erhebliche Investitionen des Verteidigungsministeriums ermöglicht, einem wichtigen Unterstützer der NLP-Forschung.

Fortschritte in der Linguistik, insbesondere auf dem Gebiet der von Chomsky vorgeschlagenen formalen Grammatikmodelle, inspirierten mehrere Übersetzungsprojekte. Diese Entwicklungen schienen deutlich verbesserte Übersetzungsmöglichkeiten zu versprechen.

Wie John Hutchins in „ The History of Machine Translation in a Nutshell “ schreibt, gab es zahlreiche Vorhersagen über bevorstehende „Durchbrüche“. Allerdings stießen die Forscher bald auf „semantische Barrieren“, die komplexe Herausforderungen ohne einfache Lösungen darstellten, was zu einer wachsenden Ernüchterung führte.

Ernüchterung

In „ The Whiskey Was Invisible “ zitiert John Hutchins ein altbekanntes Beispiel, nämlich die Geschichte eines MT-Systems , das das biblische Sprichwort „Der Geist ist willig, aber das Fleisch ist schwach“ ins Russische umwandelte, das dann mit übersetzt wurde „Der Whisky ist stark, aber das Fleisch ist faul“, heißt es. Während die Genauigkeit dieser Anekdote fraglich ist und Isidore Pinchuk sogar sagt, dass die Geschichte apokryphisch sein kann, nutzte Elaine Rich sie, um die Unfähigkeit früher MT-Systeme zu zeigen, mit Redewendungen umzugehen. Im Allgemeinen veranschaulicht dieses Beispiel die Probleme der MT-Systeme im Zusammenhang mit der Semantik von Wörtern.

Biblisches Sprichwort: „Der Geist ist willig, aber das Fleisch ist schwach“

Vom MT-System zurückübersetzt als „Der Whisky ist stark, aber das Fleisch ist faul.“

Der größte Erfolg kam von den Ergebnissen der ALPAC-Gruppe, die von der US-Regierung in Auftrag gegeben wurde und von Dr. Leland Haworth, dem Direktor der National Science Foundation, geleitet wurde, die die zugrunde liegende Idee unterstützt. In ihrem Bericht wird die maschinelle Übersetzung mit der menschlichen Übersetzung verschiedener Texte in Physik und Geowissenschaften verglichen. Die Schlussfolgerung: Die Ergebnisse maschineller Übersetzungen waren bei allen überprüften Beispielen weniger genau, langsamer, kostspieliger und weniger umfassend als menschliche Übersetzungen.

Im Jahr 1966 stellte der National Research Council abrupt jegliche Unterstützung für die maschinelle Übersetzungsforschung in den Vereinigten Staaten ein. Nach dem erfolgreichen Einsatz von Computern zur Entschlüsselung deutscher Geheimcodes in England glaubten Wissenschaftler fälschlicherweise, dass die Übersetzung geschriebener Texte zwischen Sprachen nicht schwieriger sein würde als die Entschlüsselung von Chiffren. Allerdings erwies sich die Komplexität der Verarbeitung „natürlicher Sprache“ als weitaus gewaltiger als erwartet. Versuche, die Wörterbuchsuche zu automatisieren und Grammatikregeln anzuwenden, führten zu absurden Ergebnissen. Nach zwei Jahrzehnten und einer Investition von zwanzig Millionen Dollar war keine Lösung in Sicht, was den Ausschuss des National Research Council dazu veranlasste, das Forschungsvorhaben einzustellen.

Ernüchterung entstand aufgrund der hohen Erwartungen an die praktische Anwendung des Fachgebiets, obwohl es an ausreichenden theoretischen Grundlagen in der Linguistik mangelte. Die Forscher konzentrierten sich mehr auf theoretische Aspekte als auf praktische Umsetzungen. Darüber hinaus stellten die begrenzte Hardwareverfügbarkeit und die Unausgereiftheit der technologischen Lösungen zusätzliche Herausforderungen dar.

Winter Nr. 2, 1969: Konnektionisten und Verfall der neuronalen Netzwerkforschung

Die zweite Welle der Enttäuschung kam kurz nach der ersten und warnte KI-Forscher vor den Gefahren übertriebener Behauptungen. Bevor wir uns jedoch mit den daraus resultierenden Problemen befassen, sind einige Hintergrundinformationen erforderlich.

In den 1940er Jahren begannen McCulloch und Walter Pitts mit dem Verständnis der Grundprinzipien des Geistes und entwickelten frühe Versionen künstlicher neuronaler Netze, wobei sie sich von der Struktur biologischer neuronaler Netze inspirieren ließen.

Etwa ein Jahrzehnt später, in den 1950er Jahren, entwickelte sich die Kognitionswissenschaft zu einer eigenständigen Disziplin, die als „kognitive Revolution“ bezeichnet wird. Viele frühe KI-Modelle wurden von der Funktionsweise des menschlichen Gehirns beeinflusst. Ein bemerkenswertes Beispiel ist Marvin Minskys SNARC-System, das erste computergestützte künstliche neuronale Netzwerk, das die Navigation einer Ratte durch ein Labyrinth simulierte.

In den späten 1950er Jahren wurden diese Ansätze jedoch weitgehend aufgegeben, da sich die Forscher dem symbolischen Denken als Schlüssel zur Intelligenz zuwandten. Der Erfolg von Programmen wie dem Logic Theorist (1956), der als erstes KI-Programm gilt, und dem General Problem Solver (1957), der von Allen Newell, Herbert A. Simon und Cliff Shaw of the Rand als universelle Problemlösungsmaschine konzipiert wurde Corporation spielte bei diesem Wandel eine Rolle.

Eine Art konnektionistischer Arbeit wurde fortgesetzt: Die Erforschung der Perzeptrone, die Frank Rosenblatt mit unerschütterlichem Enthusiasmus vertrat, blieb bestehen. Rosenblatt simulierte 1957 erstmals Perzeptrone auf einem IBM 704-Computer im Cornell Aeronautical Laboratory. Diese Forschungsrichtung wurde jedoch 1969 mit der Veröffentlichung des Buches Perceptrons von Marvin Minsky und Seymour Papert abrupt eingestellt, in dem die wahrgenommenen Grenzen von Perzeptronen dargelegt wurden.

Wie Daniel Crevier schrieb :

Kurz nach dem Erscheinen von Perceptrons bremste ein tragisches Ereignis die Forschung auf diesem Gebiet noch weiter: Gerüchten zufolge ertrank Frank Rosenblatt, inzwischen ein gebrochener Mann, bei einem Bootsunfall. Nachdem sie ihren überzeugendsten Förderer verloren hatte, geriet die neuronale Netzwerkforschung in einen fünfzehn Jahre andauernden Niedergang.

In dieser Zeit wurden noch bedeutende Fortschritte in der konnektionistischen Forschung erzielt, wenn auch in kleinerem Maßstab. Die Einführung der Backpropagation durch Paul Werbos im Jahr 1974, eines entscheidenden Algorithmus zum Training neuronaler Netze, machte weitere Fortschritte, wenn auch mit begrenzten Ressourcen. Die Beschaffung umfangreicher Mittel für verbindungsorientierte Projekte blieb eine Herausforderung, was zu einem Rückgang ihrer Verfolgung führte.

Erst Mitte der 1980er Jahre kam es zu einer Wende. Der Winter ging zu Ende, als namhafte Forscher wie John Hopfield, David Rumelhart und andere ein erneutes und weit verbreitetes Interesse an neuronalen Netzen entfachten. Ihre Arbeit entfachte die Begeisterung für verbindungsorientierte Ansätze neu und ebnete den Weg für die Wiederbelebung groß angelegter Forschung und Entwicklung im Bereich neuronaler Netze.

Winter Nr. 3, 1974: Kommunikationslücke zwischen KI-Forschern und ihren Sponsoren

Hohe Erwartungen und ehrgeizige Ansprüche führen oft direkt in die Enttäuschung. In den späten 1960er und frühen 1970er Jahren leiteten Minsky und Papert das Micro Worlds-Projekt am MIT, wo sie vereinfachte Modelle namens Mikrowelten entwickelten. Sie definierten die allgemeine Ausrichtung der Bemühungen wie folgt:

Wir sind der Meinung, dass [Mikrowelten] so wichtig sind, dass wir einen großen Teil unserer Bemühungen darauf verwenden, eine Sammlung dieser Mikrowelten zu entwickeln und herauszufinden, wie wir die Suggestiv- und Vorhersagekraft der Modelle nutzen können, ohne von ihrer Inkompatibilität mit den Modellen überwältigt zu werden wörtliche Wahrheit.

Bald erkannten die Befürworter von Mikrowelten, dass selbst die spezifischsten Aspekte des menschlichen Gebrauchs nicht definiert werden konnten, ohne den breiteren Kontext der menschlichen Kultur zu berücksichtigen. Beispielsweise waren die in SHRDLU verwendeten Techniken auf bestimmte Fachgebiete beschränkt. Der Mikrowelten-Ansatz führte nicht zu einer schrittweisen Lösung für die allgemeine Intelligenz. Minsky, Papert und ihre Schüler konnten eine Mikrowelt nicht schrittweise zu einem größeren Universum verallgemeinern oder einfach mehrere Mikrowelten zu einer größeren Menge zusammenfassen.

Ähnliche Schwierigkeiten bei der Erfüllung der Erwartungen hatten auch andere KI-Labore im ganzen Land. Das Shakey-Roboterprojekt in Stanford beispielsweise erfüllte nicht die Erwartungen, ein automatisiertes Spionagegerät zu werden. Forscher befanden sich in einem Kreislauf zunehmender Übertreibungen, in dem sie in ihren Vorschlägen mehr versprachen, als sie halten konnten. Die Endergebnisse blieben oft hinter den Erwartungen zurück und blieben weit von den ursprünglichen Versprechen entfernt.

DARPA, die Agentur des Verteidigungsministeriums, die viele dieser Projekte finanziert, begann, ihren Ansatz neu zu bewerten und realistischere Erwartungen von den Forschern zu fordern.

1971–75: Kürzungen der DARPA

In den frühen 1970er Jahren zielte das Speech Understanding Research (SUR)-Programm der DARPA darauf ab, Computersysteme zu entwickeln, die in der Lage sind, verbale Befehle und Daten für die interaktive Interaktion in Kampfszenarien zu verstehen. Nach fünf Jahren und einem Aufwand von fünfzehn Millionen Dollar beendete DARPA das Projekt abrupt, obwohl die genauen Gründe unklar bleiben. Prominente Institutionen wie Stanford, MIT und Carnegie Mellon sahen, wie ihre Multimillionen-Dollar-Verträge nahezu bedeutungslos wurden.

Daniel Crevier schreibt in seinem Buch über die damalige Förderphilosophie der DARPA:

Damals lautete die Philosophie der DARPA: „Menschen finanzieren, nicht Projekte!“ Minsky war ein Schüler von Licklider in Harvard und kannte ihn gut. Minsky sagte mir: „Licklider gab uns das Geld in einem großen Paket“ und kümmerte sich nicht besonders um die Details.

Mehrere renommierte Auftragnehmer, darunter Bolt, Beranek und Newman, Inc. (BBN) sowie Carnegie Mellon, produzierten in diesen fünf Jahren bemerkenswerte Systeme. Zu diesen Systemen gehörten SPEECHLESS, HIM, HEARSAY-I, DRAGON, HARPY und HEARSAY-II, die erhebliche Fortschritte beim Verständnis zusammenhängender Sprache und der Verarbeitung von Sätzen mehrerer Sprecher mit einem Wortschatz von tausend Wörtern machten.

Diese Systeme hatten Einschränkungen beim Verständnis uneingeschränkter Eingaben , so dass Benutzer aufgrund der eingeschränkten Grammatik nur erraten konnten, welche Befehle auf sie zutrafen. Trotz der Enttäuschung in diesem Aspekt betrachteten KI-Forscher diese Projekte mit Stolz. Beispielsweise wurde HEARSAY-II, das dafür bekannt ist, mehrere Wissensquellen mithilfe eines „Tafel“-Geräts zu integrieren, als eines der einflussreichsten KI-Programme gefeiert, die jemals geschrieben wurden.

Doch zu diesem Zeitpunkt wurde die Kommunikationslücke zwischen KI-Forschern und ihren Sponsoren hinsichtlich der Erwartungen zu groß.

1973: starker Rückgang der KI-Forschung im Vereinigten Königreich als Reaktion auf den Lighthill-Bericht

Der Rückgang der KI-Forschung war nicht nur amerikanischen Forschern vorbehalten. In England versetzte ein Bericht von Sir James Lighthill, einer herausragenden Persönlichkeit auf dem Gebiet der Fluiddynamik und ehemaliger Inhaber des Lucasian Chair of Applied Mathematics der Universität Cambridge, einen verheerenden Schlag für den Stand der KI-Forschung. Lighthill kategorisierte seine Forschung in drei Teile, die als „Das ABC des Themas“ bezeichnet werden.

„A“ steht für Advanced Automation und zielt darauf ab, Menschen durch speziell entwickelte Maschinen zu ersetzen. „C“ steht für computergestützte Forschung zum Zentralnervensystem (ZNS). Schließlich symbolisiert „B“ die künstliche Intelligenz selbst und dient als Brücke zwischen den Kategorien A und C.

Während die Kategorien A und C abwechselnd Erfolgs- und Misserfolgsperioden erlebten, betonte Lighthill das weit verbreitete und tiefe Gefühl der Entmutigung im Zusammenhang mit der beabsichtigten Brückenaktivität der Kategorie B. Er sagt: „ Dies lässt Zweifel aufkommen, ob das gesamte Konzept der KI ein integriertes Feld ist.“ der Forschung ist gültig. ”

Der Bericht löste eine hitzige Debatte aus, die 1973 in der BBC-Serie „Controversy“ ausgestrahlt wurde. Die Debatte mit dem Titel „Der Mehrzweckroboter ist eine Fata Morgana“ fand in der Royal Institution statt, wobei Sir James Lighthill gegen Donald Michie, John antrat McCarthy und Richard Gregory.

Leider hatte der Bericht schwerwiegende Auswirkungen und führte zur vollständigen Demontage der KI-Forschung in England. Nur eine Handvoll Universitäten, nämlich Edinburgh, Essex und Sussex, setzten ihre KI-Forschungsbemühungen fort. Erst 1983 erlebte die KI-Forschung einen Aufschwung in größerem Maßstab. Auslöser dieses Wiederauflebens war die Finanzierungsinitiative der britischen Regierung namens Alvey, die als Reaktion auf das japanische Fifth Generation Project 350 Millionen Pfund für die KI-Forschung bereitstellte .

Winter Nr. 4, 1987: Zusammenbruch des LISP-Maschinenmarktes

Während der als verbindungsorientierter Winter bekannten Zeit entwickelten sich symbolische Systeme wie Logical theorist (1956) und General Problem Solver (1957) weiter, obwohl sie mit Hardware-Einschränkungen konfrontiert waren. Aufgrund der damals begrenzten Computerkapazitäten konnten diese Systeme nur Spielzeugbeispiele verarbeiten. Das sagte Herbert Simon über die Situation in den 1950er- und 1960er-Jahren:

Man wandte sich von Aufgaben ab, die das Wissen in den Mittelpunkt stellten, weil wir mit den Computern, die wir damals hatten, keine großen Datenbanken aufbauen konnten. Unser erstes Schachprogramm und „Logic Theorist“ wurden auf einem Computer erstellt, der einen Kern mit 64 bis 100 Wörtern und eine Scratch-Trommel mit 10.000 Wörtern nutzbarem Speicherplatz hatte. Semantik war also nicht das A und O. Ich erinnere mich an einen meiner Studenten, der eine Abschlussarbeit darüber schreiben wollte, wie man Informationen aus einem großen Geschäft extrahiert. Ich sagte ihm: „Auf keinen Fall! Sie können diese These nur an einem Spielzeugbeispiel anstellen, und wir werden keine Beweise dafür haben, wie es sich skalieren lässt. Du solltest dir besser etwas anderes suchen.“ Man hat sich also von Problemen ferngehalten, bei denen Wissen im Vordergrund stand.

Um 1960 entwickelten McCarthy und Minsky am MIT LISP , eine Programmiersprache, die auf rekursiven Funktionen basiert. LISP erlangte aufgrund seiner symbolischen Verarbeitungsfähigkeiten und seiner Flexibilität bei der Bewältigung komplexer Aufgaben so große Bedeutung, was für die frühe KI-Entwicklung von entscheidender Bedeutung ist. Es war eine der ersten Sprachen, die in der KI-Forschung verwendet wurden. Doch erst in den frühen 1970er Jahren konnten Programmierer mit dem Aufkommen von Computern mit erheblicher Speicherkapazität wissensintensive Anwendungen implementieren.

Diese Systeme bildeten die Grundlage für „Expertensysteme“, deren Ziel es war, menschliches Fachwissen einzubeziehen und Menschen bei bestimmten Aufgaben zu ersetzen. Die 1980er Jahre markierten den Aufschwung von Expertensystemen, die die KI von einem akademischen Bereich in praktische Anwendungen verwandelten, und LISP wurde dafür zur bevorzugten Programmiersprache. Laut dem Essay von Paul Graham, Computerprogrammierer und Mitbegründer von Y Combinator und Hacker News, war LISP „eine radikale Abkehr von bestehenden Sprachen“ und führte neun innovative Ideen ein.

Die Entwicklung von Expertensystemen stellte einen bedeutenden Meilenstein auf dem Gebiet der KI dar und überbrückte die Lücke zwischen akademischer Forschung und praktischen Anwendungen. John McDermott von der Carnegie Mellon University schlug im Januar 1980 das erste Expertensystem namens XCON (eXpert CONfigurer) vor. XCON wurde von der Digital Equipment Corporation (DEC) eingesetzt, um den Konfigurationsprozess für ihre VAX-Computer zu optimieren. Bis 1987 verarbeitete XCON eine beträchtliche Anzahl von Aufträgen und demonstrierte damit seine Wirkung und Wirksamkeit.

1981 begann CMU mit der Arbeit an einem neuen System namens Xsel. Die Entwicklung wurde später von DEC übernommen und die Feldtests begannen im Oktober 1982. Obwohl Xcon und Xsel große Beachtung fanden, befanden sie sich noch im Prototypenstadium. Bruce Macdonald, damals Xsel-Programmmanager, begann zu protestieren, dass die Werbung die Erfolge bei weitem überwiege, aber der Vizepräsident für Vertrieb wollte nicht damit aufhören. Tatsächlich erinnert sich Macdonald an das Treffen mit leitenden Führungskräften, bei dem der Vizepräsident für Vertrieb ihn beäugte und sagte: „Sie arbeiten jetzt schon seit drei Jahren an dieser Sache. Ist es noch nicht fertig?“

In den frühen 1980er Jahren kam es zu einer Flut von Erfolgsgeschichten über Expertensysteme, die in vielen großen Unternehmen zur Bildung von KI-Gruppen führten. Der Aufstieg von Personalcomputern, die Popularität von Star Wars-Filmen und Zeitschriften wie Discover und High Technology trugen zur öffentlichen Faszination für KI bei. Der milliardenschwere Biotechnologieboom Ende der 1970er Jahre weckte das Investitionsinteresse an Hochtechnologie und veranlasste führende KI-Experten, neue Unternehmungen zu wagen :

• Edward Feigenbaum, der oft als „Vater der Expertensysteme“ bezeichnet wird, gründete zusammen mit einigen seiner Stanford-Kollegen Teknowledge, Inc.
• Forscher von Carnegie Mellon gründeten die Carnegie Group.
• Es gab genügend MIT-Spin-offs, um in Cambridge, Massachusetts, einen Streifen namens AI Alley zu schaffen. Zu diesen Startups gehörten Symbolics, Lisp Machines, Inc. und die Thinking Machines Corporation.
• Der Forscher Larry Harris verließ Dartmouth, um die Artificial Intelligence Corporation zu gründen.
• Roger Schank leitete in Yale die Gründung von Cognitive Systems, Inc.

Die damals auftauchenden Unternehmen ließen sich in drei Hauptbereiche einteilen, von dem mit den größten Umsätzen bis zu dem mit den kleineren Umsätzen:

1. KI-bezogene Hardware und Software, insbesondere Mikrocomputer, sogenannte LISP-Maschinen, die darauf ausgelegt sind, LISP-Programme nahezu mit Mainframe-Geschwindigkeit auszuführen
2. Große Unternehmen nutzten Software, die „Expertensystem-Entwicklungstools“ oder „Shells“ genannt wurde, um ihre internen Expertensysteme zu entwickeln.
3. Aktuelle Expertensystemanwendungen

Bis 1985 gaben 150 Unternehmen insgesamt 1 Milliarde US-Dollar für interne KI-Gruppen aus . Im Jahr 1986 erreichten die US-Umsätze mit KI-bezogener Hardware und Software 425 Millionen US-Dollar, mit der Gründung von 40 neuen Unternehmen und Gesamtinvestitionen von 300 Millionen US-Dollar.

Das explosionsartige Wachstum brachte Herausforderungen mit sich, da die Wissenschaft durch den Zustrom von Reportern, Risikokapitalgebern, Branchen-Headhuntern und Unternehmern überfüllt war. An der Gründungsversammlung der American Association for Artificial Intelligence im Jahr 1980 nahmen rund eintausend Forscher teil, während 1985 bei einer gemeinsamen Tagung von AAAI und IJCAI fast sechstausend Teilnehmer anwesend waren. Die Atmosphäre wechselte von Freizeitkleidung zu formeller Kleidung.

Im Jahr 1984 warnten Roger Schank und Marvin Minsky auf der Jahrestagung der AAAI vor dem bevorstehenden „KI-Winter“ und prognostizierten ein bevorstehendes Platzen der KI-Blase, das drei Jahre später tatsächlich eintrat, und den Markt für spezialisierte LISP-basierte KI Hardware ist zusammengebrochen .

Als Alternativen boten Sun Microsystems und Unternehmen wie Lucid leistungsstarke Workstations und LISP-Umgebungen an. Allzweck-Workstations stellten LISP Machines vor Herausforderungen und veranlassten Unternehmen wie Lucid und Franz LISP, immer leistungsfähigere und portablere Versionen von LISP für UNIX-Systeme zu entwickeln. Später erschienen Desktop-Computer von Apple und IBM mit einfacheren Architekturen zur Ausführung von LISP-Anwendungen. Bis 1987 erreichten diese Alternativen die Leistung teurer LISP-Maschinen und machten die Spezialmaschinen überflüssig. Die Branche mit einem Wert von einer halben Milliarde Dollar wurde innerhalb eines einzigen Jahres rasch ersetzt.

Die 1990er Jahre: Widerstand gegen die Einführung und Wartung neuer Expertensysteme

Nach dem Zusammenbruch des LISP-Maschinenmarktes traten fortschrittlichere Maschinen an ihre Stelle, erlitten aber letztendlich das gleiche Schicksal. Anfang der 1990er Jahre waren die meisten kommerziellen LISP-Unternehmen, darunter Symbolics und Lucid Inc., gescheitert. Auch Texas Instruments und Xerox zogen sich aus dem Markt zurück. Einige Kundenunternehmen warteten weiterhin auf LISP basierende Systeme, dies erforderte jedoch Supportarbeiten.

In den 1990er Jahren und darüber hinaus verschwanden der Begriff „Expertensystem“ und das Konzept eigenständiger KI-Systeme weitgehend aus dem IT-Lexikon. Hierzu gibt es zwei Interpretationen. Eine Ansicht ist, dass „Expertensysteme versagt haben“, weil sie ihr überbewertetes Versprechen nicht erfüllen konnten, was die IT-Welt dazu veranlasste, sich weiterzuentwickeln. Die andere Perspektive ist, dass Expertensysteme Opfer ihres Erfolgs waren. Als IT-Experten Konzepte wie Regel-Engines annahmen, wandelten sich diese Tools von eigenständigen Tools zur Entwicklung spezialisierter Expertensysteme zu Standardtools unter vielen.

Winter Nr. 5, 1988: Keine hochrangige Maschinenintelligenz – kein Geld

​​Im Jahr 1981 stellten die Japaner ihren ehrgeizigen Plan für das Computerprojekt der fünften Generation vor, der weltweit für Besorgnis sorgte. Die Vereinigten Staaten, die schon immer vom Verteidigungsministerium KI-Forschung und technisches Fachwissen finanziert haben, reagierten mit der Gründung der Strategic Computing Initiative (SCI) im Jahr 1983. Ziel der SCI war die Entwicklung fortschrittlicher Computerhardware und KI innerhalb eines Zeitraums von zehn Jahren. Autoren von Strategic Computing: DARPA and the Quest for Machine Intelligence, 1983-1993 beschreiben „die von SCI vorgestellte Maschine“:

Es würde zehn Milliarden Anweisungen pro Sekunde ausführen, um wie ein Mensch zu sehen, zu hören, zu sprechen und zu denken. Der erforderliche Integrationsgrad würde mit dem des menschlichen Gehirns, dem komplexesten Instrument, das die Menschheit kennt, vergleichbar sein.

Ein bemerkenswertes Projekt im Rahmen der Strategic Computing Initiative (SCI) war das „Smart Truck“- oder Autonomous Land Vehicle (ALV) -Projekt. Es erhielt einen erheblichen Teil des Jahresbudgets von SCI und hatte das Ziel, einen vielseitigen Roboter für verschiedene Missionen zu entwickeln. Diese Missionen umfassten Waffenlieferungen, Aufklärung, Munitionshandhabung und Nachschub im hinteren Bereich. Ziel war es, ein Fahrzeug zu schaffen, das unwegsames Gelände befahren, Hindernisse überwinden und Tarnung nutzen kann. Anfangs waren Prototypen mit Rädern auf Straßen und flaches Gelände beschränkt, doch das Endprodukt sollte jedes Gelände auf mechanischen Beinen durchqueren können.

In den späten 1980er Jahren wurde klar, dass das Projekt bei weitem nicht das gewünschte Maß an Maschinenintelligenz erreichen konnte. Die größte Herausforderung lag im Fehlen einer effektiven und stabilen Managementstruktur, die verschiedene Aspekte des Programms koordinieren und gemeinsam zum Ziel der maschinellen Intelligenz vorantreiben konnte. Es wurden verschiedene Versuche unternommen, SCI Managementsysteme aufzuzwingen, aber keiner erwies sich als erfolgreich. Darüber hinaus übertrafen die ehrgeizigen Ziele von SCI, wie etwa die Selbstfahrfähigkeit des ALV-Projekts, das damals Erreichbare und ähnelten zeitgenössischen multimodalen KI-Systemen und dem schwer fassbaren Konzept der AGI (Künstliche Allgemeine Intelligenz).

Unter der Führung von Jack Schwarz, der 1987 die Leitung des Information Processing Technology Office (IPTO) übernahm, wurden die Mittel für die KI-Forschung innerhalb der DARPA gekürzt . In „Machines Who Think: A Personal Inquiry into the History and Prospects of Artificial Intelligence“ beschreibt Pamela McCorduck Schwarz‘ Haltung gegenüber der Strategic Computing Initiative und der Rolle der KI:

Schwartz glaubte, dass die DARPA ein Schwimmmodell nutzte – sie setzte sich ein Ziel und paddelte darauf zu, unabhängig von Strömungen oder Stürmen. DARPA sollte stattdessen ein Surfer-Modell verwenden und auf die große Welle warten, die es ihren relativ bescheidenen Mitteln ermöglichen würde, elegant und erfolgreich auf dasselbe Ziel zuzusteuern. Auf lange Sicht war KI möglich und vielversprechend, aber ihre Welle musste noch steigen.

Obwohl das SCI nicht in der Lage war, ein hohes Maß an maschineller Intelligenz zu erreichen, erreichte es dennoch bestimmte technische Meilensteine. Beispielsweise hatte das ALV bis 1987 seine Fähigkeit zum autonomen Fahren auf zweispurigen Straßen, zur Vermeidung von Hindernissen und zum Fahren im Gelände unter verschiedenen Bedingungen unter Beweis gestellt. Der Einsatz von Videokameras, Laserscannern und Trägheitsnavigationseinheiten, die im Rahmen des SCI ALV-Programms entwickelt wurden, legte den Grundstein für die heutigen kommerziellen Entwicklungen fahrerloser Autos.

Das Verteidigungsministerium investierte zwischen 1983 und 1993 1.000.417.775,68 US-Dollar in das SCI, wie es in „Strategic Computing: DARPA and the Quest for Machine Intelligence, 1983-1993“ heißt. Das Projekt wurde schließlich in den 1990er Jahren von der Accelerated Strategic Computing Initiative und später vom Advanced Simulation and Computing Program abgelöst.

Abschluss

Kühl! KI-Winter waren sicherlich kein Spaß. Aber ein Teil der Forschung, die die jüngsten Durchbrüche mit großen Sprachmodellen (LLMs) ermöglichte, wurde in dieser Zeit durchgeführt. Auf dem Höhepunkt symbolischer Expertensysteme setzten konnektionistische Forscher ihre Arbeit an neuronalen Netzen fort, wenn auch in kleinerem Maßstab. Paul Werbos‘ Entdeckung der Backpropagation, eines entscheidenden Algorithmus zum Training neuronaler Netze, war entscheidend für den weiteren Fortschritt.

Mitte der 1980er Jahre ging der „konnektionistische Winter“ zu Ende, als Forscher wie Hopfield, Rumelhart, Williams, Hinton und andere die Wirksamkeit der Backpropagation in neuronalen Netzen und ihre Fähigkeit zur Darstellung komplexer Verteilungen demonstrierten. Dieses Wiederaufleben erfolgte gleichzeitig mit dem Niedergang symbolischer Expertensysteme.

Nach dieser Zeit blühte die Forschung zu neuronalen Netzen ohne weitere Rückschläge auf, führte zur Entwicklung zahlreicher neuer Modelle und ebnete schließlich den Weg für die Entstehung moderner LLMs. In der nächsten Ausgabe werden wir uns mit dieser fruchtbaren Zeit der neuronalen Netzwerkforschung befassen. Bleiben Sie dran!

Geschichte der LLMs von Turing Post:

1. Die Ära der mechanischen Übersetzung und wie sie zusammenbrach
2. Faszinierende Geburt der KI, der ersten Chatbots und die Macht des US-Verteidigungsministeriums
3. Die Geschichte von AI Winters und was sie uns heute lehrt

Fortgesetzt werden…