Der Kampf zwischen proprietärer und Open-Source-KI

Machen Sie sich bereit, Leute, die KI übernimmt die Welt!

Nun ja, vielleicht ist es noch nicht ganz so weit. Dennoch kann man die Auswirkungen, die es in den letzten 12 Monaten hatte, nicht leugnen.

Das Seltsame an der ganzen Sache ist, dass „ künstliche Intelligenz “ als Konzept und als Studienfach nicht so neu ist, aber mit all den Chatbots und KI-gestützten Tools, die dieses Jahr auf den Markt gekommen sind, „fühlt“ sie sich neu an.

Wichtiger als das ist die Tatsache, dass zu diesem Zeitpunkt im letzten Jahr das einzige weithin bekannte KI-Tool GPT-3 und dann ChatGPT war. Aber jetzt kann es schwierig sein, all die verschiedenen verfügbaren KI-Tools, Chatbots und LLMs zu verfolgen.

Alle fallen in zwei Kategorien:

Geschlossene Quelle (wie ChatGPT und Claude)

Open Source (wie Falcon oder Mistral)

Und hier wird es interessant.

So beliebt und ausgefeilt proprietäre KI-Modelle auch sein mögen, es gibt Open-Source-Modelle, die im KI-Bereich für Aufsehen sorgen und ihre Gewichtsklasse übertreffen.

Darauf werden wir uns in diesem Artikel konzentrieren. Ist bei einer so revolutionären Technologie wie KI proprietäre, Black-Box-ähnliche Software der richtige Weg oder ist Open Source die bessere Option?

Diese und weitere Fragen werden in der heutigen Folge beantwortet.

Offen oder geschlossen? Das ist hier die Frage

Zunächst einmal basiert der gesamte wissenschaftliche Prozess auf den Grundsätzen Ehrlichkeit, Integrität und Transparenz. Dazu gehören Offenheit, Zusammenarbeit und Peer-Reviews zur Validierung der Ergebnisse.

Viele der weltweit größten wissenschaftlichen Fortschritte, wie Pasteurisierung, Penicillin und Düngemittel, waren dank der Zusammenarbeit vieler Wissenschaftler im Laufe der Jahre möglich.

Oftmals gingen sie ein großes Problem an, bei dem ihnen damals die Ressourcen fehlten. Sie veröffentlichten ihre Erkenntnisse und Wissenschaftler nutzten diese viele Jahre später als Grundlage, um eine Lösung für das ursprüngliche Problem zum Wohle der Menschheit zu entwickeln.

Und das gilt auch für Open-Source-Technologie. Die Welt veränderte sich, als Computer von riesigen Maschinen, die ganze Räume einnahmen, zu Geräten wurden, die in jedem Haushalt vorhanden sein können.

Und danach kam das Internet, das einen weiteren Schritt nach vorn darstellte, indem es vielen Menschen den Zugang zu Technologie ermöglichte und nicht nur wenigen Privilegierten.

Tim Berners-Lee erfand 1989 das World Wide Web und machte es ohne Patente oder Lizenzgebühren für jedermann frei zugänglich. Dies trieb das rasante Wachstum des Internets und die vielen Innovationen im nächsten Jahrzehnt voran.

Eine ähnliche Geschichte passiert mit Betriebssystemen, denken Sie an Windows vs. Linux. Und das Gleiche geschah mit Web-Technologien.

Angesichts all dieser vorherigen Beispiele liegt es auf der Hand, dass eine so transformative Technologie wie KI einen ähnlichen Weg einschlagen kann (oder sollte).

Schauen wir uns also an, wie beide Seiten (geschlossene und Open-Source-KI) dieses Jahr Fortschritte gemacht haben.

Der Stand der proprietären KI

Bislang ist es für niemanden eine Neuigkeit, welche Auswirkungen ChatGPT bei seiner Veröffentlichung im vergangenen November hatte. Und für den Rest des Jahres wurde proprietäre KI zum Stadtgespräch.

Im März 2023 wurde der Nachfolger von GPT-3, GPT-4, veröffentlicht. Dieses Ereignis löste den KI-Wettlauf aus.

Schon bald schloss sich Google dem Kampf mit Bard an. Dann kam Anthropic, gegründet von ehemaligen OpenAI-Forschern, und veröffentlichte Claude , einen Konkurrenten für das beliebte ChatGPT.

OpenAI ist derzeit das Unternehmen mit den meisten „Hits“ auf dem Markt.

Das sind die GPT-Modelle, verschiedene Dall-E-Versionen und Whisper. Microsoft ist auch mit seinem neuen und verbesserten Bing Chat (der auf der OpenAI-Technologie basiert) und dem bald überall enthaltenen Copilot dabei.

Google beteiligte sich mit dem frühen Forschungsprojekt Bard am Rennen, das zunächst alle enttäuschte und dazu führte, dass wir Microsoft und seinen Initiativen mehr Aufmerksamkeit schenkten. Aber nach diesem „Wissenschaftsmesse“-Projekt hat Google sein Spiel intensiviert und Angebote wie Vertex AI, PaLM (und PaLM2), Imagen und Codey veröffentlicht.

Und dann ist da noch Anthropic mit verschiedenen Versionen seines kraftvollen Claude (Claude-instant, Claude 2). Der interessante Teil ist der Ansatz, mit dem sie Claude trainiert haben, was sie „Constitutional AI“ nennen. Dieser Ansatz stellt die Sicherheit in den Vordergrund und trägt dazu bei, KI zu schaffen, die auf menschliche Interessen und Werte abgestimmt ist.

Dabei handelt es sich um große Fortschritte im KI-Bereich, die vor allem dadurch bekannt sind, dass sie von Unternehmen entwickelt werden, die über mehrere Mitarbeiter, umfangreiche Ressourcen und großartige Marketingabteilungen verfügen.

Schauen wir uns nun die andere Seite der Medaille an.

Der Stand der Open-Source-KI

Seit der Veröffentlichung von GPT-4 sind nicht nur Technologiegiganten in den KI-Wettlauf eingestiegen, sondern es sind auch andere unabhängige Projekte entstanden. Ermöglicht durch Open-Source-ML-Frameworks wie TensorFlow und PyTorch.

Stability AI veröffentlichte Stable Diffusion , eine Alternative zu Dall-E, und viele Technikbegeisterte haben ausgiebig mit seinen Fähigkeiten experimentiert, bis zu dem Punkt, dass es ethische Bedenken hinsichtlich der Natur von Kunst und Kreativität aufwarf.

Meta kündigte die Veröffentlichung eines quasi-offenen großen Sprachmodells namens LLaMA an (mit mehreren Modellgrößen und dann einer zweiten Version).

Dieses Modell löste zusammen mit Hugging Face-Diensten (wie Gradio, Spaces, Transformers) eine Revolution aus, da Menschen auf der ganzen Welt zum ersten Mal Zugang zu Open-Source-Technologie hatten, die mit ChatGPT oder PaLM konkurrierte.

Und wissen Sie, was passiert, wenn eine Gruppe von Technikfreaks, Hackern und Technikbegeisterten genügend Zeit und Ressourcen hat? Ja, sie können beim Bauen verrückt werden.

Die Nischen-Internetforen und IRC-Kanäle aus den 90er Jahren wurden mit dem Aufkommen des Internets durch Hugging Face-Diskussionen, GitHub-Probleme und Discord-Server ersetzt.

Etwas anderes, das zum Open-Source-Wachstum beitrug, war der Pile-Datensatz von EleutherAI. Diese Initiative trug dazu bei, das unbeaufsichtigte und selbstüberwachte Lernen voranzutreiben und den Bedarf an großen, gekennzeichneten Datensätzen zu verringern.

Mit den großen Sprachmodellen, den Datensätzen zu deren Training/Feinabstimmung und den geringeren Anforderungen an die Datenverarbeitung entstand bald ein ganzes Ökosystem von Produkten und Dienstleistungen.

(Wenn ich von geringeren Rechenanforderungen spreche, meine ich, dass LLMs nicht viele Parameter benötigen, um die Qualität der Ergebnisse zu erzielen, die von proprietären Modellen generiert werden. Dies zeigen Modelle wie LLaMA 13B und Mistral 7B .)

Es gibt eine Menge Projekte, vorab trainierte und fein abgestimmte Modelle, Datensätze und Tools in diesem Bereich, die jedem zur Verfügung stehen, der einsteigen und mit anderen zusammenarbeiten möchte.

Wir haben jetzt verschiedene Arten von Chatbots, die nicht auf GPT-3/GPT-4 angewiesen sind, um zu funktionieren, wie Zephyr-Chat, LLaMA2-Chat, Mistral-Instruct und Falcon-Chat.

Für die Codegenerierung und -unterstützung optimierte LLMs wie Code-LLaMA , CodeGen und StarCoder .

Ein mehrsprachiges Open-Access-Sprachmodell namens Bloom .

Multimodale LLMs (die nicht nur aus Text bestehen) wie LLaVA und Fuyu .

Eine Hugging Face-Bestenliste, die alle vorhandenen Open-Source-Modelle bewertet und bewertet.

Mehrere Datensätze für das Vortraining und die Feinabstimmung von LLMs wie RedPajama oder OpenOrca .

Und seit kurzem gibt es autonomere Modelle, die „KI-Agenten“ genannt werden.

Die beliebtesten basieren auf GPT-3.5, aber es gibt auch andere, die auf LLaMA basieren.

Und es sieht so aus, als würden wir uns darum bemühen, Agenten zu entwickeln, die nicht in Schleifen stecken bleiben oder Aufgaben selbstständig erledigen können, ohne eine Menge Text von sich zu geben, der überzeugend aussieht, aber entweder ungenau oder einfach falsch ist.

Allein in den letzten sechs Monaten gab es enorme Fortschritte, und Sie können sicher sein, dass an keiner Front Anzeichen einer Verlangsamung zu erkennen sind.

Vorwärts gehen

Trotz all der atemberaubenden und rasanten Fortschritte, die wir im vergangenen Jahr gesehen haben, stehen wir noch am Anfang der KI-Entwicklung. Es gibt mehrere Dinge, die wir herausfinden müssen, verschiedene Aspekte, die wir berücksichtigen müssen, wie KI-Datenschutz, Ethik, eingebaute Vorurteile und so weiter.

Wie bei allem im Leben liegt keine Seite völlig falsch und die andere hat Recht. Sowohl proprietäre als auch Open-Source-KI haben ihre Vor- und Nachteile.

Proprietäre KI kann eine größere Menge an Ressourcen nutzen, um neue und leistungsfähigere Modelle zu trainieren und gleichzeitig Menschen in größerem Maßstab Zugang zu ermöglichen. Aber sie agieren wie eine Black Box, es mangelt ihnen an Beobachtbarkeit, und ihre Interessen sind möglicherweise eher auf große Player mit Geld ausgerichtet als auf den normalen Verbraucher.

Open-Source-KI hingegen profitiert von weltweiter Zusammenarbeit, Transparenz und offener Innovation. Aber es mangelt ihr an Organisation und Ressourcen für ehrgeizigere Initiativen und sie ist gefährdet, wenn strengere Vorschriften eingeführt werden.

Die Frage ist nun, wie wir den Fortschritt in der KI hybrid weiterführen können.

Eine Möglichkeit, mit einigen der klügsten Köpfe der Branche und mit den notwendigen Ressourcen zusammenzuarbeiten, um diese Innovation auf verantwortungsvolle Weise voranzutreiben, bei der Sicherheit und Datenschutz an erster Stelle stehen.

Eine Art und Weise, bei der die Interessen und Vorteile einiger weniger die des Rests von uns nicht überwiegen. Eine Art und Weise, wie solch revolutionäre Technologien wie KI nicht privatisiert, eingeschränkt oder als Waffe gegen Gruppen von Menschen eingesetzt werden, die als „Feinde“ der Großmächte gelten.

Wir befinden uns in einem einzigartigen Moment der Geschichte, in dem die Entscheidungen, die wir treffen, und die Art und Weise, wie wir mit Technologie umgehen, darüber entscheiden, wie die Zukunft aussehen wird, im Guten wie im Schlechten.

Danke fürs Lesen.

Vergessen Sie nicht Abonnieren Sie Hackernoon und verpassen Sie nicht die kommenden Artikel.