Im Jahr 2015 wurde a namens OpenAI wurde gegründet, um eine „breit und gleichmäßig verteilte“ KI zu schaffen. Im Jahr 2024 ist OpenAI in den voll gewinnorientierten Modus übergegangen und hat den Zugriff auf LLMs hinter einem transaktionalen API-Dienst gehortet. Zuletzt suchen sie einen . gemeinnützig Bewertung von 100 Milliarden US-Dollar Das letzte Jahrzehnt des KI-Fortschritts wurde von großen Technologieunternehmen wie Google, Meta und OpenAI dominiert, die immer größere proprietäre Sprachmodelle herausbrachten. Von Bard und Claude bis GPT-4 blieb ein Großteil der neuesten Entwicklungen in der Verarbeitung natürlicher Sprache (NLP) in den Händen einiger weniger Forschungslabore konzentriert. Die langfristige Zukunft der KI liegt jedoch nicht in privateren, größeren Modellen, die ausschließlich über APIs bedient werden, sondern eher in Open-Source-Sprachmodellen, die gemeinsam mit Communities im Freien erstellt werden. Open-Source-Sprachmodelle In den letzten Jahren haben eine Handvoll Startups, Universitäten und engagierte Einzelpersonen dazu beigetragen, dieses offene Modell der Sprachmodellentwicklung voranzutreiben. Das neueste Modell, das diese Open-Source-Linie fortsetzt, ist . Mit einem Gewicht von 1,8 Milliarden Parametern zeigt die Donau selbst im Vergleich zu anderen öffentlich verfügbaren Modellen, die um ein Vielfaches größer sind, eine überraschende Leistungsfähigkeit. Das Team hat die Donau sorgfältig entworfen, geschult und völlig transparent validiert. Der vollständige Bericht ist auf verfügbar. H2O-Danube-1.8B H2O.ai- arXiv Anstatt den Zugriff zu horten, veröffentlichte die vollständigen Parameter und den Trainingscode von Donau offen auf HuggingFace. Schon wenige Tage nach der ersten Ankündigung begannen neugierige Entwickler, frei mit dem Modell zu experimentieren und zeigten, dass eine schnelle Generierung von Innovationen mit proprietären Modellen einfach nicht möglich wäre. Zum Zeitpunkt des Schreibens wurde die gesamte h2o-danube-1.8b-Chat-Version über 500 Mal auf HuggingFace heruntergeladen. H2O.ai Jeder kann das Modell mit der Bibliothek verwenden, indem er dem folgenden Code folgt, mit freundlicher Genehmigung des HuggingFace-Repositorys von h2o: transformers import torch from transformers import pipeline pipe = pipeline( "text-generation", model="h2oai/h2o-danube-1.8b-chat", torch_dtype=torch.bfloat16, device_map="auto", ) # We use the HF Tokenizer chat template to format each message # https://huggingface.co/docs/transformers/main/en/chat_templating messages = [ {"role": "user", "content": "Why is drinking water so healthy?"}, ] prompt = pipe.tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True, ) res = pipe( prompt, max_new_tokens=256, ) print(res[0]["generated_text"]) # <|prompt|>Why is drinking water so healthy?</s><|answer|> Drinking water is healthy for several reasons: [...] H2O ist davon überzeugt, dass eine offene Zusammenarbeit der ultimative Schlüssel zur Demokratisierung des Zugangs zu KI und zur Erschließung von Vorteilen für die Vielen und nicht von Wohlstand für die Wenigen bleibt. Andere Open-Source-Sprachmodelle Das Open-Source-KI-Ökosystem wächst weiter, da Entwickler weltweit an gemeinsamen Modellen zusammenarbeiten. Über H2O-Danube-1.8B hinaus zielen zahlreiche bemerkenswerte Initiativen darauf ab, die Wissenskonzentration innerhalb von Walled Gardens zu verhindern. MPT Der vom Startup-MosaikML entwickelte umfasst Techniken wie die Mix-of-Experts-Parallelisierung und die Extrapolation der Kontextlänge, um die Effizienz zu verbessern. Machine Programming Transformer (MPT) Falke Falcons größtes Open-Source-LLM ist ein gigantisches Biest und übertrifft damit andere , , , Und mit 180 Milliarden Parametern LLaMA-2 StabilLM Roter Pyjama . MPT Bei dieser Größe wird empfohlen, 400 Gigabyte verfügbaren Speicher zum Ausführen des Modells zur Verfügung zu haben. Mistral Mistral wurde von ehemaligen Google-Mitarbeitern und Meta-Forschern gegründet und veröffentlichte im September 2022 das 7-Milliarden-Parameter- . Mistral 7B erreicht eine wettbewerbsfähige Leistung unter offenen Modellen und erreicht in der Probenqualität nahezu das geschlossene GPT-3. Modell Mistral 7B Legacy-Modelle Über neu eingeführte Modelle hinaus stärken frühere Open-Source-Modelle Entwickler weiterhin. GPT2 von OpenAI und GPT-J von EleutherAI haben beide historische Bedeutung, obwohl sie hinter modernen Architekturen zurückbleiben. Und Transformatoren wie BERT führten zu einer ganzen Unterklasse von NLP-Durchbrüchen, die weltweit Produkte antreiben. Das Narrativ der Demokratisierung wird nur dadurch gestärkt, dass leidenschaftliche Gemeinschaften ihre Kreationen großzügig in den gemeinsamen Wissenspool einbringen. Eine gerechtere Zukunft In vielerlei Hinsicht besteht bei proprietären Sprachmodellen die Gefahr, dass viele Ungerechtigkeiten erneut entstehen, mit denen die Technologiebranche weiterhin zu kämpfen hat. Die Konzentration des Wissens innerhalb wohlhabender Organisationen schließt kleinere Teams davon aus, den Fortschritt frühzeitig mitzugestalten. Und später wird die Integration unerschwinglich teuer, sobald sie nur über Transaktions-APIs verfügbar ist. Open-Source-Modelle sind von entscheidender Bedeutung, um einen gerechteren Weg in die Zukunft zu ebnen. Eines, bei dem die Entscheidungsfreiheit näher an verschiedenen Gemeinschaften liegt, die tatsächlich konkrete KI-Anwendungen entwickeln. Der lange Bogen des Fortschritts neigt sich nur dann der Gerechtigkeit zu, wenn Menschen vereint hinter der Technologie selbst stehen und nicht einer Organisation, die sie kontrollieren will. Die Donau und das offene Paradigma, das sie repräsentiert, bieten nur einen Einblick in eine alternative Vision. Eine Strategie, die nicht von kurzfristigen Gewinnen oder Prestige angetrieben wird, sondern von der Möglichkeit, Entwicklern überall auf der Welt zu ermöglichen, frei auf den Schultern anderer aufzubauen. Es wird immer Raum für proprietäre Arbeit geben, aber die wahre Zukunft der KI liegt offen. Community-getriebene Innovation Die Veröffentlichung von Open-Source-Modellen erfordert Beiträge einer motivierten Gemeinschaft von Entwicklern und Forschern. Dieser kollaborative Stil der offenen Arbeit eröffnet einzigartige Möglichkeiten. Experten verschiedener Organisationen können die Arbeit anderer Organisationen gegenseitig überprüfen, um Techniken zu validieren. Forscher können neue Ideen problemlos reproduzieren und erweitern, anstatt das Rad neu erfinden zu müssen. Und Softwareentwickler können Innovationen schnell in Kundenangebote integrieren und einsetzen. Am vielversprechendsten ist vielleicht, dass das offene Paradigma es Nischengemeinschaften ermöglicht, sich zusammenzuschließen, um Modelle für bestimmte Anwendungsfälle anzupassen. Teams können Versionen erstellen, die auf bestimmte Themen wie Medizin, Recht oder Finanzen zugeschnitten sind und generische Modelle übertreffen. Diese speziellen Modelle werden dann wieder geteilt, um dem Rest der Community zu helfen. Gemeinsam machen Gruppen kollektive Fortschritte möglich, die in einem einzelnen geschlossenen Labor nicht möglich sind.
