Warum Open Source-KI gut für Entwickler, Meta und die Welt ist

Open Source-KI ist der Weg nach vorn. Mit Genehmigung von Meta erneut veröffentlicht.

In den frühen Tagen des High-Performance-Computing investierten die großen Technologieunternehmen der damaligen Zeit massiv in die Entwicklung eigener Closed-Source-Versionen von Unix. Damals war es schwer vorstellbar, dass mit einem anderen Ansatz derart fortschrittliche Software entwickelt werden könnte. Doch mit der Zeit gewann Open Source Linux an Popularität – zunächst, weil es Entwicklern erlaubte, den Code beliebig zu verändern und günstiger war, und im Laufe der Zeit, weil es fortschrittlicher und sicherer wurde und ein breiteres Ökosystem bot, das mehr Funktionen unterstützte als jedes geschlossene Unix. Heute ist Linux die Industriestandardgrundlage sowohl für Cloud Computing als auch für die Betriebssysteme, auf denen die meisten Mobilgeräte laufen – und wir alle profitieren dank Linux von überlegenen Produkten.

Ich glaube, dass sich die KI in ähnlicher Weise entwickeln wird. Heute entwickeln mehrere Technologieunternehmen führende geschlossene Modelle. Doch Open Source schließt die Lücke schnell. Letztes Jahr war Llama 2 nur mit einer älteren Generation von Modellen hinter der Grenze vergleichbar. Dieses Jahr kann Llama 3 mit den fortschrittlichsten Modellen mithalten und ist in einigen Bereichen führend. Ab nächstem Jahr erwarten wir, dass zukünftige Llama-Modelle die fortschrittlichsten der Branche sein werden. Doch schon vorher ist Llama in puncto Offenheit, Modifizierbarkeit und Kosteneffizienz führend.

Heute unternehmen wir die nächsten Schritte, um Open-Source-KI zum Industriestandard zu machen. Wir veröffentlichen Llama 3.1 405B, das erste Open-Source-KI-Modell auf Pionierniveau, sowie neue und verbesserte Modelle Llama 3.1 70B und 8B. Das Modell 405B hat nicht nur ein deutlich besseres Preis-Leistungs-Verhältnis im Vergleich zu geschlossenen Modellen, sondern ist aufgrund seiner Offenheit auch die beste Wahl für die Feinabstimmung und Verfeinerung kleinerer Modelle.

Über die Veröffentlichung dieser Modelle hinaus arbeiten wir mit einer Reihe von Unternehmen zusammen, um das breitere Ökosystem auszubauen. Amazon, Databricks und NVIDIA bringen komplette Servicepakete auf den Markt, um Entwickler bei der Feinabstimmung und Verfeinerung ihrer eigenen Modelle zu unterstützen. Innovatoren wie Groq haben für alle neuen Modelle Inferenzdienste mit geringer Latenz und geringen Kosten entwickelt. Die Modelle werden in allen wichtigen Clouds verfügbar sein, darunter AWS, Azure, Google, Oracle und mehr. Unternehmen wie Scale. AI, Dell, Deloitte und andere sind bereit, Unternehmen bei der Einführung von Llama zu unterstützen und benutzerdefinierte Modelle mit ihren eigenen Daten zu trainieren. Während die Community wächst und mehr Unternehmen neue Dienste entwickeln, können wir Llama gemeinsam zum Industriestandard machen und die Vorteile der KI allen zugänglich machen.

Meta setzt sich für Open-Source-KI ein. Ich werde darlegen, warum ich glaube, dass Open Source der beste Entwicklungs-Stack für Sie ist, warum Open-Source-Llama gut für Meta ist und warum Open-Source-KI gut für die Welt ist und daher eine Plattform, die es langfristig geben wird.

Warum Open Source-KI für Entwickler gut ist

Wenn ich mit Entwicklern, CEOs und Regierungsvertretern auf der ganzen Welt spreche, höre ich normalerweise mehrere Themen:

• Wir müssen unsere eigenen Modelle trainieren, optimieren und destillieren. Jede Organisation hat unterschiedliche Anforderungen, die am besten mit Modellen unterschiedlicher Größe erfüllt werden, die mit ihren spezifischen Daten trainiert oder optimiert werden. Gerätebasierte Aufgaben und Klassifizierungsaufgaben erfordern kleine Modelle, während kompliziertere Aufgaben größere Modelle erfordern. Jetzt können Sie die fortschrittlichsten Llama-Modelle nehmen, sie weiterhin mit Ihren eigenen Daten trainieren und sie dann auf ein Modell Ihrer optimalen Größe destillieren – ohne dass wir oder jemand anderes Ihre Daten sehen.
• Wir müssen unser Schicksal selbst in die Hand nehmen und dürfen uns nicht an einen geschlossenen Anbieter binden. Viele Organisationen wollen sich nicht auf Modelle verlassen, die sie nicht selbst ausführen und kontrollieren können. Sie wollen nicht, dass Anbieter geschlossener Modelle ihr Modell ändern, ihre Nutzungsbedingungen ändern oder sie sogar ganz einstellen können. Sie wollen sich auch nicht an eine einzige Cloud binden, die exklusive Rechte an einem Modell hat. Open Source ermöglicht ein breites Ökosystem von Unternehmen mit kompatiblen Toolchains, zwischen denen Sie problemlos wechseln können.
• Wir müssen unsere Daten schützen. Viele Organisationen verarbeiten vertrauliche Daten, die sie schützen müssen und die sie nicht über Cloud-APIs an geschlossene Modelle senden können. Andere Organisationen vertrauen den Anbietern geschlossener Modelle ihre Daten einfach nicht an. Open Source löst diese Probleme, indem es Ihnen ermöglicht, die Modelle auszuführen, wo immer Sie möchten. Es ist allgemein anerkannt, dass Open-Source-Software tendenziell sicherer ist, weil sie transparenter entwickelt wird.
• Wir brauchen ein Modell, das effizient und kostengünstig zu betreiben ist. Entwickler können Inferenzen auf Llama 3.1 405B auf ihrer eigenen Infrastruktur zu etwa 50 % der Kosten ausführen, die bei der Verwendung geschlossener Modelle wie GPT-4o entstehen, sowohl für benutzerorientierte als auch für Offline-Inferenzaufgaben.
• Wir wollen in das Ökosystem investieren, das langfristig der Standard sein wird. Viele Leute sehen, dass Open Source schneller voranschreitet als geschlossene Modelle, und sie wollen ihre Systeme auf der Architektur aufbauen, die ihnen langfristig den größten Vorteil verschafft.

Warum Open Source-KI gut für Meta ist

Das Geschäftsmodell von Meta besteht darin, den Menschen die besten Erfahrungen und Dienste zu bieten. Dazu müssen wir sicherstellen, dass wir immer Zugriff auf die beste Technologie haben und uns nicht in das geschlossene Ökosystem eines Konkurrenten einschließen, der uns in unseren Leistungen einschränken kann.

Eine meiner prägenden Erfahrungen war, dass wir beim Aufbau unserer Dienste durch das eingeschränkt waren, was Apple uns auf seinen Plattformen bauen lässt. Angesichts der Art und Weise, wie sie Entwickler besteuern, der willkürlichen Regeln, die sie anwenden, und all der Produktinnovationen, die sie blockieren, ist es klar, dass Meta und viele andere Unternehmen die Freiheit hätten, viel bessere Dienste für die Menschen zu entwickeln, wenn wir die besten Versionen unserer Produkte entwickeln könnten und die Konkurrenz uns nicht einschränken könnte. Auf philosophischer Ebene ist dies ein wichtiger Grund, warum ich so fest an den Aufbau offener Ökosysteme in KI und AR/VR für die nächste Computergeneration glaube.

Ich werde oft gefragt, ob ich Angst habe, durch die Bereitstellung von Open Source für Llama einen technischen Vorteil aufzugeben. Ich denke jedoch, dass ich dabei aus mehreren Gründen das große Ganze verfehle:

Erstens: Um sicherzustellen, dass wir Zugriff auf die beste Technologie haben und nicht langfristig in einem geschlossenen Ökosystem gefangen sind, muss sich Llama zu einem vollständigen Ökosystem aus Tools, Effizienzverbesserungen, Siliziumoptimierungen und anderen Integrationen entwickeln. Wenn wir das einzige Unternehmen wären, das Llama verwendet, würde sich dieses Ökosystem nicht weiterentwickeln und wir würden nicht besser dastehen als die geschlossenen Varianten von Unix.

Zweitens gehe ich davon aus, dass die KI-Entwicklung weiterhin sehr wettbewerbsintensiv sein wird, was bedeutet, dass die Bereitstellung eines beliebigen Modells als Open Source keinen großen Vorteil gegenüber den zu diesem Zeitpunkt nächstbesten Modellen bietet. Der Weg für Llama zum Industriestandard besteht darin, Generation für Generation durchgängig wettbewerbsfähig, effizient und offen zu bleiben.

Drittens besteht ein wesentlicher Unterschied zwischen Meta und Anbietern geschlossener Modelle darin, dass der Verkauf von Zugang zu KI-Modellen nicht unser Geschäftsmodell ist. Das bedeutet, dass die offene Veröffentlichung von Llama weder unseren Umsatz, unsere Nachhaltigkeit noch unsere Fähigkeit, in Forschung zu investieren, untergräbt, wie dies bei Anbietern geschlossener Modelle der Fall ist. (Dies ist ein Grund, warum mehrere Anbieter geschlossener Modelle Regierungen konsequent gegen Open Source lobbyieren.)

Schließlich kann Meta auf eine lange Geschichte von Open-Source-Projekten und -Erfolgen zurückblicken. Wir haben Milliarden von Dollar gespart, indem wir unsere Server-, Netzwerk- und Rechenzentrumsdesigns mit Open Compute Project veröffentlicht und Lieferketten auf unsere Designs standardisiert haben. Wir haben von den Innovationen des Ökosystems profitiert, indem wir führende Tools wie PyTorch, React und viele weitere Tools als Open Source zur Verfügung gestellt haben. Dieser Ansatz hat sich für uns stets bewährt, wenn wir ihn langfristig beibehalten.

Warum Open Source-KI gut für die Welt ist

Ich bin überzeugt, dass Open Source für eine positive KI-Zukunft unverzichtbar ist. KI hat mehr Potenzial als jede andere moderne Technologie, die menschliche Produktivität, Kreativität und Lebensqualität zu steigern – und das Wirtschaftswachstum zu beschleunigen und gleichzeitig Fortschritte in der medizinischen und wissenschaftlichen Forschung zu ermöglichen. Open Source wird dafür sorgen, dass mehr Menschen auf der ganzen Welt Zugang zu den Vorteilen und Möglichkeiten der KI haben, dass die Macht nicht in den Händen einer kleinen Zahl von Unternehmen konzentriert ist und dass die Technologie gleichmäßiger und sicherer in der Gesellschaft eingesetzt werden kann.

Es gibt eine anhaltende Debatte über die Sicherheit von Open-Source-KI-Modellen, und ich bin der Ansicht, dass Open-Source-KI sicherer sein wird als die Alternativen. Ich denke, die Regierungen werden zu dem Schluss kommen, dass es in ihrem Interesse liegt, Open Source zu unterstützen, weil es die Welt wohlhabender und sicherer machen wird.

Mein Rahmen für das Verständnis von Sicherheit besteht darin, dass wir uns vor zwei Kategorien von Schäden schützen müssen: unbeabsichtigten und absichtlichen. Unbeabsichtigter Schaden liegt vor, wenn ein KI-System Schaden anrichten kann, auch wenn dies nicht die Absicht derjenigen war, die es betreiben. Beispielsweise können moderne KI-Modelle versehentlich schlechte Gesundheitsratschläge geben. Oder, in futuristischeren Szenarien, befürchten einige, dass Modelle sich unbeabsichtigt selbst replizieren oder Ziele zum Nachteil der Menschheit hyperoptimieren könnten. Von absichtlichem Schaden ist die Rede, wenn ein böswilliger Akteur ein KI-Modell mit dem Ziel verwendet, Schaden anzurichten.

Es ist erwähnenswert, dass unbeabsichtigter Schaden die meisten Bedenken ausmacht, die Menschen in Bezug auf KI haben – angefangen von dem Einfluss, den KI-Systeme auf die Milliarden von Menschen haben werden, die sie nutzen werden, bis hin zu den meisten wirklich katastrophalen Science-Fiction-Szenarien für die Menschheit. In dieser Hinsicht sollte Open Source deutlich sicherer sein, da die Systeme transparenter sind und umfassend überprüft werden können. Historisch gesehen war Open-Source-Software aus diesem Grund sicherer. Ebenso wird die Verwendung von Llama mit seinen Sicherheitssystemen wie Llama Guard wahrscheinlich sicherer und sicherer sein als geschlossene Modelle. Aus diesem Grund konzentrieren sich die meisten Gespräche über die Sicherheit von Open-Source-KI auf vorsätzlichen Schaden.

Unser Sicherheitsprozess umfasst strenge Tests und Red-Teaming, um zu beurteilen, ob unsere Modelle in der Lage sind, erheblichen Schaden anzurichten, mit dem Ziel, die Risiken vor der Veröffentlichung zu minimieren. Da die Modelle offen sind, kann jeder sie auch selbst testen. Wir müssen bedenken, dass diese Modelle mit Informationen trainiert werden, die bereits im Internet vorhanden sind. Der Ausgangspunkt bei der Beurteilung des Schadens sollte daher sein, ob ein Modell mehr Schaden anrichten kann als Informationen, die schnell über Google oder andere Suchergebnisse abgerufen werden können.

Bei der Betrachtung vorsätzlicher Schädigungen ist es hilfreich, zwischen den Möglichkeiten einzelner oder kleinerer Akteure und den Möglichkeiten großer Akteure wie Nationalstaaten mit enormen Ressourcen zu unterscheiden.

Irgendwann in der Zukunft könnten einzelne Übeltäter die Intelligenz von KI-Modellen nutzen, um aus den im Internet verfügbaren Informationen ganz neue Gefahren zu konstruieren. An diesem Punkt wird das Kräfteverhältnis für die Sicherheit von KI entscheidend sein. Ich denke, es wird besser sein, in einer Welt zu leben, in der KI weit verbreitet ist, damit größere Akteure die Macht kleinerer Übeltäter kontrollieren können. So haben wir die Sicherheit unserer sozialen Netzwerke gehandhabt – unsere robusteren KI-Systeme identifizieren und stoppen Bedrohungen durch weniger versierte Akteure, die oft KI-Systeme kleineren Maßstabs verwenden. Allgemeiner gesagt werden größere Institutionen, die KI in großem Maßstab einsetzen, die Sicherheit und Stabilität in der Gesellschaft fördern. Solange jeder Zugang zu ähnlichen Modellgenerationen hat – was Open Source fördert –, werden Regierungen und Institutionen mit mehr Rechenressourcen in der Lage sein, Übeltäter mit weniger Rechenleistung zu kontrollieren.

Die nächste Frage ist, wie die USA und demokratische Nationen mit der Bedrohung durch Staaten mit massiven Ressourcen wie China umgehen sollen. Der Vorteil der Vereinigten Staaten liegt in der dezentralen und offenen Innovation. Manche Leute argumentieren, wir müssten unsere Modelle schließen, um China den Zugriff darauf zu verwehren, aber meiner Ansicht nach wird das nicht funktionieren und den USA und ihren Verbündeten nur schaden. Unsere Gegner sind große Spionagekünstler, Modelle zu stehlen, die auf einen USB-Stick passen, ist relativ einfach, und die meisten Technologieunternehmen sind weit davon entfernt, auf eine Weise zu agieren, die dies erschweren würde. Es scheint am wahrscheinlichsten, dass eine Welt mit ausschließlich geschlossenen Modellen dazu führt, dass eine kleine Anzahl großer Unternehmen sowie unsere geopolitischen Gegner Zugang zu führenden Modellen haben, während Startups, Universitäten und kleine Unternehmen Chancen verpassen. Außerdem erhöht die Beschränkung amerikanischer Innovation auf geschlossene Entwicklung die Wahrscheinlichkeit, dass wir überhaupt nicht führend sind. Stattdessen denke ich, dass unsere beste Strategie darin besteht, ein robustes offenes Ökosystem aufzubauen und unsere führenden Unternehmen eng mit unserer Regierung und unseren Verbündeten zusammenarbeiten zu lassen, um sicherzustellen, dass sie die neuesten Fortschritte optimal nutzen und langfristig einen nachhaltigen First-Mover-Vorteil erzielen können.

Wenn Sie über die bevorstehenden Chancen nachdenken, sollten Sie bedenken, dass die meisten der heutigen führenden Technologieunternehmen und wissenschaftlichen Forschungsarbeiten auf Open-Source-Software basieren. Die nächste Generation von Unternehmen und Forschungsarbeiten wird Open-Source-KI nutzen, wenn wir gemeinsam darin investieren. Dazu gehören Start-ups, die gerade erst anfangen, sowie Menschen an Universitäten und in Ländern, die möglicherweise nicht über die Ressourcen verfügen, um ihre eigene hochmoderne KI von Grund auf zu entwickeln.

Unter dem Strich lässt sich sagen, dass Open-Source-KI die weltweit beste Chance darstellt, diese Technologie zu nutzen, um die größten wirtschaftlichen Chancen und Sicherheit für alle zu schaffen.

Lassen Sie uns dies gemeinsam aufbauen

Bei früheren Llama-Modellen hat Meta sie für sich selbst entwickelt und dann veröffentlicht, sich aber nicht besonders auf den Aufbau eines breiteren Ökosystems konzentriert. Mit dieser Version verfolgen wir einen anderen Ansatz. Wir bilden intern Teams, um möglichst vielen Entwicklern und Partnern die Nutzung von Llama zu ermöglichen, und wir bauen aktiv Partnerschaften auf, damit auch mehr Unternehmen im Ökosystem ihren Kunden einzigartige Funktionen anbieten können.

Ich glaube, dass die Veröffentlichung von Llama 3.1 einen Wendepunkt in der Branche darstellen wird, an dem die meisten Entwickler hauptsächlich Open Source verwenden, und ich erwarte, dass dieser Ansatz von nun an nur noch weiter wachsen wird. Ich hoffe, Sie begleiten uns auf diesem Weg, um die Vorteile der KI allen Menschen auf der Welt zugänglich zu machen.

Sie können jetzt unter llama.meta.com auf die Modelle zugreifen.

💪,

MZ