  1. Keine Beschränkungen für unstrukturierte Daten  Im aktuellen Paradigma des maschinellen Lernens skalieren Leistung und Fähigkeiten mit der Rechenleistung, die wiederum ein Indikator für die Größe von Datensätzen und Modellen ist (   , Kaplan et al.). In den letzten Jahren hat dies zu umfassenden Änderungen beim Aufbau des maschinellen Lernens und der Dateninfrastruktur geführt – nämlich zur Trennung von Speicher und Rechenleistung, zur Erstellung riesiger Cloud-nativer Datenseen voller   Daten und zu spezieller Hardware, die Matrizenmultiplikationen   schnell durchführen kann. Skalierungsgesetze für neuronale Sprachmodelle unstrukturierter sehr  Wenn ein Trainingsdatensatz oder sogar ein einzelner Shard eines Datensatzes mehr Platz benötigt, als im Systemspeicher und/oder lokalen Speicher verfügbar ist, wird die Bedeutung der Entkopplung von Speicher und Rechenleistung deutlich. Beim Training mit Daten, die sich im MinIO Object Store befinden, gibt es keine Begrenzungen für die Größe Ihrer Trainingsdaten. Da MinIO seinen Fokus auf Einfachheit und E/A-Durchsatz legt, ist das Netzwerk der einzige limitierende Faktor für Trainingsgeschwindigkeit und GPU-Auslastung.  MinIO bietet nicht nur die beste Leistung aller Objektspeicher, sondern ist auch mit allen modernen Frameworks für maschinelles Lernen kompatibel. Der MinIO-Objektspeicher ist außerdem zu 100 % S3-API-kompatibel, sodass Sie ML-Workloads mit Ihrem Objektspeicher vor Ort oder auf Ihrem Gerät mithilfe bekannter Dataset-Dienstprogramme wie TorchData ausführen können.  . Für den Fall, dass Ihre konsumierende Anwendung dateisystemähnliche Funktionen benötigt, können Sie MinIO sogar mit Objektspeicher-Dateischnittstellen wie verwenden  oder  . In einem zukünftigen Blogbeitrag werden wir das MinIO Python SDK in benutzerdefinierten Implementierungen einiger gängiger PyTorch- und FairSeq-Schnittstellen (wie Dataset und Task) verwenden, um unbegrenzte Trainingsdaten und eine hohe GPU-Auslastung für das Modelltraining zu ermöglichen.   S3-Datenpipe   Einhängepunkt S3   S3FS  Neben Leistung und Kompatibilität mit dem modernen ML-Stack sind es die Designentscheidungen des Objektspeichers, nämlich (1) ein flacher Namespace, (2) die Kapselung des gesamten Objekts (und seiner Metadaten) als niedrigste logische Einheit und (3) einfache HTTP-Verben-APIs, die dazu geführt haben, dass der Objektspeicher zum De-facto-Standard für riesige unstrukturierte Datenseen wurde. Ein Blick auf die jüngste Geschichte des maschinellen Lernens zeigt, dass Trainingsdaten (und in gewissem Sinne auch die Modellarchitekturen selbst) weniger strukturiert und allgemeiner geworden sind. Früher wurden Modelle überwiegend mit tabellarischen Daten trainiert. Heute umfasst die Bandbreite viel mehr, von Absätzen reinen Textes bis hin zu stundenlangen Videos. Mit der Weiterentwicklung von Modellarchitekturen und ML-Anwendungen wird die zustands- und schemalose und daher skalierbare Natur des Objektspeichers immer wichtiger.     2. Umfangreiche Metadaten für Modelle und Datensätze  Aufgrund der Designentscheidungen des MinIO Object Store kann jedes Objekt umfangreiche, schemalose Metadaten enthalten, ohne dass die Leistung darunter leidet oder ein dedizierter Metadatenserver erforderlich ist. Wenn es darum geht, welche Art von Metadaten Sie Ihren Objekten hinzufügen möchten, sind Ihrer Vorstellungskraft wirklich keine Grenzen gesetzt. Hier sind jedoch einige Ideen, die für ML-bezogene Objekte besonders nützlich sein könnten:    : Verlustfunktionswert, für das Training benötigte Zeit, für das Training verwendeter Datensatz. Für Modellprüfpunkte    Name der gepaarten Indexdateien (falls zutreffend), Datensatzkategorie (Training, Validierung, Test), Informationen zum Format des Datensatzes. Für Datensätze:  Hochdeskriptive Metadaten wie diese können besonders leistungsfähig sein, wenn sie mit der Fähigkeit gepaart sind, diese Metadaten effizient zu indizieren und abzufragen, sogar über Milliarden von Objekten hinweg, etwas, das die  bietet. Sie können beispielsweise nach Modellprüfpunkten suchen, die als „getestet“ gekennzeichnet sind, oder nach Prüfpunkten, die mit einem bestimmten Datensatz trainiert wurden.   MinIO Enterprise-Katalog     3. Modelle und Datensätze sind verfügbar, überprüfbar und versionierbar  Da Modelle für maschinelles Lernen und die dazugehörigen Datensätze zu immer wichtigeren Ressourcen werden, ist es ebenso wichtig geworden, diese Ressourcen fehlertolerant, überprüfbar und versionierbar zu speichern und zu verwalten.  Datensätze und die Modelle, die sie trainieren, sind wertvolle Vermögenswerte, die das Ergebnis hart erarbeiteter Zeit, Entwicklungsaufwand und Geld sind. Dementsprechend sollten sie so geschützt werden, dass sie den Zugriff durch Anwendungen nicht behindern. Inline-Operationen von MinIO wie Bitrot-Prüfung und Erasure Coding sowie Funktionen wie Multi-Site- und Active-Active-Replikation gewährleisten die Widerstandsfähigkeit dieser Objekte im großen Maßstab.  Insbesondere bei generativer KI ist es hilfreich zu wissen, welche Version welchen Datensatzes zum Trainieren eines bestimmten bereitgestellten Modells verwendet wurde, um Trugbilder und andere Fehlverhalten des Modells zu beheben. Wenn Modellprüfpunkte richtig versioniert sind, wird es einfacher, einem schnellen Rollback auf eine zuvor bereitgestellte Version des Prüfpunkts zu vertrauen. Mit dem MinIO Object Store erhalten Sie diese Vorteile für Ihre Objekte direkt nach der Installation.     4. Eigene Serving-Infrastruktur  Der MinIO Object Store ist im Grunde ein Objektspeicher, den Sie oder Ihre Organisation steuern. Ob der Anwendungsfall Prototyping, Sicherheit, Regulierung oder  , Kontrolle ist der rote Faden. Wenn sich trainierte Modellprüfpunkte im Objektspeicher befinden, haben Sie dementsprechend mehr Kontrolle über die Aufgabe, Modelle für Inferenzen oder den Verbrauch bereitzustellen.   wirtschaftliche Zwecke  haben wir die Vorteile der Speicherung von Modelldateien im Objektspeicher untersucht und wie man sie direkt mit dem TorchServe-Inferenzframework von PyTorch bereitstellen kann. Dies ist jedoch eine völlig modell- und frameworkunabhängige Strategie.   In einem früheren Beitrag  Aber warum ist das wichtig? Netzwerkverzögerungen oder Ausfälle bei Modell-Repositories von Drittanbietern können dazu führen, dass Modelle nur langsam für die Inferenz bereitgestellt werden oder gar nicht verfügbar sind. Darüber hinaus kann dieses Problem in einer Produktionsumgebung, in der Inferenzserver skaliert werden und regelmäßig Modellprüfpunkte abrufen müssen, noch verschärft werden. In den sichersten und/oder kritischsten Situationen ist es am besten, die Abhängigkeit von Drittanbietern über das Internet so weit wie möglich zu vermeiden. Mit MinIO als privatem oder hybridem Cloud-Objektspeicher können diese Probleme vollständig vermieden werden.     Abschließende Gedanken  Diese vier Gründe sind keinesfalls eine vollständige Liste. Entwickler und Organisationen verwenden MinIO Object Storage für ihre KI-Workloads aus einer Vielzahl von Gründen, die von der einfachen Entwicklung bis hin zu seinem extrem geringen Platzbedarf reichen.  Zu Beginn dieses Beitrags haben wir die treibenden Kräfte hinter der Einführung eines Hochleistungsobjektspeichers für KI behandelt. Unabhängig davon, ob die Skalierungsgesetze gelten oder nicht, wird es sicher so sein, dass Unternehmen und ihre KI-Workloads immer von der besten verfügbaren I/O-Durchsatzkapazität profitieren werden. Darüber hinaus können wir ziemlich sicher sein, dass Entwickler niemals nach APIs fragen werden, die   zu verwenden sind, und nach Software, die   „einfach funktioniert“. In jeder Zukunft, in der diese Annahmen zutreffen, ist ein Hochleistungsobjektspeicher der richtige Weg. schwieriger nicht  Für alle Architekten und technischen Entscheidungsträger, die dies lesen: Viele der hier erwähnten Best Practices können automatisiert werden, um sicherzustellen, dass die Objektspeicherung auf eine Weise genutzt wird, die Ihre KI/ML-Workflows einfacher und skalierbarer macht. Dies kann durch die Verwendung eines beliebigen modernen MLOps-Tool-Sets erreicht werden. Der KI/ML-KMU Keith Pijanowski hat viele dieser Tools erkundet – suchen Sie auf unserer Blog-Site nach Kubeflow, MLflow und MLRun, um weitere Informationen zu MLOps-Tools zu erhalten. Wenn diese MLOps-Tools jedoch keine Option für Ihr Unternehmen sind und Sie schnell loslegen müssen, sind die in diesem Beitrag gezeigten Techniken der beste Weg, um mit der Verwaltung Ihrer KI/ML-Workflows mit MinIO zu beginnen.  Für Entwickler (oder alle, die neugierig sind 🙂) werden wir in einem zukünftigen Blogbeitrag eine End-to-End-Anleitung zur Anpassung eines ML-Frameworks zur Nutzung von Objektspeichern mit dem Ziel unbegrenzter Trainingsdaten und angemessener GPU-Auslastung durchführen.  Vielen Dank fürs Lesen, ich hoffe, es war informativ! Wie immer, wenn Sie Fragen haben, kontaktieren Sie uns  oder schreiben Sie uns eine Nachricht an  .   Slack-Kanal   hallo@min.io

Developers do. Download MinIO and see for yourself. 

MinIO

Dieses Audio ist in der Originalsprache der Geschichte produziert!

Zu lang; Lesen

Get Free Unlimited IP Geo Data With IPinfo Lite

Die wahren Gründe, warum KI auf Objektspeicher basiert

About Author

KOMMENTARE

Hängeetiketten

DIESER ARTIKEL WURDE VORGESTELLT IN

Related Stories

HackerNoon Decoded 2024: Wir feiern die Community unserer Technologieunternehmen!

HackerNoon Decoded 2024: Celebrating Our AI Community!

Welcome to HackerNoon Decoded: The Best of 2024 Tech Blogging

HackerNoon Decoded 2024: Wir feiern die Community unserer Technologieunternehmen!

HackerNoon Decoded 2024: Celebrating Our AI Community!

Welcome to HackerNoon Decoded: The Best of 2024 Tech Blogging

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps