Diese Woche mache ich einen kleinen Umweg von meinen üblichen Artikeln, in denen ich KI-Konzepte erkläre oder Programmier-Tutorials gebe. Ja, es ist eine philosophische, nostalgische Reise auf dem Weg, den ich glücklicherweise die ganze Zeit beschreiten durfte.

Eines der seltenen Privilegien, wenn man so früh in ein Fachgebiet einsteigt, ist, dass man das Fachgebiet wie ein Baby wachsen sieht. Als ich vor zehn Jahren mit meinem Master in Computer Vision begann, fragte mich ein Freund, der Informatik studiert: „Was bedeutet Computer Vision überhaupt?“ Heute ist das eine triviale Frage, denn im Internet kursieren genügend Videos von Computer Vision-Aufgaben wie Segmentierung (siehe unten).

Ein Ergebnis der Bildsegmentierung – eine Computer-Vision-Aufgabe, die im Internet allgegenwärtig war, als Deep Learning vor einem Jahrzehnt aufkam.

Was hat sich also im letzten Jahrzehnt geändert? Eine Medaille hat immer zwei Seiten. Wachstum kann sowohl gut als auch schlecht sein.

Geschlossene Community – Klein war schön

Man sagt, dass die Menschen in Island irgendwie miteinander verwandt sind und dass man jede Cousine oder jeden Cousin zweiten Grades heiraten kann.

Ebenso war die KI-Community eng miteinander verbunden. Das Gefühl einer eng verbundenen Gemeinschaft ist verschwunden. Wenn man mit jemandem aus der Forschung interagierte, wusste man im Allgemeinen, zu welcher Gruppe er gehörte. Man konnte sich irgendwie mit ihrer Arbeit identifizieren und sie respektieren, wenn man sie las und ihren Einfluss auf das Feld schätzte.

Da das Feld ständig wächst, wird es immer schwieriger, auch nur zu sagen, man kenne die Arbeit von jemandem, ganz zu schweigen von ihm. Es gibt zu viele neue Namen und neuartige Zweige, sodass es schon eine Herausforderung ist, den Überblick zu behalten.

Ein weiteres Beispiel: PyTorch steckte noch in den Kinderschuhen. Die Slack-Community war so klein und hilfsbereit, dass die Entwickler von PyTorch direkt auf unsere Fragen zur Verwendung der Bibliothek antworteten. Dies ermutigte uns, immer mehr darüber zu lernen. Heute ist das Framework so ausgereift, dass neue Frameworks wie LangChain und Llamaindex auf den Plan getreten sind. Der Fokus liegt ganz auf LLMs und nicht auf jedem anderen Zweig der KI.

Hardware-Luxus

Damals trainierten wir ein tiefes neuronales Netzwerk auf einer einzigen GPU, um etwas Wirkungsvolles zu schaffen. Die meisten Arbeiten, die auf führenden Konferenzen wie CVPR, NeurIPS und ICML veröffentlicht wurden, konnten auf einer einzigen 8-GB-GPU-Maschine oder im schlimmsten Fall in seltenen Fällen auf einer einzigen Maschine mit 4 GPUs trainiert und repliziert werden.

Ein Bild der neuesten GPU-Cluster, die von Tesla für KI verwendet werden (Quelle: https://www.hpcwire.com/off-the-wire/tesla-to-roll-out-advanced-supercomputer )

Ich erinnere mich noch genau, wie glücklich ich war, als ich eine einzelne Standard-GPU mit nur 8 GB RAM kaufte, um an Kaggle-Wettbewerben teilzunehmen. Einige der Gewinnerlösungen von Kaggle Grandmasters trainierten Deep-Learning-Modelle auf einer einzelnen GPU-Maschine zu Hause.

Die heutige KI-Welt benötigt einen GPU-Cluster, um grundlegende Modelle zu trainieren. Selbst für die Feinabstimmung dieser Modelle sind 24-GB-GPUs erforderlich, die gewaltige, teure und nur für Unternehmen mit einem „KI-Budget“ erschwinglich sind.

Anforderungen an die Fähigkeiten

Damals war das Feld noch nicht von KI umgeben. Personalvermittler bekamen die fremdartige Aufgabe, nach „Deep Learning“-Ingenieuren zu suchen. Personalvermittler und Gründer von Start-ups suchten über alle Kanäle nach Deep Learning-Experten. Es war ganz normal, regelmäßig Nachrichten auf LinkedIn zu erhalten, in denen ich gebeten wurde, ihrem Team als Deep Learning-Ingenieur beizutreten.

Ein Screenshot einer Stellenanzeige für einen Machine Learning Engineer, die erst vor 5 Tagen veröffentlicht wurde und auf die sich über 100 Bewerber beworben haben!

Derzeit gehen auf Stellenausschreibungen für „Machine Learning Engineer“ innerhalb eines Tages nach der Ausschreibung über 100 Bewerbungen auf LinkedIn ein. Wenn Sie das kaum glauben können, werfen Sie einen Blick auf den Screenshot oben. Es bleibt die Frage, wie relevant die Fähigkeiten des Bewerbers für die Stellenbeschreibung sind. Aber der Markt ist mit Fähigkeiten gesättigt – und zwar ziemlich schnell!

Untergeordnete Fähigkeiten – Betrieb und Architektur

Wachstum bedeutet mehr Vielfalt und Chancen. Es entstehen neue Rollen wie ML-Ops, LLM-Ops und ML-Architekten. Vorbei sind die Zeiten winziger Einzelmodelldateien (< 1 GB). Das Wachstum der Modelle sowohl in Bezug auf Größe als auch Fähigkeiten hat zu neuen Fähigkeiten bei der Bereitstellung und Wartung dieser Modelle geführt.

Darüber hinaus werden Training und Bereitstellung von Modellen mit Tools wie MLFLow automatisiert. Die Cloud-Infrastruktur für das Training muss ausgereift genug sein. All dies hat zu Vollzeitstellen mit dedizierten Verantwortlichkeiten geführt.

Tschüss ML-Ingenieur, Hallo KI-Ingenieur

Am meisten Spaß macht es bei der Arbeit mit KI, die Modellarchitektur zu schreiben und das Modell von Grund auf mit unseren internen Daten zu trainieren. Obwohl dies eine Menge Vorverarbeitung der Daten erfordert, hat das Trainieren von Modellen und Visualisieren der Trainingsergebnisse früher viel Spaß gemacht. Es gab/gibt immer noch eine spezialisierte Rolle dafür, die als Machine Learning (ML) Engineer bezeichnet wird.

Die Entwicklung von Basismodellen durch Technologiegiganten definiert diese Rolle neu. Mit zunehmender Modellgröße sind die Trainingsbudgets enorm. Tatsächlich betrugen die Kosten für das Training des LLama 2-Modells für Meta 20 Millionen Dollar. Start-ups oder Organisationen, die KI einführen möchten, möchten dieses Geld natürlich nicht zum Fenster hinauswerfen. Es ist mittlerweile klar, dass die Entwicklung von Basismodellen den Technologiegiganten obliegt, mit Ausnahme einiger Unternehmen wie Mistral und Anthropic.

Leider bedeutet dies, dass die Rolle des ML-Ingenieurs in die Rolle des KI-Ingenieurs umgewandelt wird. In der Rolle des ML-Ingenieurs ging es ausschließlich darum, Modellarchitekturen zu entwickeln, sie zu trainieren und zu bewerten. Die neue Rolle des KI-Ingenieurs umfasst hauptsächlich die Entwicklung von APIs oder den Aufruf von APIs, die von Technologiegiganten (OpenAI, Meta und Google) bereitgestellt werden, um die Basismodelle anzustoßen.

In seltenen Fällen ist eine Feinabstimmung dieser Basismodelle erforderlich. Unternehmen haben jedoch die Möglichkeit, RAG-Pipelines zu bauen oder die Basismodelle „so wie sie sind“ zu verwenden, anstatt sie zu optimieren.

Abschluss

Zusammenfassend sehe ich dies als eine langsame Verschmelzung der Rollen des Software-Engineerings und des maschinellen Lernens. Die Grenze zwischen Software-Ingenieuren und Deep-Learning-Experten verschwimmt. In den kommenden Jahren werden Software-Ingenieure also KI-Ingenieure sein, die neben grundlegenden Modellen arbeiten, sowohl um Code zu schreiben als auch um Kundenbedürfnisse zu erfüllen.

Darüber hinaus werden sich die Unternehmen in den kommenden Jahren in zwei Kategorien unterteilen: KI-Produkt- und KI-Dienstleistungsunternehmen. KI-Produktunternehmen wären wiederum OpenAI, Meta und Google, die grundlegende Modelle entwickeln. KI-Dienstleistungsunternehmen würden API-Dienste bereitstellen, indem sie RAG-artige Pipelines rund um KI-Grundmodelle optimieren oder entwickeln, um ihre Kunden zu bedienen.

Und schließlich: Deutet der Anstieg der Stellenbewerbungen auf ein bevorstehendes Platzen der Blase wie bei der Dotcom-Blase hin? Ich glaube, JA. Aber warten wir es ab und beobachten es …

Ausruf

Hoffe, das war hilfreich.

Wenn Ihnen dieser Artikel gefallen hat, folgen Sie mir doch auf Þjórsárden für Forschungsupdates, Links zu Video-Tutorials und neue KI-Tools von führenden KI-Laboren?

Bitte abonnieren Sie auch meine Youtube Kanal wo ich KI-Konzepte und -Dokumente visuell erkläre.