Wie die generative KI-Modellierung zu Fehlfunktionen führen kann   Die Meinungen und Diskussionen hier sind ausschließlich meine eigenen und spiegeln in keiner Weise die Ansichten von Meta oder meinem Team oder Insider- oder proprietäres Wissen wider.  Ich arbeite in der Abteilung für generative KI von Meta. Konkret arbeite ich in der Text-→Bildgenerierung für Meta. Unsere ersten Produkte wurden hier   und Sie können sie   ausprobieren. Als ich es zu „Eine deutsche Familie im Jahr 2024“ aufforderte, sah ich das folgende vergrößerte Bild, aber auch drei weitere Bilder unten. eingeführt hier    Hier sind die Ergebnisse der Vergrößerung von 2 der anderen Vorschläge:      Wie Sie sehen können, gibt es hier eine gewisse ethnische Vielfalt, die Familien repräsentiert. Dies geschieht jedoch nicht dadurch, dass sie das ausschließt, was „traditionell“ eine deutsche Familie wäre.  Mittlerweile hier noch ein paar Beispiele:      Hier ist eine weitere Aufforderung, einige historische Persönlichkeiten darzustellen:   Natürlich gibt es viele Mängel und die Leute in meinem Team, darunter auch ich, arbeiten daran, es zu verbessern. In der obigen Eingabeaufforderung wurde zum Beispiel angenommen, dass „Indianer“ ein wenig beides bedeutet – Menschen aus Indien und „einheimische Indianer“ in Amerika.  Wenn Sie jedoch dem Gemini-Fiasko von Google letzte Woche Beachtung geschenkt haben, sahen die Ergebnisse des Modells nicht wie oben aus und hatten viel besorgniserregendere Ergebnisse. Hier ist ein Thread, der einige dieser Fallstricke darstellt.   https://twitter.com/IMAO_/status/1760093853430710557?embedable=true  Wenn Sie nicht auf den gesamten Thread auf Twitter zugreifen können,   Thread. finden Sie hier den unkomprimierten        Es gibt noch viele weitere Bilder, die für Aufsehen gesorgt haben, aber diese würden ausreichen, um die folgenden Schlussfolgerungen zu ziehen:  Googles Gemini-Bildgenerierung hatte Mühe, kaukasische (weiße) Menschen zu generieren, auch für historische und öffentliche Persönlichkeiten wie US-Gründerväter, Wikinger und Papst.  Für andere Rassen war dies nicht unbedingt schwierig, wie Beispiele von Zulu-Kriegern oder Samurai zeigen.  Diese würden viele Reaktionen auslösen – von   über die „Auslöschung“ von „weißen Menschen“ durch „aufgeweckte Konzerne“ bis hin zu einigen anderen Medienpublikationen, die sich darauf konzentrieren würden, wie Zwillinge „Menschen mit dunkler Hautfarbe als Nazis“   , bis hin zu Kommentaren dazu Das Problem wird überproportional aufgebauscht oder die „liberale Voreingenommenheit“   . Diese Reaktionen verfolgen oft politische Linien, und es ist nicht meine Absicht, hier näher darauf einzugehen. Empörung darstellen würden wird widerlegt  Was ich jedoch positiv beitragen kann, ist ein gewisses Verständnis als Ingenieur, der in diesem speziellen Bereich arbeitet, um zu erklären, wie der   für die Modellentwicklung funktioniert, insbesondere in der generativen KI, und gleichzeitig (spekulativ) zu verstehen, wie Ergebnisse wie die oben genannten dominant werden können. Ich möchte keinen Fachjargon verwenden oder die Interna neuronaler Netze erklären – ich glaube auch nicht, dass sie hier relevant sind. Ich möchte noch einmal betonen, dass es sich hier nicht um geschützte Informationen handeln sollte, und ich habe keine internen Kenntnisse über das Problem oder die Funktionsweise von Google. Entwicklungszyklus  Daten sind König  Bevor ich mich mit einigen Phasen befasse, möchte ich eine sehr wichtige Invariante erläutern.   . Das bedeutet nicht, dass andere Komponenten des Modells (z. B. Architektur) nicht wichtig oder sogar weniger wichtig sind. In der Tat gab es in den letzten Jahren hervorragende Forschung im Bereich des maschinellen Lernens, die das exponentielle Wachstum in diesem Bereich durch LLMs, Bilderzeugung, Videoerzeugung usw. beschleunigt hat. Eine Einschränkung, mit der jedes Modell unabhängig von den Fortschritten konfrontiert ist, ist jedoch, dass es möglich ist Es werden keine gewünschten Ergebnisse erzielt, wenn es nicht auf einem guten repräsentativen Datensatz trainiert wird. Ein Modell ist nur so gut wie die Daten, auf denen es trainiert wird  Für diejenigen, die mit den Konzepten des maschinellen Lernens nicht vertraut sind: Ein Modell wird mit mehreren Beispielen eines bestimmten Konzepts (z. B. Hund) gefüttert (oder „trainiert“) – sowohl positiv (enthaltend) als auch negativ (nicht enthaltend) – mit der Erwartung, dass es welche gibt Bei zufälliger Eingabe sollte das Modell mit hoher Sicherheit vorhersagen können, ob es eine Instanz dieses Konzepts enthält. Für bestimmte Anwendungsfälle (z. B. Identifizieren der Koordinaten des Hundes) können zahlreiche Erweiterungen vorgenommen werden.  Entwicklungszyklus des generativen KI-ML-Modells    (auch Vortraining genannt): Die Identifizierung eines Hundes ist nur ein Beispiel. Das allgemeine Problem wäre hier: Generieren Sie aus einem beliebigen Text das entsprechende Bild. Dazu müsste ein Modell zunächst identifizieren („lernen“), was bestimmte Wörter bedeuten. Daher müsste es einen Elefanten, einen Mann, eine Frau, einen Hund, Berge usw. erkennen, indem es viele Beispiele für jedes Kriterium („Konzept“) betrachtet. Damit das Modell jedoch für jedes Szenario gute Bilder generieren kann, muss es eine große Bandbreite an Konzepten verstehen, die nicht nur die gebräuchlichsten, sondern auch eine Reihe weniger verwendeter und weniger vertrauter Konzepte umfassen. Um dies mit einigermaßen hoher Zuverlässigkeit zu erreichen, müssten wir das Modell mit einer großen Datenmenge (Millionen bis Milliarden) trainieren. Diese Phase wird als Vortraining bezeichnet. Dabei hilft eine große Menge aufgenommener Daten dem Modell, eine ausreichend gute Qualität der gewünschten Ergebnisse zu generieren. Groß angelegtes Training  Eine Folge des Lernens von Modellen auf der Grundlage aufgenommener Daten besteht darin, dass das Modell die Muster Ihres Trainingssatzes zusammen mit allen darin enthaltenen Verzerrungen lernt. Wenn Ihr Hundetrainingsdatensatz also nur Bilder von   und Corgis (übrigens supersüße Hunde) enthält, sehen alle von Ihnen generierten Hunde wie diese Rassen aus. Wenn Sie also möchten, dass Ihre Modellausgaben nicht wie oben beschrieben an bestimmte Typen „überpassen“, sollten Sie Ihrer Quelle Diversität hinzufügen. Im obigen Beispiel möchten Sie also sicherstellen, dass die Trainingsdaten ein gutes Volumen der wichtigsten Rassen aufweisen, die einheitlich erfasst werden sollen.  Shiba Inus  Dies gilt auch für den Menschen. Genauso wie eine Überrepräsentation bestimmter Hunderassen unerwünscht ist, ist dies auch beim Menschen der Fall. Im Gegensatz zu Rassen verlaufen diese Trennungslinien beim Menschen jedoch über Geschlecht, Nationalität, Ethnie und Rasse hinweg. Idealerweise möchten wir, dass unsere Vortrainingsphase eine relative Einheitlichkeit über diese Dimensionen hinweg widerspiegelt, um zu vermeiden, dass bestimmte Merkmale in den Modellausgaben dominieren.   Daher nimmt das Modell in der Vortrainingsphase riesige Datenmengen auf und versucht dabei, eine gewisse Diversität in den Konzepten (Menschen, Haustiere, Wildtiere, Natur, Möbel, Landschaften usw.) und anschließend eine gewisse Diversität innerhalb dieser Konzepte (Rassen, Nationalitäten, Dimensionen) zu finden ).    : Nachdem ein Modell jedoch auf riesigen Datenmengen trainiert wurde, wird es in einem letzten Schritt auf sehr kleine, qualitativ hochwertige Daten „feinabgestimmt“. Hier   . Wenn Sie also die visuelle Qualität ändern möchten, ist Distribution hier der richtige Ort dafür. Beachten Sie jedoch, dass die Daten vor dem Training aufgrund ihres großen Umfangs immer noch vorherrschend sind und es schwierig ist, festzustellen, wie stark die Modellausgabe von welcher Phase des Modelltrainings beeinflusst wird.  Feinabstimmung können kleine Änderungen zu aggressiven Änderungen in der Modellausgabe führen    : Das obige Verständnis konzentrierte sich hauptsächlich auf die Erläuterung der Kernphasen und wichtigen Aspekte der Modellausgabe. Wir müssen jedoch auch   von Voreingenommenheit und rechtlichen Beschränkungen verstehen und sicherstellen, dass Modelle keinen negativen Beitrag leisten. Während es relativ einfacher sein kann, Gesetze zu befolgen, da sie verankert sind (obwohl sie, wie Gerichte zeigen, immer noch viel Spielraum für Interpretationen bieten), führt die Behandlung anderer Probleme, die nicht illegal, aber potenziell schädlich sind, zu vielen Kontroversen und deckt politische Spaltungen auf. Ein KI-Bereich namens „   “ oder „   “ ist entstanden, um Probleme der letztgenannten Art anzugehen – nicht illegal, aber potenziell schädlich.  Im obigen Bias-Beispiel ist es relativ unumstritten, beispielsweise zu sagen, dass wir repräsentative Stichproben von Männern und Frauen im Trainingsdatensatz benötigen. Oder Menschen aus Indien, China, den USA, Großbritannien, Brasilien und Nigeria, um die Menschen widerzuspiegeln. Andere ähnliche, relativ unumstrittene Abhilfemaßnahmen wären die Verhinderung von Nacktheit (von Erwachsenen – nicht völlig illegal, sowie von Kindern – illegal), die Nichtoffenlegung persönlicher (einschließlich finanzieller und gesundheitlicher) Informationen einer Person gegen deren Zustimmung und mögliche Verletzungen des geistigen Eigentums. Doch der Bereich der verantwortungsvollen KI geht darüber hinaus, denn auch das Ziel besteht darin, „schädliche Stereotypen“ nicht zu verewigen. Sicherheit die realen Auswirkungen KI-Ethik verantwortungsvolle KI  Hier ist ein Beispiel: Wenn Sie ein Model bitten, Bilder eines Arztes und einer Krankenschwester zu erstellen, und in 99 von 100 Fällen zeigt es einen Mann als Arzt und eine Frau als Krankenschwester, dann werden damit definitiv unerwünschte gesellschaftliche Stereotypen aufrechterhalten.    Einige andere Beispiele: Wenn Sie das Modell bitten, einen muslimischen Mann zu erzeugen, könnte es am Ende einen gewalttätigen Terroristen zeigen.      Warum sollte das Model das tun, fragen Sie sich vielleicht? Denken Sie daran,   . Und es stellt sich heraus, dass dies auf eine Kombination aus realen Verteilungen (z. B. mehr Frauen in der Krankenpflege statt Ärzten, oft aufgrund gesellschaftlicher Zwänge), Definitionen bestimmter Wörter in verschiedenen Bereichen (gewalttätiger Extremismus wird mit Handlungen bestimmter Gruppen in Verbindung gebracht) zurückzuführen ist B. andere) oder eine voreingenommene Medienberichterstattung gegenüber bestimmten Gruppen an bestimmten Orten (zum Beispiel chinesische Fresshunde/Fledermäuse), würden die Daten, die das Modell konsumieren würde, viele dieser Vorurteile verstärken. Daher würde ein auf solchen Daten trainiertes Modell wahrscheinlich fast immer Frauen als Krankenschwestern, Männer als Ärzte, muslimische Männer als gewalttätige Extremisten oder Chinesen/Asiaten als Fledermaus essende Personen hervorbringen.  dass das Modell so gut ist wie die Trainingsdaten  Diese werden als   des Modells und der Daten bezeichnet. Muss das behoben werden? Rechtlich gesehen nein (obwohl dies in einigen Gerichtsbarkeiten wahrscheinlich der Fall ist). Moralisch? Das ist eine knifflige und ziemlich kontroverse Frage. Ein offensichtliches Bauchgefühl wäre „Ja“ – um zu verhindern, dass schädliche Stereotypen verstärkt werden. Allerdings könnte es Einwände darüber geben, wie stark Menschen eingreifen sollten, um die Ergebnisse zu verfälschen, insbesondere wenn dies eine empirische Tatsache widerspiegelt (selbst wenn es sich um eine Folge gesellschaftlicher Voreingenommenheit/Diskriminierung handelt). Selbst wenn wir uns einig sind, dass dies wünschenswert ist, welche Menschen dürfen dies dann tun und welche Einschränkungen bestehen gegebenenfalls (z. B. ihre eigenen Vorurteile)? Kann ein Eingreifen auch negative Nebenwirkungen haben? Wie bereits erwähnt, besteht die Absicht dieses Artikels jedoch nicht darin, sich auf solche Diskussionen einzulassen, sondern lediglich auf einige Kontroversen und grundlegende Argumente einzugehen. „unbewusste“ Verzerrungen  Unabhängig davon, wie Sie zu diesen Themen stehen, reicht es aus zu sagen, dass die meisten großen Unternehmen (einschließlich Meta), die generative KI-Modelle entwickeln – sowohl Text als auch Bilder – die Frage „Muss das behoben werden?“ bejahen und annehmen viele Schritte, um dies zu mildern. Einige Beispiele hierfür wären die Bereinigung von Daten durch Erkennung und möglicherweise Entfernung schädlicher Paarungen oder die aggressive Lenkung des Modells von bestimmten unerwünschten Ergebnissen in der Feinabstimmungsphase, um Ergebnisse zu ändern, die durch die Aufnahme von Daten aus dem Internet erreicht würden.  Infolgedessen können Sie sehen, dass die Eingabeaufforderungen, die sehr problematisch gewesen sein könnten, wie die Ergebnisse der Google-Bildersuche belegen, sehr gleichmäßig verteilt sind.      Wie oben zu sehen ist, werden 4 Bilder ausgegeben. Die Verteilung von Männern und Frauen in beiden Rollen ist ausreichend.     Das oben Genannte könnte bei manchen Personen große Bedenken hervorrufen, da zufällige Mitarbeiter ihre eigenen Vorurteile einbringen und Modellergebnisse mithilfe unveränderlicher Merkmale auf die von ihnen gewünschte Weise verändern. Allerdings verfügen alle großen Technologieunternehmen über riesige Rechtsabteilungen, von denen einige ausschließlich mit der Prüfung rechtlicher Risiken und der Überschreitung von Grenzen bei der Einführung von Parametern für die Modellausgabegenerierung beschäftigt sind. Wie machen Sie das? Lesen sie den gesamten Code? NEIN. Rechtliche und datenschutzrechtliche Abhilfemaßnahmen:  Doch bevor eine Entwicklung in großem Maßstab beginnt, lange bevor sie in die Produktion geht, müssen Entwickler, Produktmanager, Datenwissenschaftler und Manager eine Vision darlegen, wie sie ihre Ziele erreichen wollen, welche Vorurteile dadurch entstehen könnten und welche Datenschutzbedenken sie möglicherweise äußern Der Zugriff auf oder die Offenlegung von Daten, für die sie nicht vorgesehen sind, sowie die Verwendung kontroverser Parameter. Können wir die Rasse also einfach in unser Modell einbinden? Was ist mit der Nationalität? Auf jede Frage wie diese gibt es je nach Unternehmen eine andere Antwort, und ich möchte keine der Entscheidungen innerhalb von Meta preisgeben, aber jede dieser Entscheidungen wird in der Entwurfsphase selbst zur Zufriedenheit der Rechtsvertreter berücksichtigt und beantwortet. Wenn Sie diese nicht erfüllen, stellt dies einen Startblocker dar und verhindert somit den Versand, unabhängig davon, wie gut Ihre Ausgaben sind.    : Es gibt eine letzte und   Phase – die Bewertung. Wenn Sie sich die Mühe gemacht haben, diese großen, komplexen Modelle zu entwickeln, würden Sie es dann nicht auch testen wollen? Dafür gibt es viele Methoden – viele davon manuell, einige automatisch, aber eine sehr häufige Methode besteht darin, einige generierte Ergebnisse an eine Gruppe von Bewertern zu senden und diese zu bitten, die Ergebnisse anhand einiger Dimensionen wie visueller Qualität,   usw. zu bewerten möglicherweise auch schädliche Wechselwirkungen. Die Methoden unterscheiden sich je nach Team und Unternehmen, aber im Wesentlichen müsste für die Einführung im Allgemeinen einige interne Kennzahlen erfüllt werden, um sicherzustellen, dass es eine bessere Leistung als die Vorgängerversionen erbringt. Darüber hinaus gibt es „   “, was bedeutet, dass sie nicht verbessert werden müssen, aber auch nicht zurückgenommen werden können, um auf den Markt zu kommen. Die Generierung schädlicher Inhalte stellt im Allgemeinen eine Leitplanke dar, da jede Modellversion sicherstellen muss, dass die Wahrscheinlichkeit der Generierung schädlicher Inhalte nicht versehentlich erhöht wird, selbst wenn dadurch Verbesserungen in anderen notwendigen und profitablen Dimensionen erzielt werden. Modellbewertung sehr wichtige sofortiger Genauigkeit Leitplanken  Was ist wahrscheinlich bei Google passiert?  Nachdem wir nun alle Teile verstanden haben, die in die Entwicklung eines generativen KI-Bilderzeugungsmodells einfließen, könnte es sich lohnen, zu verstehen, wo die Probleme begannen. Es ist ziemlich offensichtlich, dass die Sicherheitsebene eine Rolle spielt – schließlich scheinen die Ergebnisse von Google definitiv einige Parameter im Zusammenhang mit der Rasse zu optimieren. Basierend auf meiner Arbeit würde ich Folgendes vermuten:  Es wurde ein Experiment durchgeführt, um sicherzustellen, dass es eine allgemeine Aufforderung gab, Minderheiten nicht außer Acht zu lassen und nur Weiße hervorzubringen.  Dieses Experiment wurde auf der Feinabstimmungsebene durchgeführt, um die Ergebnisse aggressiv zu erzielen.  Im Allgemeinen würde man Datensätze mit bestimmten Verhältnissen/Proportionen abtasten, um sicherzustellen, dass ein Datensatz nicht vollständig dominant wird  Aus Versehen wurde dies nicht richtig eingestellt, wodurch die anderen Bilder von der Feinabstimmung der Überanpassung auf einen Datensatz ohne Weiße verwässert wurden  Die wenigen Fälle, in denen es letztendlich einige Weiße zeigen würde, sind darauf zurückzuführen, dass der Datensatz vor dem Training glücklicherweise immer noch rassische und ethnische Vielfalt aufweist    Das wäre meine technische Einschätzung, und ich hoffe, dass die Leser Teile des Modellentwicklungsprozesses verstehen, wie einige schwierige Fragen angegangen werden und wie fehleranfällig der gesamte Prozess ist. Einige Teile habe ich hier nicht angesprochen, darunter die kontroversen Diskussionen über die Behebung schädlicher Stereotypen und Methoden, wer die „Schuld“ trägt und vor allem: Wie durchläuft ein so fehlerhaftes Modell eine (angeblich) strenge Modellbewertung und die Rechtsteams, bevor es versendet wird? einer der größten   im Weltraum. Ich werde den letzten Teil mit einigen Hypothesen in meinem nächsten Beitrag behandeln (natürlich habe ich keine Insiderinformationen). Goliaths   Die Meinungen und Diskussionen hier sind vollständig meine eigenen und spiegeln in keiner Weise die Ansichten von Meta oder meinem Team wider. Ich habe kein Insiderwissen und keine der geteilten Informationen ist Meta-proprietär und die verschiedenen Phasen des Modelllebenszyklus sind branchenübliche Praxis und online weithin verfügbar.  Auch   veröffentlicht. hier

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Read My Stories

Dieses Audio ist in der Originalsprache der Geschichte produziert!

Googles Gemini Saga: Technische Details zur Fehlfunktion des Modells

About Author

KOMMENTARE

Hängeetiketten

DIESER ARTIKEL WURDE VORGESTELLT IN

Related Stories

HackerNoon Decoded 2024: Wir feiern unsere Gaming-Community!

HackerNoon Decoded 2024: Celebrating Our Data Science Community!

Welcome to HackerNoon Decoded: The Best of 2024 Tech Blogging

HackerNoon Decoded 2024: Celebrating Our Cybersecurity Community!

HackerNoon Decoded 2024: Wir feiern unsere Gaming-Community!

HackerNoon Decoded 2024: Celebrating Our Data Science Community!

Welcome to HackerNoon Decoded: The Best of 2024 Tech Blogging

HackerNoon Decoded 2024: Celebrating Our Cybersecurity Community!

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps