Vor ein paar Wochen nahm ich am Gemma Developer Day von Google teil. Ein Tag, an dem Google die Fähigkeiten, Portabilität und Offenheit seiner neuesten LLM-Modelle namens Gemma präsentierte.  Diese Modelle stellen eine spannende neue Phase für generative KI dar. Die Modelle sind klein genug, um auf lokalen Geräten eingesetzt zu werden und können dennoch eine ansprechende und hilfreiche Erfahrung bieten.  Es ist   , seit ich mich mit Mobile AI beschäftigt habe und den Tag mit Inspiration verbracht habe. Ich beschloss, zu sehen, was passiert, wenn ich diese Modelle in einer Android-App ausprobiere. schon eine Weile her  Die App  Ich wollte Gemma eine einfache, aber neuartige Herausforderung stellen: eine Partie „Simon sagt“.  Die Regeln sind einfach. Ein Spieler schlüpft in die Rolle von Simon. Seine Rolle besteht darin, den anderen Spielern Aufgaben zu geben. Der Spieler, der Simon spielt, muss „Simon sagt“ sagen, bevor er die Aufgabe gibt.  Ich habe eine App mit drei Bildschirmen erstellt. Einem Eingabebildschirm, einem Anweisungsbildschirm und einem Chat-Bildschirm, auf dem Gemma kommunizieren und Aufgaben erteilen kann.   Um die Erstellung des Chat-Bildschirms zu beschleunigen, fand ich diesen Blog-Beitrag von   äußerst hilfreich. Meyta Taliti  Nachdem die Bildschirme erstellt waren, bestand meine nächste Aufgabe darin, Gemma zu integrieren. Dazu habe ich mich auf eine Reihe von Tools namens MediaPipe verlassen, die ich kennengelernt habe.  MedienPipe    ist eine Sammlung von Tools mit dem Ziel, die Integration von KI-Modellen in Apps auf Android, iOS und im Web zu vereinfachen. Mit MediaPipe haben Sie je nach Bedarf eine große Auswahl.  MediaPipe  Wenn Sie schnell loslegen möchten, bietet MediaPipe eine API namens   , mit der Sie KI-Modelle aufrufen können. Diese APIs sind in verschiedene Bereiche wie Vision, Text und Audio unterteilt. Tasks  MediaPipe bietet außerdem eine Sammlung vorab trainierter Modelle, die Sie in Ihre Apps einbetten können. Auch dies ist nützlich, um schnell loslegen zu können.  Wenn Sie etwas Individuelleres benötigen und kein Modell von Grund auf neu erstellen möchten, bietet MediaPipe ein Tool namens   . Model Maker verwendet einen Prozess namens   , um ein vorhandenes maschinelles Lernmodell neu zu trainieren und mit neuen Daten zu versorgen. Der Vorteil dieses Ansatzes besteht darin, dass er Zeit spart und weniger Trainingsdaten erfordert, um ein neues Modell zu erstellen. Model Maker Transfer Learning  Model Maker kann durch diesen Prozess auch die Größe des erstellten Modells reduzieren. Beachten Sie, dass dieser Prozess dazu führt, dass das Modell einen Teil seines vorhandenen Wissens „vergisst“.  Das letzte Tool von MediaPipe ist   , eine Webanwendung zum Bewerten und Optimieren Ihrer benutzerdefinierten Modelle. Nützlich, wenn Sie Ihre Modelle vergleichen und herausfinden möchten, wie gut sie vor der Bereitstellung funktionieren. MediaPipe Studio  Für unsere Zwecke nutzen wir die LLM Interfence API, eine neue API für MediaPipe. Damit können wir mit Gemma kommunizieren und eine Antwort erhalten.   MediaPipe in Betrieb nehmen  Um MediaPipe zu verwenden, müssen Sie es zunächst als Gradle-Abhängigkeit zur App hinzufügen:   implementation ("com.google.mediapipe:tasks-genai:0.10.11")  Als nächstes erstellen Sie eine Instanz von   . Dies ist das Objekt, das Sie zur Kommunikation mit Gemma verwenden: LlmInference   val llmInference = LlmInference.createFromOptions( context, LlmInference.LlmInferenceOptions.builder() .setModelPath("/data/local/tmp/llm/gemma-2b-it-cpu-int8.bin") .build() )  Es ist wichtig, den mit   festgelegten Pfad zu notieren. Dies ist der Speicherort des Gemma-Modells auf dem Gerät. Es ist auch wichtig, dass das verwendete Gemma-Modell die   Version ist. Die   Versionen werden von MediaPipe noch nicht unterstützt. Mehr dazu später. Lassen Sie uns jetzt das Modell herunterladen. .setModelPath gemma-2b 7b  Sie können Gemma von   herunterladen. Eine Website für Datenwissenschaftler und maschinelles Lernen. Sie müssen ein Konto erstellen und die Nutzungsbedingungen akzeptieren, bevor Sie die Modelle herunterladen können. Die Gemma-Seite finden Sie   . Kaggle hier  Wenn Sie diesem Beitrag folgen, denken Sie daran, nur die   Versionen des Modells unter der Registerkarte   herunterzuladen. Wenn Sie die   Versionen ausprobieren, sind Sie auf sich allein gestellt. gemma-2b-it-cpu TensorFlow Lite gemma-2b-it-gpu  Sobald das Modell heruntergeladen ist. Verwenden Sie den   in Android Studio, um das Modell in den in   festgelegten Pfad zu importieren. Wenn Sie den Pfad oder den Modellnamen geändert haben, aktualisieren Sie unbedingt den Pfadnamen. Geräte-Explorer .setModelPath  Sobald das Modell importiert ist, können Sie mit der Methode   beginnen, Eingabeaufforderungen an Gemma zu übergeben. Hier ist ein Beispiel für die Eingabeaufforderung, die ich an Gemma übergebe, um „Simon Says“ abzuspielen: .generateResponse   private const val SimonSaysPrompt = """ You are a Simon in a game of Simon Says. Your objective is to ask the player to perform tasks. For every task you give, you must prefix it with the words "Simon says". You must not ask the player to do anything that is dangerous, unethical or unlawful. Do not try to communicate with the player. Only ask the player to perform tasks. """ val gemmaResponse = llmInference.generateResponse(SimonSaysPrompt)  Wenn Sie bereits LLMs verwendet haben und über Grundkenntnisse in Prompt Engineering verfügen, sollte Ihnen dies bekannt vorkommen. Um auf Nummer sicher zu gehen, habe ich in die Eingabeaufforderung Warnhinweise aufgenommen. Wir möchten nicht, dass Simon den Benutzer auffordert, etwas Fragwürdiges zu tun!  Wenn Sie versuchen, dies auf einem Gerät auszuführen, können einige Dinge passieren:  Es kann einen Moment dauern, bis die App reagiert und schließlich eine Antwort liefert.  Die App kann abstürzen. Wenn Sie in Logcat nachsehen, sehen Sie Meldungen, dass MediaPipe das Modell nicht finden kann. Haben Sie den richtigen Modellpfad festgelegt?  Die App kann abstürzen. Wenn Sie in Logcat nachsehen, können Sie eine Menge natives Code-Logging und Informationen über die Wiederverwendung des Speichers sehen.  Meine Erfahrung fiel in die zweite und dritte Kategorie. Ihre eigenen Erfahrungen können abweichen, wenn Sie alles richtig eingerichtet haben und ein physisches Gerät mit hoher Spezifikation verwenden.  Wenn Sie über keines dieser Dinge verfügen, gibt es eine andere Möglichkeit: Sie können die über den Emulator verfügbare RAM-Menge erhöhen.  Erstellen eines Android-Emulators mit erhöhtem RAM  In einer speicherintensiven Umgebung ist es normalerweise hilfreich, den verfügbaren RAM zu erhöhen. Warum sollte es bei einem speicherhungrigen LLM anders sein? Zu diesem Zweck habe ich die RAM-Menge angepasst, die mein Android-Emulator verwendet.  Wenn Sie einen vorhandenen Emulator haben, stellen Sie möglicherweise fest, dass das RAM-Feld deaktiviert ist. Sie können die verfügbare RAM-Menge dennoch aktualisieren, indem Sie im Geräte-Manager auf die drei Punkte rechts daneben klicken.  Klicken Sie   und öffnen Sie dann die Dateien   und   in einem Texteditor. Ändern Sie die Werte von   in jeder Datei. Dank dieser   Frage habe ich die Antwort darauf erhalten.  auf „Auf Datenträger anzeigen“ config.ini hardware-qemu.ini hw.ramSize Stack Overflow-  Alternativ können Sie einen benutzerdefinierten Emulator erstellen, indem Sie in Android Studio zum   gehen, auf   und dann auf   klicken. Als Teil der Anpassungsoptionen können Sie die RAM-Menge auswählen.  Geräte-Manager Virtuelles Gerät erstellen Neues Hardwareprofil  Ich habe festgestellt, dass 8 GB RAM relativ gut funktionieren. Ich habe auch mein Glück mit 22 GB RAM versucht. Die Leistung ist in Bezug auf die Geschwindigkeit geringfügig besser, wenn auch nicht so gut wie erwartet.  Ich vermute, dass es irgendwo einen Engpass gibt, wenn Gemma in den Speicher geladen wird, da der Rest des Emulators flüssig läuft. Vielleicht kann irgendwo eine Verbesserung vorgenommen werden.  Gemma 2b und Gemma 7b  Die mit MediaPipe kompatiblen Gemma-Modelle sind die   Versionen. Die   steht für 2 Milliarden Parameter. Die Anzahl der Parameter, die zusammenarbeiten, damit das Modell funktioniert. gemma-2b 2b  Dies sind die Werte, die während des Trainings im Modell festgelegt werden, um die Verbindungen und Schlussfolgerungen untereinander bereitzustellen, wenn Sie Gemma eine Frage stellen.  Es gibt auch eine   Sammlung, die 7 Milliarden Parameter verwendet. Diese werden jedoch von MediaPipe nicht unterstützt. Vielleicht eines Tages! gemma-7b  Wenn Sie mehr über die Parameter im Zusammenhang mit LLMs erfahren möchten, empfehle ich Ihnen diese   . Seite  Ein Modell mit 2 Milliarden Parametern auf ein Mobilgerät zu laden und auszuführen ist eine beeindruckende Leistung. Aber wie gut funktioniert es? Lassen Sie es uns herausfinden.  Gemma-2b-it-CPU-Int4  Das   ist ein 4-Bit-LLM. Das bedeutet, dass jeder vom Modell verwendete Parameter eine Speichergröße von 4 Bit hat. Der Vorteil hierbei ist, dass die Gesamtgröße des Modells kleiner ist. Allerdings bedeutet die reduzierte Speichergröße für jeden Parameter auch, dass die Genauigkeit und Qualität des Modells beeinträchtigt werden. gemma-2b-it-cpu-int4  Wie sieht also die Leistung von   aus? Ehrlich gesagt nicht so toll. Hier sind ein paar Screenshots meiner Versuche, Simon Says mit der obigen Eingabeaufforderung zu spielen und allgemeine Fragen zu stellen.  gemma-2b-it-cpu-int4  Die Antworten waren unerwartet und es war frustrierend, das Modell dazu zu bringen, irgendetwas zu machen, das einer „Simon sagt“-Runde ähnelte. Es schweifte zu einem anderen Thema ab und halluzinierte ungenaue Informationen.    sind ein Phänomen, bei dem LLMs Unwahrheiten und unwahre Dinge sagen, als wären sie Tatsachen. Nehmen wir das obige Beispiel: Es stimmt nicht, dass man mit 60 Meilen pro Stunde in 60 Minuten zum Mars fahren kann. Noch jedenfalls nicht. 😃 Halluzinationen  Es fehlte auch die Kontextwahrnehmung. Das heißt, es konnte sich nicht an etwas erinnern, das ich zuvor in einem Gespräch erwähnt hatte. Dies liegt wahrscheinlich an der eingeschränkten Größe des Modells.  Nach einer Weile habe ich dieses Modell aufgegeben und beschlossen, das größere 8-Bit-Modell auszuprobieren.  Gemma-2b-it-CPU-Int8    ist ein 8-Bit-LLM. Es ist größer als sein 4-Bit-Geschwisterchen. Das bedeutet, dass es genauer sein und qualitativ bessere Antworten liefern kann. Was war also das Ergebnis hier?  gemma-2b-it-cpu-int8  Dieses Modell konnte die Idee von „Simon sagt“ erfassen und sofort die Rolle von Simon übernehmen. Leider fehlte auch hier das Kontextbewusstsein.  Um dem entgegenzuwirken, musste ich das Modell jedes Mal erneut mit den „Simon Says“-Regeln auffordern und dies mit einer weiteren Aufforderung kombinieren, eine Aufgabe bereitzustellen.  Die Aufgabenanweisungen werden nach dem Zufallsprinzip aus einer Liste ausgewählt und an Gemma weitergegeben, was für etwas Abwechslung bei den gestellten Aufgaben sorgt.  Hier ist ein Beispiel dessen, was unten passiert:   private const val SimonSaysPrompt = """ You are a Simon in a game of Simon Says. Your objective is to ask the player to perform tasks. For every task you give, you must prefix it with the words "Simon says". You must not ask the player to do anything that is dangerous, unethical or unlawful. Do not try to communicate with the player. Only ask the player to perform tasks. """ private const val MovePrompt = SimonSaysPrompt + """ Give the player a task related to moving to a different position. """ private const val SingASongPrompt = SimonSaysPrompt + """ Ask the player to sing a song of their choice. """ private const val TakePhotoPrompt = SimonSaysPrompt + """ Give the player a task to take a photo of an object. """ private val prompts = listOf( MovePrompt, SingASongPrompt, TakePhotoPrompt ) val prompt = prompts.random() val response = llmInference.generateResponse(prompt)  Es gibt gelegentlich überraschende Reaktionen, die untypisch erscheinen. Ich führe das auf die Größe des Modells zurück. Außerdem sollte man bedenken, dass dies nur v1 ist.  Nachdem die Eingabeaufforderungen in Stein gemeißelt waren, fand ich es sinnvoll, sich nur auf die Eingabeaufforderungen zu verlassen und die Benutzereingaben nicht zu berücksichtigen. Da dem Modell die Kontextwahrnehmung fehlt, führt die Benutzereingabe dazu, dass es die Wiedergabe von „Simon Says“ beendet und stattdessen auf die Eingabe reagiert.  Das Ergebnis dieses kleinen Tricks war nicht zufriedenstellend, aber Gemma musste weiterhin „Simon Says“ spielen.  Eindrücke und Gedanken  Kann Gemma „Simon Says“ auf einem Android-Gerät spielen? Ich würde sagen: „Mit etwas Hilfe schon.“  Ich würde mir wünschen, dass die 4-Bit-Version von Gemma 2b intuitiver reagiert. Es wäre auch hilfreich, Gemma 2b kontextsensitiv zu machen, damit es nicht bei jeder Anfrage erneut abgefragt werden muss, und bei der Benutzereingabe vorsichtig zu sein.  Für einfache Anfragen, die nur eine einzige Eingabeaufforderung erfordern. Ich kann mir vorstellen, dass Gemma 2b diese Aufgaben problemlos bewältigen kann.  Man sollte auch bedenken, dass es sich hier um die Version 1 der Modelle handelt. Die Tatsache, dass sie auf einem mobilen Betriebssystem laufen und funktionieren, ist eine beeindruckende Leistung!  Die Zukunft von On-Device-LLMs  Wie sieht die Zukunft von LLMs auf Mobilgeräten aus? Ich sehe zwei Hindernisse: Hardwareeinschränkungen und praktische Anwendungsfälle.  Ich denke, wir sind an einem Punkt angelangt, an dem nur High-End-Geräte diese Modelle effektiv ausführen können. Geräte, die mir in den Sinn kommen, sind die Telefonserien Pixel 7 oder Pixel 8 mit ihren Tensor-G-Chips und das iPhone von Apple mit seinem Neural-Engine-Chip.  Wir müssen sehen, dass derartige Spezifikationen auch bei den Mittelklassetelefonen Einzug halten.  Interessante Ideen könnten von geräteinternen LLMs kommen, die   nutzen. Dabei handelt es sich um eine Technik, mit der LLMs mit externen Datenquellen kommunizieren können, um bei der Bereitstellung von Antworten zusätzlichen Kontext abzurufen. Dies könnte eine effektive Möglichkeit zur Leistungssteigerung sein. Retrieval Augmented Generation  Die zweite Hürde besteht darin, praktische Anwendungsfälle zu finden. Ich denke, diese sind begrenzt, solange Geräte über das Internet mit leistungsstärkeren LLMs kommunizieren können. GPT-4 von OpenAI beispielsweise soll Gerüchten zufolge über eine Billion Parameter unterstützen!  Es könnte jedoch eine Zeit kommen, in der die Bereitstellung dieser Modelle auf Mobilgeräten günstiger wird als das Hosten in der Cloud. Da Kostensenkung heutzutage der letzte Schrei ist, kann ich mir vorstellen, dass dies ein praktikabler Anwendungsfall ist.  Darüber hinaus profitieren Sie von den Datenschutzvorteilen eines eigenen persönlichen LLM, bei dem keine Informationen Ihr Gerät verlassen. Ein nützlicher Vorteil, der datenschutzbewusste App-Benutzer ansprechen wird.  Ich wette, dass es noch ein paar Jahre dauern wird, bis LLMs regelmäßig auf Geräten eingesetzt werden.  Nützliche Ressourcen  Wenn Sie Gemma selbst auf einem Mobilgerät ausprobieren möchten, finden Sie hier einige hilfreiche Ressourcen:    : Die   enthält eine Fülle von Informationen, darunter Benchmarks, Kurzanleitungen und Informationen zum Ansatz von Google zur verantwortungsvollen Entwicklung generativer KI. Gemma offizielle Gemma-Website    : MediaPipe verfügt über einen eigenen   , in dem Sie mehr über die Software und ihre Verwendung erfahren können. Sehr empfehlenswerte Lektüre. MediaPipe Google Developer-Bereich    : Die Google Developer Group   verfügt über eigene Kanäle für Generative AI. Schauen Sie sich die Kanäle #gemma, #gemini und #ml an, um mit Gleichgesinnten zu chatten. Google Developer Group Discord Discord    Klonen und führen Sie den   für diesen Blogbeitrag aus, um ihn in Aktion zu sehen. Er beinhaltet auch die Verwendung der Bildklassifizierungsaufgabe von MediaPipe. Einrichtungsanweisungen finden Sie in der README-Datei. Simons Says App: Beispielcode  Fußnoten   Aktualisiert am 23.03.24, um den Aufruf der LLM-Inferenz aus einem IO-Thread zu erwähnen  Mir ist nach dem Schreiben dieses Beitrags aufgefallen, dass der Aufruf von Gemma ein Lese-/Schreibvorgang für eine Datei ist. Wenn Sie die Methode   in einen IO-Thread verschieben, vermeiden Sie das enorme Ruckeln, wenn Gemma in den Speicher geladen wird: .generateResponse()   suspend fun sendMessage(): String { return withContext(Dispatchers.IO) { val prompt = prompts.random() llmInference.generateResponse(prompt) } }  Erscheint auch   . hier

This story contains new, firsthand information uncovered by the writer.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Simon Says mit Gemma-2b und MediaPipe spielen

About Author

KOMMENTARE

Hängeetiketten

DIESER ARTIKEL WURDE VORGESTELLT IN

Related Stories

Welcome to HackerNoon Decoded: The Best of 2024 Tech Blogging

HackerNoon Decoded 2024: Wir feiern unsere Produktmanagement-Community!

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

HackerNoon Decoded 2024: Wir feiern unsere Gaming-Community!

Welcome to HackerNoon Decoded: The Best of 2024 Tech Blogging

HackerNoon Decoded 2024: Wir feiern unsere Produktmanagement-Community!

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

HackerNoon Decoded 2024: Wir feiern unsere Gaming-Community!

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps