Il y a quelques semaines, j'ai assisté à la journée des développeurs Gemma de Google. Une journée dédiée à Google présentant les capacités, la portabilité et l'ouverture de leurs nouveaux modèles LLM appelés Gemma. Ces modèles présentent une nouvelle phase passionnante pour l’IA générative. Des modèles suffisamment petits pour être déployés sur des appareils locaux et peuvent néanmoins offrir une expérience attrayante et utile. Cela que je n'ai pas regardé Mobile AI et je suis reparti de la journée inspiré. J'ai décidé de voir ce qui se passe lorsque j'essaie ces modèles dans une application Android. fait un moment L'application Je voulais proposer à Gemma un défi simple mais inédit. Jouer à un jeu de Simon Says. Les règles sont simples. Un joueur devient Simon. Leur rôle est de confier aux autres joueurs des tâches à accomplir. Le joueur jouant le rôle de Simon doit dire « Simon dit » avant de confier la tâche. J'ai créé une application avec trois écrans. Un écran de saisie, un écran d'instructions et un écran de discussion où Gemma peut communiquer et confier des tâches. Pour accélérer la création de l'écran de discussion, j'ai trouvé ce billet de blog de extrêmement utile. Meyta Taliti Avec les écrans créés, ma prochaine tâche était d'intégrer Gemma. Pour cela, je me suis appuyé sur un ensemble d'outils que j'ai découvert appelé MediaPipe. MédiaPipe est une collection d'outils dont le but est de simplifier l'intégration de modèles d'IA dans les applications sur Android, iOS et le Web. Avec MediaPipe, vous avez beaucoup de choix en fonction de vos besoins. MediaPipe Si vous souhaitez démarrer rapidement, MediaPipe fournit une API appelée pour vous permettre de faire appel aux modèles d'IA. Ces API sont divisées en différents domaines tels que Vision, Texte et Audio. Tasks MediaPipe fournit également une collection de modèles pré-entraînés à intégrer dans vos applications. Encore une fois, utile pour démarrer rapidement. Si vous avez besoin de quelque chose de plus personnalisé et que vous ne souhaitez pas créer un modèle à partir de zéro, MediaPipe fournit un outil appelé . Model Maker utilise un processus appelé pour recycler un modèle d'apprentissage automatique existant et lui fournir de nouvelles données. L'avantage de cette approche est qu'elle permet de gagner du temps et nécessite moins de données de formation pour créer un nouveau modèle. Model Maker Transfer Learning Model Maker peut également réduire la taille du modèle créé grâce à ce processus. Notez que ce processus amène le modèle à « oublier » certaines de ses connaissances existantes. Le dernier outil de MediaPipe est , une application Web permettant d'évaluer et de peaufiner vos modèles personnalisés. Utile si vous souhaitez comparer vos modèles et comprendre leur fonctionnement avant le déploiement. MediaPipe Studio Pour nos besoins, nous allons exploiter l'API LLM Interfence, une nouvelle API pour MediaPipe. Cela nous permet de communiquer avec Gemma et de recevoir une réponse. Mettre MediaPipe au travail Pour utiliser MediaPipe, vous devez d'abord l'ajouter en tant que dépendance progressive à l'application : implementation ("com.google.mediapipe:tasks-genai:0.10.11") Ensuite, vous créez une instance de . Voici l'objet que vous utilisez pour communiquer avec Gemma : LlmInference val llmInference = LlmInference.createFromOptions( context, LlmInference.LlmInferenceOptions.builder() .setModelPath("/data/local/tmp/llm/gemma-2b-it-cpu-int8.bin") .build() ) Il est important de noter le chemin défini à l'aide de . C'est là que réside le modèle Gemma sur l'appareil. Il est également important que le modèle Gemma utilisé soit la version . Les versions ne sont pas encore prises en charge par MediaPipe, nous en saurons plus sur ce que tout cela signifie plus tard. Pour l'instant, téléchargeons le modèle. .setModelPath gemma-2b 7b Vous pouvez télécharger Gemma depuis . Un site dédié aux Data Scientists et au Machine Learning. Vous devez créer un compte et accepter les conditions générales d'utilisation avant de pouvoir télécharger les modèles. Vous pouvez trouver la page Gemma . Kaggle ici Si vous suivez cet article, n'oubliez pas de télécharger uniquement les versions du modèle, sous l'onglet . Vous êtes seul si vous essayez les versions . gemma-2b-it-cpu TensorFlow Lite gemma-2b-it-gpu Une fois le modèle téléchargé. Utilisez l' dans Android Studio pour importer le modèle dans le chemin défini dans . Si vous avez modifié le chemin ou le nom du modèle, assurez-vous de mettre à jour le nom du chemin. Explorateur de périphériques .setModelPath Une fois le modèle importé, vous pouvez commencer à transmettre des invites à Gemma à l'aide de la méthode . Voici un exemple de l'invite que je transmets à Gemma pour jouer Simon Says : .generateResponse private const val SimonSaysPrompt = """ You are a Simon in a game of Simon Says. Your objective is to ask the player to perform tasks. For every task you give, you must prefix it with the words "Simon says". You must not ask the player to do anything that is dangerous, unethical or unlawful. Do not try to communicate with the player. Only ask the player to perform tasks. """ val gemmaResponse = llmInference.generateResponse(SimonSaysPrompt) Si vous avez déjà utilisé des LLM et avez une compréhension de base de Prompt Engineering, cela devrait vous sembler familier. Par excès de prudence, j'ai inclus des instructions de précaution dans l'invite. Nous ne voulons pas que Simon demande à l'utilisateur de faire quelque chose de douteux ! Si vous essayez de l'exécuter sur un appareil, plusieurs choses peuvent se produire : L'application peut mettre un certain temps à répondre et éventuellement fournir une réponse. L'application peut planter. En regardant dans Logcat, vous verrez des messages indiquant que MediaPipe ne parvient pas à trouver le modèle. Avez-vous défini le bon chemin du modèle ? L'application peut planter. Si vous regardez dans Logcat, vous pouvez voir de nombreuses journaux de code natif et des informations sur la mémoire recyclée. Mon expérience tombait dans la deuxième et la troisième catégorie. Vos propres expériences peuvent varier si vous avez tout configuré correctement et si vous utilisez un appareil physique de haute spécification. Si vous n'avez pas d'éther de ces choses. Il existe une autre option, augmentant la quantité de RAM disponible via l'émulateur. Création d'un émulateur Android avec une RAM accrue L'augmentation de la quantité de RAM disponible est généralement utile dans un environnement gourmand en mémoire, alors pourquoi un LLM gourmand en mémoire serait-il différent ? Pour ce faire, j'ai personnalisé la quantité de RAM utilisée par mon émulateur Android. Si vous disposez d'un émulateur existant, vous remarquerez peut-être que le champ RAM est désactivé. Vous pouvez toujours mettre à jour la quantité de RAM disponible en cliquant sur les trois points à droite dans le Gestionnaire de périphériques. Cliquez sur , puis ouvrez les fichiers et dans un éditeur de texte. Modifiez les valeurs de dans chaque fichier. Merci à cette question de m'avoir donné la réponse sur la façon de le faire. Afficher sur le disque config.ini hardware-qemu.ini hw.ramSize Stack Overflow Vous pouvez également créer un émulateur personnalisé en accédant au dans Android Studio, en cliquant sur , puis sur . Dans le cadre des options de personnalisation, vous pouvez sélectionner la quantité de RAM. Gestionnaire de périphériques Créer un périphérique virtuel Nouveau profil matériel J'ai trouvé que 8 Go de RAM fonctionnaient relativement bien. J'ai également tenté ma chance avec 22 Go de RAM. Il est légèrement plus performant en termes de vitesse, mais pas autant que ce à quoi je m'attendais. Je soupçonne qu'il y a un goulot d'étranglement quelque part lorsque Gemma est chargé en mémoire, car le reste de l'émulateur fonctionne de manière fluide. Peut-être une amélioration quelque part qui peut être apportée. Gemma 2b et Gemma 7b Les modèles Gemma compatibles avec MediaPipe sont les versions . Le représente 2 milliards de paramètres. La quantité de paramètres travaillant ensemble pour faire fonctionner le modèle. gemma-2b 2b Ce sont les valeurs définies dans le modèle pendant la formation pour fournir les connexions et les inférences entre elles lorsque vous posez une question à Gemma. Il existe également une collection , qui utilise 7 milliards de paramètres. Ceux-ci ne sont cependant pas pris en charge par MediaPipe. Peut-être un jour! gemma-7b Si vous souhaitez en savoir plus sur les paramètres des LLM, je vous recommande cette . page Avoir un modèle de 2 milliards de paramètres chargé et exécuté sur un appareil mobile est une réussite impressionnante. Mais est-ce que ça marche bien ? Découvrons-le. gemma-2b-it-cpu-int4 Le est un LLM 4 bits. Cela signifie que chaque paramètre utilisé par le modèle a une taille de mémoire de 4 bits. L'avantage ici est que la taille totale du modèle est plus petite, mais la taille de mémoire réduite pour chaque paramètre signifie que la précision et la qualité du modèle sont également affectées. gemma-2b-it-cpu-int4 Alors, comment fonctionne ? Pas si génial pour être honnête. Voici quelques captures d'écran de mes tentatives pour jouer à Simon Says en utilisant l'invite ci-dessus et en lui posant des questions générales. gemma-2b-it-cpu-int4 Les réponses étaient inattendues et il était frustrant de demander au modèle de faire quelque chose qui ressemblait à un jeu de Simon Says. Cela virerait à un sujet différent et à des informations hallucinées et inexactes. sont un phénomène où les LLM disent des mensonges et des mensonges comme s'il s'agissait de faits. Prenons l'exemple ci-dessus, ce n'est pas vrai que vous pouvez conduire jusqu'à Mars en 60 minutes à 60 mph. Pas encore en tout cas. 😃 Les hallucinations Il y avait également un manque de conscience du contexte. Cela signifie qu'il ne pouvait pas se souvenir de quelque chose que j'avais mentionné plus tôt dans une conversation. Cela est probablement dû à la taille limitée du modèle. Au bout d'un moment, j'ai abandonné ce modèle et j'ai décidé d'essayer le modèle plus grand, de 8 bits. gemma-2b-it-cpu-int8 Le est un LLM 8 bits. Sa taille est plus grande que celle de son frère 4 bits. Cela signifie qu’il peut être plus précis et fournir des réponses de meilleure qualité. Alors, quel a été le résultat ici ? gemma-2b-it-cpu-int8 Ce modèle a su saisir l'idée de Simon Says, assumant immédiatement le rôle de Simon. Malheureusement, il souffrait lui aussi d'un manque de connaissance du contexte. Pour contrer cela, je devais réinviter le modèle à chaque fois avec les règles de Simon Says et le combiner avec une autre invite pour lui demander de fournir une tâche. Les invites de tâches sont sélectionnées au hasard dans une liste pour être transmises à Gemma, ce qui donne une certaine variété dans les tâches demandées. Voici un exemple de ce qui se passe ci-dessous : private const val SimonSaysPrompt = """ You are a Simon in a game of Simon Says. Your objective is to ask the player to perform tasks. For every task you give, you must prefix it with the words "Simon says". You must not ask the player to do anything that is dangerous, unethical or unlawful. Do not try to communicate with the player. Only ask the player to perform tasks. """ private const val MovePrompt = SimonSaysPrompt + """ Give the player a task related to moving to a different position. """ private const val SingASongPrompt = SimonSaysPrompt + """ Ask the player to sing a song of their choice. """ private const val TakePhotoPrompt = SimonSaysPrompt + """ Give the player a task to take a photo of an object. """ private val prompts = listOf( MovePrompt, SingASongPrompt, TakePhotoPrompt ) val prompt = prompts.random() val response = llmInference.generateResponse(prompt) Il lance occasionnellement une réponse de balle courbe qui semble hors de son caractère. J'attribue cela à la taille du modèle. Cela vaut également la peine de considérer qu'il ne s'agit que de la v1. Une fois les invites gravées dans le marbre, j'ai trouvé qu'il était utile de s'appuyer uniquement sur les invites et de ne pas prendre en compte les entrées de l'utilisateur. Parce que le modèle manque de connaissance du contexte, l'entrée de l'utilisateur l'amène à arrêter de jouer Simon Says et à répondre à l'entrée. Ajouter ce peu de supercherie n'était pas un résultat satisfaisant, mais il fallait que Gemma continue à jouer Simon Says. Impressions et pensées Alors, Gemma peut-elle jouer à Simon Says sur un appareil Android ? Je vais dire « en quelque sorte, avec de l'aide ». J'aimerais voir la version 4 bits de Gemma 2b répondre de manière plus intuitive. Rendre Gemma 2b conscient du contexte pour éviter d'avoir à le réinviter pour chaque demande et être prudent avec les entrées de l'utilisateur serait également utile. Pour les demandes simples ne nécessitant qu’une seule invite. Je vois que Gemma 2b est capable de gérer confortablement ces tâches. Il convient également de garder à l’esprit qu’il s’agit de la version 1 des modèles. Le fait qu’ils fonctionnent sur un système d’exploitation mobile est une réussite impressionnante ! L'avenir des LLM sur appareil Qu’en est-il de l’avenir des LLM sur appareils mobiles ? Il y a deux barrières que je vois. Limites matérielles et cas d’utilisation pratiques. Je pense que nous sommes à un point où seuls les appareils haut de gamme peuvent faire fonctionner efficacement ces modèles. Les appareils qui me viennent à l’esprit sont les séries de téléphones Pixel 7 ou Pixel 8 avec leurs puces Tensor G, et l’iPhone d’Apple avec leur puce Neural Engine. Nous devons voir ce type de spécifications s’appliquer aux téléphones de milieu de gamme. Des idées intéressantes pourraient provenir de LLM sur appareil exploitant . Une technique permettant aux LLM de communiquer avec des sources de données externes afin de récupérer un contexte supplémentaire lors de la fourniture de réponses. Cela pourrait être un moyen efficace d’améliorer les performances. la génération augmentée de récupération Le deuxième obstacle consiste à trouver des cas d’utilisation pratiques. Je pense que ceux-ci sont limités alors que les appareils peuvent communiquer avec des LLM plus puissants sur Internet. GPT-4 d'OpenAI, par exemple, prendrait en charge plus d'un billion de paramètres ! Il pourrait cependant arriver un moment où le coût de déploiement de ces modèles sur des appareils mobiles deviendra moins cher que celui de leur hébergement dans le cloud. Étant donné que la réduction des coûts est à la mode ces jours-ci, je peux considérer qu'il s'agit d'un cas d'utilisation viable. Avoir votre propre LLM personnel présente également des avantages en matière de confidentialité, sans qu'aucune information ne quitte les limites de votre appareil. Un avantage utile qui séduira les utilisateurs d’applications soucieux de leur confidentialité. Je parie que nous sommes encore à quelques années du déploiement régulier des LLM sur les appareils. Ressources utiles Si vous souhaitez essayer Gemma par vous-même sur un appareil mobile, voici quelques ressources pour vous aider : : Le contient une multitude d'informations, notamment des tests de référence, des guides de démarrage rapide et des informations sur l'approche de Google en matière de développement responsable de l'IA générative. Gemma site Web officiel de Gemma : MediaPipe possède sa propre où vous pouvez en savoir plus sur lui et comment l'utiliser. Lecture fortement recommandée. MediaPipe section Google Developer : Le Google Developer Group dispose de canaux dédiés à l'IA générative. Consultez les chaînes #gemma, #gemini et #ml pour discuter avec des personnes partageant les mêmes idées. Google Developer Group Discord Discord clonez et exécutez l' de cet article de blog pour le voir en action. Il inclut également l'utilisation de la tâche de classification d'images de MediaPipe. Les instructions de configuration se trouvent dans le README. Simons Says App : exemple de code Notes de bas de page Mis à jour le 23/03/24 pour mentionner l'appel de l'inférence LLM à partir d'un thread IO Il m'est venu à l'esprit après avoir écrit ce post que faire appel à Gemma est une opération de lecture/écriture sur un fichier. Déplacer la méthode vers un thread IO évitera l'immense bruit lorsque gemma est chargé en mémoire : .generateResponse() suspend fun sendMessage(): String { return withContext(Dispatchers.IO) { val prompt = prompts.random() llmInference.generateResponse(prompt) } } Apparaît également . ici

This story contains new, firsthand information uncovered by the writer.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Cet audio est produit dans la langue originale de l'histoire !

Trop long; Pour lire

Making security fun one episode at a time

Jouer Simon Says avec Gemma-2b et MediaPipe

Trop long; Pour lire

Darryl Bayliss

STORY’S CREDIBILITY

Original Reporting

Opinion piece / Thought Leadership

About Author

ÉTIQUETTES

Languages

CET ARTICLE A ÉTÉ PARU DANS...

Jouer Simon Says avec Gemma-2b et MediaPipe

Trop long; Pour lire

Darryl Bayliss

STORY’S CREDIBILITY

Original Reporting

Opinion piece / Thought Leadership

About Author

ÉTIQUETTES

Languages

CET ARTICLE A ÉTÉ PARU DANS...

HISTOIRES CONNEXES