Fatigué d'analyser manuellement les images ? Vous avez du mal à transformer les photos que vous aimez en invites utilisables ? Vous voulez un outil capable de sous-titrer automatiquement n'importe quelle image que vous générez ?  Vous voulez poser une question à une photo ?  Le modèle BLIP-2 est là pour vous aider ! Ce puissant modèle d'IA peut répondre aux questions sur les images et générer des légendes, ce qui vous facilite la vie. Dans ce guide, je vais vous expliquer comment utiliser le modèle BLIP-2 pour analyser et légender des images. Je vais même vous montrer comment vous pouvez utiliser le modèle pour interroger des images !  BLIP-2 est actuellement   sur Replicate, arrivant au numéro 24, avec près de 560 000 exécutions. Il a un coût moyen de 0,0046 $ par exécution, ce qui le rend assez abordable pour la plupart des applications. Son créateur n'est autre que Salesforce, qui est l'un des créateurs les plus populaires sur Replicate -   , avec trois modèles qui génèrent 9,5 millions de courses combinées !  l'un des modèles les plus populaires numéro 5 dans l'ensemble  Je vais vous montrer comment exécuter BLIP-2 en utilisant Node.js et Replicate. Replicate est une plate-forme qui vous permet d'interagir facilement avec des modèles d'IA via une simple API. Nous verrons également comment utiliser   , un outil communautaire gratuit, pour trouver des modèles similaires et décider lequel convient le mieux à votre projet. Commençons! Replicate Codex  J'ai également un article sur le modèle CLIP Interrogator, qui sert un objectif similaire. Vous pouvez retrouver cet article   . ici  À propos du modèle BLIP-2  BLIP-2 est un modèle d'IA avancé qui peut répondre aux questions sur les images et générer des légendes. Ce modèle utilise une stratégie de pré-formation générique et efficace, combinant   et de grands modèles de langage (LLM) pour la vision et le langage.  des modèles de vision pré-formés  Il surpasse Flamingo sur   sans prise de vue (65,0 contre 56,3), établissant un nouvel état de l'art en matière de sous-titrage sans prise de vue (sur NoCaps avec un score CIDEr de 121,6 contre le meilleur précédent de 113,2). Équipé de puissants LLM tels que OPT et FlanT5, BLIP-2 débloque des capacités innovantes de génération de vision-langue instruite à tir zéro pour une large gamme d'applications. VQAv2  Tout cela est un jargon très technique, donc en langage clair :  BLIP-2 répond mieux aux questions visuelles (une tâche appelée VQAv2) sans aucune formation préalable (zero-shot) par rapport à un autre modèle appelé Flamingo. BLIP-2 obtient un score de 65,0, tandis que Flamingo obtient un score de 56,3.  BLIP-2 établit également un nouveau record dans la génération de descriptions d'images sans formation préalable (zero-shot captioning). Il le fait sur un ensemble de données appelé NoCaps, où il obtient un score de 121,6 en utilisant une métrique appelée CIDEr. Le meilleur score précédent était de 113,2.  BLIP-2 peut être combiné avec de puissants modèles de langage comme OPT et FlanT5 pour créer de nouvelles façons passionnantes de générer du langage à partir d'entrées visuelles (comme des images). Cela peut être utilisé pour une variété d'applications.  Vous pouvez en savoir plus sur le   . Vous pouvez également comparer BLIP-2 au   précédent . repo officiel modèle BLIP  Comprendre les entrées et les sorties du modèle BLIP-2  Avant de commencer à jouer avec le modèle, prenons un moment pour étudier les entrées et les sorties attendues. Nous verrons comment vous pouvez manipuler ces valeurs et quel sera l'effet de ces changements.  Contributions    (fichier) : saisissez l'image à interroger ou la légende. image    (booléen) : sélectionnez si vous souhaitez générer des légendes d'image au lieu de poser des questions. caption    (string) : Question à poser à propos de cette image (par défaut : "De quoi est-ce une image ?") question    (chaîne, facultatif) : questions et réponses précédentes à utiliser comme contexte pour répondre à la question actuelle. context    (booléen) : bascule le modèle à l'aide de l'échantillonnage par noyau pour générer des réponses. use_nucleus_sampling    (nombre) : température à utiliser avec l'échantillonnage du noyau (par défaut : 1) temperature  Les sorties  Le modèle génère une chaîne qui représente la réponse ou la légende. La sortie est un objet JSON très simple, comme illustré ci-dessous :   { "type": "string", "title": "Output" }  Un guide étape par étape pour l'utilisation du modèle BLIP-2 pour l'analyse et le sous-titrage d'images  Si vous préférez une approche pratique, vous pouvez interagir directement avec la "démo" du modèle BLIP-2 sur Replicate via leur interface utilisateur. Vous pouvez utiliser   pour accéder à l'interface et l'essayer ! C'est un excellent moyen de jouer avec les paramètres du modèle et d'obtenir un retour rapide.  ce lien  Si vous êtes plus technique et cherchez à construire un outil sur le modèle BLIP-2, suivez ces étapes simples :  💡Remarque : Créez d'abord un compte Replicate et obtenez votre clé API - vous en aurez besoin pour interagir avec l'API Replicate.  Étape 1 : Installez le client Replicate Node.js  Pour cet exemple, nous allons travailler avec Node.js. Donc, pour commencer, nous devons utiliser npm pour installer le client Node.js Replicate. Vous pouvez le faire facilement avec le code ci-dessous.   npm install replicate  Étape 2 : Authentifiez-vous avec votre jeton d'API  Vous pouvez retrouver votre token sur le site de Replicate, dans l'espace compte.   export REPLICATE_API_TOKEN=[token]  Étape 3 : exécuter le modèle  Pour exécuter le modèle avec Node.js, utilisez simplement le code ci-dessous. Assurez-vous de formater votre entrée avec tous les champs et valeurs de la section "Entrée" ci-dessus.   import Replicate from "replicate"; const replicate = new Replicate({ auth: process.env.REPLICATE_API_TOKEN, }); const output = await replicate.run( "andreasjansson/blip-2:4b32258c42e9efd4288bb9910bc532a69727f9acd26aa08e175713a0a857a608", { input: { image: "..." } } );  Par exemple, si vous fournissez l'image ci-dessous comme entrée, la   définie sur "De quoi est-ce une image ?" et la température définie sur "1", le modèle fournira la sortie :    question "marina bay sands, singapour".  Parfois, les générations prendront beaucoup de temps. Si vous êtes intéressé par une stratégie qui vous aidera à voir quand l'exécution se termine, vous pouvez également configurer une URL de webhook. Vous pouvez vous référer à la   pour plus de détails sur la configuration. Voici un exemple d'implémentation d'un webhook qui devrait faire l'affaire dans ce cas. documentation du webhook   const prediction = await replicate.predictions.create({ version: "4b32258c42e9efd4288bb9910bc532a69727f9acd26aa08e175713a0a857a608", input: { image: "..." }, webhook: "https://example.com/your-webhook", webhook_events_filter: ["completed"] });  Vous pouvez également consulter la   pour plus d'informations. documentation de la bibliothèque Replicate Node.js  Aller plus loin - Trouver d'autres modèles d'analyse d'image avec le codex répliqué    est une ressource fantastique pour découvrir des modèles d'IA qui répondent à divers besoins créatifs, notamment la génération d'images, la conversion d'image en image et bien plus encore. Il s'agit d'une base de données entièrement consultable, filtrable et étiquetée de tous les modèles sur Replicate, et vous permet également de comparer les modèles et de trier par prix ou d'explorer par le créateur. C'est gratuit, et il contient également un e-mail récapitulatif qui vous avertira lorsque de nouveaux modèles sortiront afin que vous puissiez les essayer. Replicate Codex  Si vous souhaitez trouver des modèles similaires à BLIP-2, suivez ces étapes :  Étape 1 : Visitez la réplique du codex  Rendez-vous sur   pour commencer votre recherche de modèles similaires. Replicate Codex  Étape 2 : Utilisez la barre de recherche  Utilisez la barre de recherche en haut de la page pour rechercher des modèles avec des mots-clés spécifiques, tels que "analyse d'image", "légende d'image" ou "réponse aux questions". Cela vous montrera une liste de modèles liés à votre requête de recherche.  Étape 3 : filtrer les résultats  Sur le côté gauche de la page des résultats de recherche, vous trouverez plusieurs filtres qui peuvent vous aider à affiner la liste des modèles. Vous pouvez filtrer et trier les modèles par type (image à image, texte à image, etc.), coût, popularité ou même créateurs spécifiques.   En appliquant ces filtres et tris, vous pouvez trouver les modèles qui correspondent le mieux à vos besoins et préférences spécifiques. Par exemple, si vous recherchez un modèle d'analyse d'image qui est le deuxième plus populaire, vous pouvez simplement rechercher puis trier par popularité, comme indiqué dans l'exemple ci-dessus. J'ai choisi de rechercher par "légende" dans ce cas.  Étape 4 : Explorer et comparer les modèles  Une fois que vous avez une liste de modèles qui correspondent à vos critères de recherche et à vos filtres, vous pouvez cliquer sur chaque modèle pour afficher plus de détails à leur sujet. Cela inclut une description du modèle, ses entrées et sorties, un exemple de code, etc.   Vous pouvez également comparer les performances, les prix et les fonctionnalités des modèles pour trouver celui qui correspond le mieux à vos besoins. Certains modèles peuvent avoir une sortie de résolution plus élevée, tandis que d'autres peuvent se concentrer davantage sur la préservation des détails ou l'amélioration de la précision des couleurs. En   , vous pourrez choisir celui qui correspond à vos exigences et à vos attentes. comparant différents modèles  Conclusion  Dans ce guide convivial pour les débutants, nous avons présenté le modèle BLIP-2, ses capacités et vu comment l'utiliser pour l'analyse et le sous-titrage d'images. Nous avons également discuté de la manière d'utiliser les fonctionnalités de recherche et de filtrage dans Replicate Codex pour trouver des modèles similaires et comparer leurs résultats, ce qui nous permet d'élargir nos horizons dans le monde de l'analyse et du sous-titrage d'images alimentés par l'IA.  J'espère que ce guide vous a inspiré à explorer les possibilités créatives de l'IA et à donner vie à votre imagination. N'oubliez pas de vous abonner pour plus de tutoriels, des mises à jour sur les modèles d'IA nouveaux et améliorés, et une mine d'inspiration pour votre prochain projet créatif.  Bon sous-titrage et merci d'avoir lu. J'espère que vous prendrez plaisir à explorer le monde de l'IA avec BLIP-2 et Replicate Codex !   Abonnez-vous ou suivez-moi sur   pour plus de contenu comme celui-ci! Twitter  Également publié   . ici

This story contains new, firsthand information uncovered by the writer.

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Tell me why my site sucks so I can make it better. Be mean.

Read My Stories

Cet audio est produit dans la langue originale de l'histoire !

Présentation de BLIP-2 : un puissant modèle d'IA capable de sous-titrer automatiquement n'importe quelle image que vous générez

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

Vous voulez gagner un concours d’écriture HackerNoon ? Voici ce que recommandent les gagnants du concours #crypto-api

Appuyez pour gagner : Telegram pourrait intégrer les 10 prochains milliards d'utilisateurs de crypto avant Solana

Créer des produits cryptographiques centrés sur l'utilisateur : l'importance des retours clients

Des forums aux flux : comment les algorithmes des réseaux sociaux façonnent l'interaction numérique

Vous voulez gagner un concours d’écriture HackerNoon ? Voici ce que recommandent les gagnants du concours #crypto-api

Appuyez pour gagner : Telegram pourrait intégrer les 10 prochains milliards d'utilisateurs de crypto avant Solana

Créer des produits cryptographiques centrés sur l'utilisateur : l'importance des retours clients

Des forums aux flux : comment les algorithmes des réseaux sociaux façonnent l'interaction numérique

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps