¿Cansado de analizar imágenes manualmente? ¿Tiene dificultades para convertir las imágenes que ama en indicaciones utilizables? ¿Quiere una herramienta que pueda subtitular automáticamente cualquier imagen que genere?  ¿Quieres hacerle una pregunta a una imagen?  ¡El modelo BLIP-2 está aquí para ayudar! Este poderoso modelo de IA puede responder preguntas sobre imágenes y generar subtítulos, lo que facilita su vida. En esta guía, lo explicaré cómo usar el modelo BLIP-2 para analizar y subtitular imágenes. ¡Incluso te mostraré cómo puedes usar el modelo para interrogar imágenes!  BLIP-2 es actualmente   en Replicate, ocupando el puesto 24, con casi 560 000 ejecuciones. Tiene un costo promedio de $0.0046 por ejecución, lo que lo hace bastante asequible para la mayoría de las aplicaciones. Su creador no es otro que Salesforce, que es uno de los creadores más populares en Replicate:   , con tres modelos que generan 9,5 millones de ejecuciones combinadas!  uno de los modelos más populares ¡el número 5 en general  Le mostraré cómo ejecutar BLIP-2 usando Node.js y Replicate. Replicate es una plataforma que le permite interactuar fácilmente con modelos de IA a través de una API simple. También veremos cómo usar   , una herramienta comunitaria gratuita, para encontrar modelos similares y decidir cuál es el mejor para su proyecto. ¡Vamos a empezar! Replicate Codex  También tengo un artículo sobre el modelo CLIP Interrogator, que tiene un propósito similar. Puedes encontrar ese artículo   . aquí  Sobre el modelo BLIP-2  BLIP-2 es un modelo avanzado de IA que puede responder preguntas sobre imágenes y generar subtítulos. Este modelo utiliza una estrategia de preentrenamiento genérica y eficiente, que combina   y modelos de lenguaje extenso (LLM) para la visión y el lenguaje.  modelos de visión preentrenados  Supera a Flamingo en   de disparo cero (65,0 frente a 56,3), estableciendo un nuevo estado del arte en subtítulos de disparo cero (en NoCaps con una puntuación CIDEr de 121,6 frente al mejor anterior de 113,2). Equipado con poderosos LLM como OPT y FlanT5, BLIP-2 desbloquea capacidades innovadoras de generación de visión a lenguaje instruida de tiro cero para una amplia gama de aplicaciones. VQAv2  Todo esto es una jerga muy técnica, así que en lenguaje sencillo:  BLIP-2 es mejor para responder preguntas visuales (una tarea llamada VQAv2) sin ningún entrenamiento previo (zero-shot) en comparación con otro modelo llamado Flamingo. BLIP-2 obtiene una puntuación de 65,0, mientras que Flamingo obtiene una puntuación de 56,3.  BLIP-2 también establece un nuevo récord en la generación de descripciones para imágenes sin entrenamiento previo (subtítulos de disparo cero). Hace esto en un conjunto de datos llamado NoCaps, donde obtiene una puntuación de 121,6 usando una métrica llamada CIDEr. La mejor puntuación anterior fue 113,2.  BLIP-2 se puede combinar con potentes modelos de lenguaje como OPT y FlanT5 para crear formas nuevas y emocionantes de generar lenguaje a partir de entradas visuales (como imágenes). Esto se puede utilizar para una variedad de aplicaciones.  Puede obtener más información en el   . También puede comparar BLIP-2 con el   anterior. repositorio oficial modelo BLIP  Comprender las entradas y salidas del modelo BLIP-2  Antes de comenzar a jugar con el modelo, tomemos un momento para estudiar las entradas y salidas esperadas. Veremos cómo puede manipular estos valores y cuál será el efecto de esos cambios.  Entradas    (archivo): imagen de entrada para consulta o título. image    (booleano): Seleccione si desea generar leyendas de imágenes en lugar de hacer preguntas. caption    (cadena): pregunta sobre esta imagen (predeterminada: "¿De qué es esta imagen?") question    (cadena, opcional): Preguntas y respuestas anteriores que se utilizarán como contexto para responder a la pregunta actual. context    (booleano): alterna el modelo usando muestreo de núcleo para generar respuestas. use_nucleus_sampling    (número): temperatura para uso con muestreo de núcleo (predeterminado: 1) temperature  Salidas  El modelo genera una cadena que representa la respuesta o el título. El resultado es un objeto JSON muy simple, como se muestra a continuación:   { "type": "string", "title": "Output" }  Una guía paso a paso para usar el modelo BLIP-2 para análisis de imágenes y subtítulos  Si prefiere un enfoque práctico, puede interactuar directamente con la "demostración" del modelo BLIP-2 en Replicate a través de su interfaz de usuario. ¡Puede usar   para acceder a la interfaz y probarlo! Esta es una excelente manera de jugar con los parámetros del modelo y obtener comentarios rápidos.  este enlace  Si eres más técnico y buscas construir una herramienta sobre el modelo BLIP-2, sigue estos sencillos pasos:  💡Nota: primero cree una cuenta de réplica y obtenga su clave de API; la necesitará para interactuar con la API de réplica.  Paso 1: Instale el cliente Replicate Node.js  Para este ejemplo, trabajaremos con Node.js. Entonces, para comenzar, necesitamos usar npm para instalar el cliente de Node.js Replicate. Puede hacerlo fácilmente con el siguiente código.   npm install replicate  Paso 2: autentícate con tu token API  Puede encontrar su token en el sitio de Replicate, en el área de la cuenta.   export REPLICATE_API_TOKEN=[token]  Paso 3: Ejecutar el modelo  Para ejecutar el modelo con Node.js, simplemente use el código a continuación. Asegúrese de formatear su entrada con todos los campos y valores en la sección "Entradas" anterior.   import Replicate from "replicate"; const replicate = new Replicate({ auth: process.env.REPLICATE_API_TOKEN, }); const output = await replicate.run( "andreasjansson/blip-2:4b32258c42e9efd4288bb9910bc532a69727f9acd26aa08e175713a0a857a608", { input: { image: "..." } } );  Por ejemplo, si proporciona la imagen a continuación como entrada, la   se establece en "¿De qué es esta imagen?" y la temperatura establecida en "1", el modelo proporcionará el resultado:    question "marina bay sands, singapore".  A veces, las generaciones llevarán mucho tiempo. Si está interesado en una estrategia que lo ayude a ver cuándo se completa la ejecución, también puede configurar una URL de webhook. Puede consultar la   para obtener detalles sobre cómo configurarlo. Aquí hay una implementación de ejemplo de un webhook que debería funcionar en este caso. documentación del webhook   const prediction = await replicate.predictions.create({ version: "4b32258c42e9efd4288bb9910bc532a69727f9acd26aa08e175713a0a857a608", input: { image: "..." }, webhook: "https://example.com/your-webhook", webhook_events_filter: ["completed"] });  También puede revisar la   para obtener más información. documentación de la biblioteca Replicate Node.js  Llevándolo más lejos: encontrar otros modelos de análisis de imágenes con Replicate Codex    es un recurso fantástico para descubrir modelos de IA que se adaptan a diversas necesidades creativas, incluida la generación de imágenes, la conversión de imagen a imagen y mucho más. Es una base de datos etiquetada, filtrable y con capacidad de búsqueda completa de todos los modelos en Replicate, y también le permite comparar modelos y ordenar por precio o explorar por el creador. Es gratis y también tiene un correo electrónico de resumen que te avisará cuando salgan nuevos modelos para que puedas probarlos. Replicate Codex  Si estás interesado en encontrar modelos similares a BLIP-2, sigue estos pasos:  Paso 1: Visite Replicar Codex  Dirígete a   para comenzar tu búsqueda de modelos similares. Replicate Codex  Paso 2: usa la barra de búsqueda  Use la barra de búsqueda en la parte superior de la página para buscar modelos con palabras clave específicas, como "análisis de imágenes", "títulos de imágenes" o "respuesta de preguntas". Esto le mostrará una lista de modelos relacionados con su consulta de búsqueda.  Paso 3: filtrar los resultados  En el lado izquierdo de la página de resultados de búsqueda, encontrará varios filtros que pueden ayudarlo a reducir la lista de modelos. Puede filtrar y ordenar modelos por tipo (Imagen a imagen, Texto a imagen, etc.), costo, popularidad o incluso creadores específicos.   Al aplicar estos filtros y clasificaciones, puede encontrar los modelos que mejor se adapten a sus necesidades y preferencias específicas. Por ejemplo, si está buscando un modelo de análisis de imágenes que sea el siguiente más popular, puede buscar y luego ordenar por popularidad, como se muestra en el ejemplo anterior. Elegí buscar por "título" en este caso.  Paso 4: Explore y compare modelos  Una vez que tenga una lista de modelos que coincidan con sus criterios de búsqueda y filtros, puede hacer clic en cada modelo para ver más detalles sobre ellos. Esto incluye una descripción del modelo, sus entradas y salidas, código de ejemplo y más.   También puede comparar el rendimiento, los precios y las características de los modelos para encontrar el que mejor se adapte a sus necesidades. Algunos modelos pueden tener una salida de mayor resolución, mientras que otros pueden centrarse más en conservar los detalles o mejorar la precisión del color. Al   , puede elegir el que se alinea con sus requisitos y expectativas. comparar diferentes modelos  Conclusión  En esta guía para principiantes, presentamos el modelo BLIP-2, sus capacidades y vimos cómo usarlo para el análisis de imágenes y subtítulos. También discutimos cómo usar las funciones de búsqueda y filtro en Replicate Codex para encontrar modelos similares y comparar sus resultados, lo que nos permite ampliar nuestros horizontes en el mundo del análisis y subtítulos de imágenes impulsados por IA.  Espero que esta guía lo haya inspirado para explorar las posibilidades creativas de la IA y darle vida a su imaginación. No olvides suscribirte para obtener más tutoriales, actualizaciones sobre modelos de IA nuevos y mejorados y mucha inspiración para tu próximo proyecto creativo.  Felices subtítulos, y gracias por leer. ¡Espero que disfrute explorando el mundo de la IA con BLIP-2 y Replicate Codex!   ¡Suscríbete o sígueme en   para más contenido como este! Twitter  También publicado   . aquí

This story contains new, firsthand information uncovered by the writer.

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Tell me why my site sucks so I can make it better. Be mean.

Read My Stories

Este audio es producido en el idioma original de la historia!

Presentamos BLIP-2: un poderoso modelo de IA que puede subtitular automáticamente cualquier imagen que genere

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Las capas invisibles: por qué las entrevistas con los usuarios son un activo irremplazable

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

Una breve introducción a la teoría del cerebro de Boltzmann

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

Las capas invisibles: por qué las entrevistas con los usuarios son un activo irremplazable

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

Una breve introducción a la teoría del cerebro de Boltzmann

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps