Cansado de analisar imagens manualmente? Lutando para transformar as fotos que você ama em prompts utilizáveis? Quer uma ferramenta que possa legendar automaticamente qualquer imagem que você gerar?  Quer fazer uma pergunta a uma foto?  O modelo BLIP-2 está aqui para ajudar! Este poderoso modelo de IA pode responder perguntas sobre imagens e gerar legendas, facilitando sua vida. Neste guia, mostrarei como usar o modelo BLIP-2 para analisar e legendar imagens. Vou até mostrar como você pode usar o modelo para interrogar imagens!  O BLIP-2 é atualmente   do Replicate, chegando ao número 24, com quase 560.000 execuções. Tem um custo médio de US$ 0,0046 por execução, o que o torna bastante acessível para a maioria das aplicações. Seu criador não é outro senão o Salesforce, que é um dos criadores mais populares do Replicate -   , com três modelos que somam 9,5 milhões de execuções!  um dos modelos mais populares número 5 no geral  Mostrarei como executar o BLIP-2 usando Node.js e Replicate. Replicate é uma plataforma que permite interagir facilmente com modelos de IA por meio de uma API simples. Também veremos como usar   , uma ferramenta gratuita da comunidade, para encontrar modelos semelhantes e decidir qual é o mais adequado para o seu projeto. Vamos começar! o Replicate Codex  Também tenho um artigo sobre o modelo CLIP Interrogator, que serve a um propósito semelhante. Você pode encontrar esse artigo   . aqui  Sobre o Modelo BLIP-2  O BLIP-2 é um modelo avançado de IA que pode responder perguntas sobre imagens e gerar legendas. Este modelo utiliza uma estratégia de pré-treinamento genérica e eficiente, combinando   e modelos de linguagem ampla (LLMs) para a linguagem de visão pertinente.  modelos de visão pré-treinados  Ele supera o Flamingo em zero-shot   (65,0 vs 56,3), estabelecendo um novo estado da arte em legendas zero-shot (em NoCaps com uma pontuação de 121,6 CIDEr contra o melhor anterior de 113,2). Equipado com LLMs poderosos, como OPT e FlanT5, o BLIP-2 desbloqueia recursos inovadores de geração de visão para linguagem instruída com disparo zero para uma ampla gama de aplicações. VQAv2  Isso tudo é um jargão muito técnico, portanto, em inglês simples:  O BLIP-2 é melhor para responder a perguntas visuais (uma tarefa chamada VQAv2) sem nenhum treinamento prévio (zero-shot) em comparação com outro modelo chamado Flamingo. O BLIP-2 obtém uma pontuação de 65,0, enquanto o Flamingo obtém uma pontuação de 56,3.  O BLIP-2 também estabelece um novo recorde na geração de descrições de imagens sem treinamento prévio (legenda zero-shot). Ele faz isso em um conjunto de dados chamado NoCaps, onde obtém uma pontuação de 121,6 usando uma métrica chamada CIDEr. A melhor pontuação anterior foi de 113,2.  O BLIP-2 pode ser combinado com poderosos modelos de linguagem como OPT e FlanT5 para criar maneiras novas e interessantes de gerar linguagem a partir de entradas visuais (como imagens). Isso pode ser usado para uma variedade de aplicações.  Você pode aprender mais no   . Você também pode comparar o BLIP-2 com o   predecessor. repositório oficial modelo BLIP  Compreendendo as entradas e saídas do modelo BLIP-2  Antes de começarmos a brincar com o modelo, vamos dedicar um momento para estudar as entradas e saídas esperadas. Veremos como você pode manipular esses valores e qual será o efeito dessas mudanças.  entradas    (arquivo): Insira a imagem para consulta ou legenda. image    (boolean): Selecione se você deseja gerar legendas de imagem em vez de fazer perguntas. caption    (string): Pergunta a ser feita sobre esta imagem (padrão: "Do que é esta imagem?") question    (string, opcional): Perguntas e respostas anteriores a serem usadas como contexto para responder à pergunta atual. context    (boolean): Alterna o modelo usando amostragem de núcleo para gerar respostas. use_nucleus_sampling    (número): Temperatura para uso com amostragem de núcleo (padrão: 1) temperature  Saídas  O modelo gera uma string que representa a resposta ou legenda. A saída é um objeto JSON muito simples, conforme mostrado abaixo:   { "type": "string", "title": "Output" }  Um guia passo a passo para usar o modelo BLIP-2 para análise e legenda de imagens  Se preferir uma abordagem prática, você pode interagir diretamente com a "demonstração" do modelo BLIP-2 no Replicate por meio da interface do usuário. Você pode usar   para acessar a interface e experimentá-la! Esta é uma excelente maneira de brincar com os parâmetros do modelo e obter feedback rápido.  este link  Se você é mais técnico e deseja construir uma ferramenta em cima do modelo BLIP-2, siga estas etapas simples:  💡Observação: crie uma conta Replicate primeiro e obtenha sua chave de API - você precisará dela para interagir com a API Replicate.  Etapa 1: instalar o cliente Replicate Node.js  Para este exemplo, trabalharemos com Node.js. Então, para começar, precisamos usar o npm para instalar o cliente Node.js Replicate. Você pode fazer isso facilmente com o código abaixo.   npm install replicate  Etapa 2: Autenticar com seu token de API  Você pode encontrar seu token no site da Replicate, na área de contas.   export REPLICATE_API_TOKEN=[token]  Etapa 3: execute o modelo  Para rodar o modelo com Node.js, basta utilizar o código abaixo. Certifique-se de formatar sua entrada com todos os campos e valores na seção "Entradas" acima.   import Replicate from "replicate"; const replicate = new Replicate({ auth: process.env.REPLICATE_API_TOKEN, }); const output = await replicate.run( "andreasjansson/blip-2:4b32258c42e9efd4288bb9910bc532a69727f9acd26aa08e175713a0a857a608", { input: { image: "..." } } );  Por exemplo, se você fornecer a imagem abaixo como entrada, a   será "De que é esta imagem?" e a temperatura definida como "1", o modelo fornecerá a saída:    question "marina bay sands, singapore".  Às vezes, as gerações demoram muito. Se estiver interessado em uma estratégia que o ajudará a ver quando a execução for concluída, você também pode configurar um URL de webhook. Você pode consultar a   para obter detalhes sobre como configurar isso. Aqui está um exemplo de implementação de um webhook que deve funcionar neste caso. documentação do webhook   const prediction = await replicate.predictions.create({ version: "4b32258c42e9efd4288bb9910bc532a69727f9acd26aa08e175713a0a857a608", input: { image: "..." }, webhook: "https://example.com/your-webhook", webhook_events_filter: ["completed"] });  Você também pode revisar a   para obter mais informações. documentação da biblioteca Replicate Node.js  Indo além - Encontrando outros modelos de análise de imagem com o Codex replicado    é um recurso fantástico para descobrir modelos de IA que atendem a várias necessidades criativas, incluindo geração de imagem, conversão de imagem para imagem e muito mais. É um banco de dados totalmente pesquisável, filtrável e marcado de todos os modelos no Replicate, e também permite comparar modelos e classificar por preço ou explorar pelo criador. É gratuito e também possui um resumo por e-mail que o alertará quando novos modelos forem lançados para que você possa experimentá-los. O Replicate Codex  Se você estiver interessado em encontrar modelos semelhantes ao BLIP-2, siga estas etapas:  Passo 1: Visite o Codex Replicado  Acesse   para começar sua busca por modelos semelhantes. Replicate Codex  Etapa 2: use a barra de pesquisa  Use a barra de pesquisa na parte superior da página para pesquisar modelos com palavras-chave específicas, como "análise de imagem", "legenda de imagem" ou "resposta a perguntas". Isso mostrará uma lista de modelos relacionados à sua consulta de pesquisa.  Passo 3: Filtre os Resultados  No lado esquerdo da página de resultados da pesquisa, você encontrará vários filtros que podem ajudá-lo a restringir a lista de modelos. Você pode filtrar e classificar modelos por tipo (imagem para imagem, texto para imagem etc.), custo, popularidade ou até mesmo criadores específicos.   Ao aplicar esses filtros e classificações, você pode encontrar os modelos que melhor atendem às suas necessidades e preferências específicas. Por exemplo, se você estiver procurando por um modelo de análise de imagem que seja o próximo mais popular, basta pesquisar e classificar por popularidade, conforme mostrado no exemplo acima. Optei por pesquisar por "legenda" neste caso.  Etapa 4: explorar e comparar modelos  Depois de ter uma lista de modelos que correspondem aos seus critérios e filtros de pesquisa, você pode clicar em cada modelo para ver mais detalhes sobre eles. Isso inclui uma descrição do modelo, suas entradas e saídas, código de exemplo e muito mais.   Você também pode comparar o desempenho, preços e recursos dos modelos para encontrar aquele que melhor se adapta às suas necessidades. Alguns modelos podem ter uma saída de resolução mais alta, enquanto outros podem se concentrar mais em preservar detalhes ou melhorar a precisão das cores. Ao   , você pode escolher aquele que se alinha com suas necessidades e expectativas. comparar diferentes modelos  Conclusão  Neste guia para iniciantes, apresentamos o modelo BLIP-2, seus recursos e vimos como usá-lo para análise e legenda de imagens. Também discutimos como usar os recursos de pesquisa e filtro no Replicate Codex para encontrar modelos semelhantes e comparar seus resultados, permitindo-nos ampliar nossos horizontes no mundo da análise e legendagem de imagens com tecnologia AI.  Espero que este guia tenha inspirado você a explorar as possibilidades criativas da IA e dar vida à sua imaginação. Não se esqueça de se inscrever para mais tutoriais, atualizações sobre modelos de IA novos e aprimorados e muita inspiração para seu próximo projeto criativo.  Boas legendas e obrigado por ler. Espero que goste de explorar o mundo da IA com BLIP-2 e Replicate Codex!   Inscreva-se ou siga-me no   para mais conteúdo como este! Twitter  Publicado também   . aqui

This story contains new, firsthand information uncovered by the writer.

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Tell me why my site sucks so I can make it better. Be mean.

Read My Stories

Este áudio é produzido no idioma original da história!

Muito longo; Para ler

Get Free Unlimited IP Geo Data With IPinfo Lite

Apresentando o BLIP-2: um poderoso modelo de IA que pode legendar automaticamente qualquer imagem que você gerar

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

Quer ganhar um concurso de redação do HackerNoon? Aqui está o que os vencedores do concurso #crypto-api recomendam

De fóruns a feeds: como os algoritmos de mídia social moldam a interação digital

Como melhorar seu fluxo de trabalho em 10 vezes: 17 aplicativos essenciais

Navegando pelas águas: desenvolvendo aplicações RAG de nível de produção com data lakes

Quer ganhar um concurso de redação do HackerNoon? Aqui está o que os vencedores do concurso #crypto-api recomendam

De fóruns a feeds: como os algoritmos de mídia social moldam a interação digital

Como melhorar seu fluxo de trabalho em 10 vezes: 17 aplicativos essenciais

Navegando pelas águas: desenvolvendo aplicações RAG de nível de produção com data lakes

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps