厌倦了手动分析图像？努力将您喜欢的图片变成可用的提示？想要一个可以为您生成的任何图片自动添加字幕的工具吗？ 想问图片问题？  BLIP-2 模型可为您提供帮助！这个强大的 AI 模型可以回答有关图像的问题并生成说明文字，让您的生活更轻松。在本指南中，我将向您介绍如何使用 BLIP-2 模型分析图像并为其添加字幕。我什至会向您展示如何使用该模型来查询图像！  BLIP-2 目前是 Replicate 上 ，排名第 24，运行次数接近 560,000。它的平均每次运行成本为 0.0046 美元，这对于大多数应用程序来说是相当实惠的。它的创建者不是别人，正是 Salesforce，它是 Replicate 上最受欢迎的创建者之一 -  ，三个模型的总运行量为 950 万次！  最受欢迎的模型之一 总体排名第 5 我将向您展示如何使用 Node.js 和 Replicate 运行 BLIP-2。 Replicate 是一个平台，可让您通过简单的 API 轻松地与 AI 模型进行交互。我们还将了解如何使用免费的社区工具 来查找相似的模型并确定最适合您的项目的模型。让我们开始！ Replicate Codex 我还有一篇关于 CLIP Interrogator 模型的文章，它具有类似的目的。您可以 找到该文章。 在此处 关于 BLIP-2 模型 BLIP-2 是一种高级 AI 模型，可以回答有关图像的问题并生成字幕。该模型利用通用且高效的预训练策略，将 和大型语言模型 (LLM) 相结合以实现视觉语言相关性。  预训练视觉模型 它在零镜头 上的表现优于 Flamingo（65.0 对 56.3），在零镜头字幕方面建立了新的最先进技术（在 NoCaps 上，CIDEr 得分为 121.6，而之前的最佳成绩为 113.2）。 BLIP-2 配备了强大的 LLM，例如 OPT 和 FlanT5，为广泛的应用程序解锁了创新的零样本指示视觉到语言生成功能。 VQAv2 这些都是非常专业的行话，所以用简单的英语来说： 与另一个名为 Flamingo 的模型相比，BLIP-2 在无需任何事先训练（零样本）的情况下更擅长回答视觉问题（称为 VQAv2 的任务）。 BLIP-2 得分为 65.0，而 Flamingo 得分为 56.3。  BLIP-2 还在未经事先训练（零镜头字幕）的情况下生成图像描述方面创造了新记录。它在名为 NoCaps 的数据集上执行此操作，使用名为 CIDEr 的指标获得 121.6 分。之前的最好成绩是113.2。  BLIP-2 可以与 OPT 和 FlanT5 等强大的语言模型相结合，以创建新的令人兴奋的方式来从视觉输入（如图像）生成语言。这可用于多种应用。 您可以在 中了解更多信息。您还可以将 BLIP-2 与之前的 进行比较。 官方仓库 BLIP 模型 了解 BLIP-2 模型的输入和输出 在我们开始使用模型之前，让我们花点时间研究一下预期的输入和输出。我们将了解如何操纵这些值以及这些更改的效果。 输入  （文件）：输入图像以进行查询或说明。 image    （布尔值）：选择是否要生成图像标题而不是提问。 caption    （字符串）：关于这张图片的问题（默认：“这是什么图片？”） question    （字符串，可选）：以前的问题和答案用作回答当前问题的上下文。 context    （布尔值）：使用核采样来切换模型以生成响应。 use_nucleus_sampling    （数字）：用于核采样的温度（默认值：1） temperature 产出 该模型输出一个表示答案或标题的字符串。输出是一个非常简单的 JSON 对象，如下所示：   { "type": "string", "title": "Output" } 使用 BLIP-2 模型进行图像分析和字幕的分步指南 如果您更喜欢亲身实践的方法，则可以通过其 UI 直接与 Replicate 上的 BLIP-2 模型“演示”进行交互。您可以使用 访问界面并试用！这是使用模型参数并获得快速反馈的绝佳方式。  此链接 如果您更懂技术并希望在 BLIP-2 模型之上构建工具，请按照以下简单步骤操作：  💡注意：首先创建一个 Replicate 帐户并获取您的 API 密钥 - 您将需要它来与 Replicate API 进行交互。 第 1 步：安装 Replicate Node.js 客户端 对于此示例，我们将使用 Node.js。因此，首先，我们需要使用 npm 安装 Node.js Replicate 客户端。您可以使用下面的代码轻松完成此操作。   npm install replicate 第 2 步：使用您的 API 令牌进行身份验证 您可以在 Replicate 网站的账户区域找到您的代币。   export REPLICATE_API_TOKEN=[token] 第 3 步：运行模型 要使用 Node.js 运行模型，只需使用以下代码即可。请务必使用上面“输入”部分中的所有字段和值来格式化您的输入。   import Replicate from "replicate"; const replicate = new Replicate({ auth: process.env.REPLICATE_API_TOKEN, }); const output = await replicate.run( "andreasjansson/blip-2:4b32258c42e9efd4288bb9910bc532a69727f9acd26aa08e175713a0a857a608", { input: { image: "..." } } ); 例如，如果您提供下图作为输入，  设置为“这是什么图片？”并且温度设置为“1”，模型将提供输出：    question “新加坡滨海湾金沙”。 有时，几代人需要很长时间。如果您对可帮助您查看运行何时完成的策略感兴趣，您还可以设置一个 webhook URL。您可以参考 了解有关设置的详细信息。这是一个 webhook 的示例实现，在这种情况下应该可以解决问题。 webhook 文档   const prediction = await replicate.predictions.create({ version: "4b32258c42e9efd4288bb9910bc532a69727f9acd26aa08e175713a0a857a608", input: { image: "..." }, webhook: "https://example.com/your-webhook", webhook_events_filter: ["completed"] }); 您还可以查看 Replicate  以获取更多信息。 Node.js 库文档 更进一步——使用 Replicate Codex 寻找其他图像分析模型 是发现满足各种创意需求（包括图像生成、图像到图像转换等）的 AI 模型的绝佳资源。它是 Replicate 上所有模型的完全可搜索、可过滤、标记的数据库，还允许您比较模型并按价格排序或由创建者探索。它是免费的，并且还有一封摘要电子邮件，当新型号出现时会提醒您，以便您试用。 Replicate Codex 如果您有兴趣寻找与 BLIP-2 相似的模型，请按照以下步骤操作： 第 1 步：访问 Replicate Codex 前往 开始搜索类似型号。 Replicate Codex 第 2 步：使用搜索栏 使用页面顶部的搜索栏搜索具有特定关键字的模型，例如“图像分析”、“图像字幕”或“问题解答”。这将向您显示与您的搜索查询相关的模型列表。 第 3 步：过滤结果 在搜索结果页面的左侧，您会发现几个过滤器，可以帮助您缩小模型列表的范围。您可以按类型（图像到图像、文本到图像等）、成本、受欢迎程度甚至特定创作者对模型进行过滤和排序。  通过应用这些过滤器和分类，您可以找到最适合您特定需求和偏好的模型。例如，如果您正在寻找下一个最流行的图像分析模型，您可以只搜索然后按流行度排序，如上例所示。在这种情况下，我选择按“标题”搜索。 第 4 步：探索和比较模型 获得与搜索条件和过滤器匹配的模型列表后，您可以单击每个模型以查看有关它们的更多详细信息。这包括对模型、其输入和输出、示例代码等的描述。  您还可以比较这些型号的性能、价格和功能，以找到最适合您需求的型号。某些模型可能具有更高分辨率的输出，而其他模型可能更注重保留细节或提高颜色准确性。通过 ，您可以选择符合您的要求和期望的模型。 比较不同的模型 结论 在这本适合初学者的指南中，我们介绍了 BLIP-2 模型及其功能，并了解了如何使用它进行图像分析和字幕。我们还讨论了如何使用 Replicate Codex 中的搜索和过滤功能来查找相似模型并比较它们的输出，从而使我们能够在 AI 驱动的图像分析和字幕世界中拓宽视野。 我希望本指南能启发您探索 AI 的创造性可能性，并将您的想象力变为现实。不要忘记订阅更多教程、更新新的和改进的 AI 模型，以及为您的下一个创意项目提供丰富的灵感。 祝您字幕愉快，感谢您的阅读。我希望您喜欢使用 BLIP-2 和 Replicate Codex 探索 AI 世界！ 在 上订阅或关注我以获取更多此类内容！ Twitter 也发布 。 在这里

This story contains new, firsthand information uncovered by the writer.

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Tell me why my site sucks so I can make it better. Be mean.

Read My Stories

該音頻是用故事的原始語言製作的！

介绍 BLIP-2：一个强大的 AI 模型，可以为您生成的任何图片自动添加字幕

About Author

註釋

標籤

这篇文章刊登在

Related Stories

想赢得 HackerNoon 写作比赛吗？以下是 #crypto-api 比赛获奖者的推荐

成功云迁移的完整指南：策略和最佳实践

创建以用户为中心的加密产品：客户反馈的重要性

数字游民请注意：您需要了解泰国新推出的 DTV 签证

想赢得 HackerNoon 写作比赛吗？以下是 #crypto-api 比赛获奖者的推荐

成功云迁移的完整指南：策略和最佳实践

创建以用户为中心的加密产品：客户反馈的重要性

数字游民请注意：您需要了解泰国新推出的 DTV 签证

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps