Bạn cảm thấy mệt mỏi với việc phân tích hình ảnh theo cách thủ công? Bạn đang gặp khó khăn trong việc biến những bức ảnh yêu thích thành lời nhắc có thể sử dụng được? Bạn muốn một công cụ có thể tự động tạo phụ đề cho bất kỳ bức ảnh nào bạn tạo?  Bạn muốn hỏi một bức tranh một câu hỏi?  Mô hình BLIP-2 sẵn sàng trợ giúp! Mô hình AI mạnh mẽ này có thể trả lời các câu hỏi về hình ảnh và tạo chú thích, giúp cuộc sống của bạn dễ dàng hơn. Trong hướng dẫn này, tôi sẽ hướng dẫn bạn cách sử dụng mô hình BLIP-2 để phân tích và chú thích hình ảnh. Tôi thậm chí sẽ chỉ cho bạn cách bạn có thể sử dụng mô hình để thẩm vấn hình ảnh!  BLIP-2 hiện là   trên Replicate, đứng ở vị trí thứ 24, với gần 560.000 lượt chạy. Nó có chi phí trung bình là 0,0046 đô la mỗi lần chạy, điều này làm cho nó khá phải chăng cho hầu hết các ứng dụng. Người tạo ra nó không ai khác chính là Salesforce, một trong những người sáng tạo nổi tiếng nhất trên Bản sao -   , với ba mẫu có tổng cộng 9,5 triệu lượt chạy!  một trong những mẫu phổ biến nhất xếp thứ 5 về tổng thể  Tôi sẽ chỉ cho bạn cách chạy BLIP-2 bằng Node.js và Sao chép. Replicate là một nền tảng cho phép bạn dễ dàng tương tác với các mô hình AI thông qua một API đơn giản. Chúng ta cũng sẽ xem cách sử dụng   , một công cụ cộng đồng miễn phí, để tìm các mô hình tương tự và quyết định mô hình nào phù hợp nhất cho dự án của bạn. Hãy bắt đầu nào! Replicate Codex  Tôi cũng có một bài viết về mô hình Bộ dò tín hiệu CLIP, phục vụ mục đích tương tự. Bạn có thể tìm thấy bài báo đó   . ở đây  Giới thiệu về mẫu BLIP-2  BLIP-2 là một mô hình AI tiên tiến có thể trả lời các câu hỏi về hình ảnh và tạo chú thích. Mô hình này sử dụng chiến lược đào tạo trước chung chung và hiệu quả, kết hợp   và các mô hình ngôn ngữ lớn (LLM) cho ngôn ngữ tầm nhìn liên quan.  các mô hình tầm nhìn được đào tạo trước  Nó vượt trội hơn Flamingo trên   không có cảnh quay (65,0 so với 56,3), thiết lập một trạng thái mới nhất về phụ đề không có cảnh quay (trên NoCaps với điểm CIDEr 121,6 so với điểm tốt nhất trước đó là 113,2). Được trang bị các LLM mạnh mẽ như OPT và FlanT5, BLIP-2 mở ra các khả năng tạo tầm nhìn sang ngôn ngữ được hướng dẫn bằng không ảnh sáng tạo cho nhiều ứng dụng. VQAv2  Đây là tất cả các thuật ngữ rất kỹ thuật, vì vậy bằng tiếng Anh đơn giản:  BLIP-2 tốt hơn trong việc trả lời các câu hỏi trực quan (một nhiệm vụ có tên là VQAv2) mà không cần đào tạo trước (zero-shot) so với một mẫu khác có tên là Flamingo. BLIP-2 đạt số điểm 65,0, trong khi Flamingo đạt số điểm 56,3.  BLIP-2 cũng lập kỷ lục mới trong việc tạo mô tả cho hình ảnh mà không cần đào tạo trước (phụ đề không ảnh). Nó thực hiện điều này trên tập dữ liệu có tên là NoCaps, nơi nó nhận được số điểm là 121,6 bằng cách sử dụng số liệu có tên là CIDEr. Điểm tốt nhất trước đây là 113,2.  BLIP-2 có thể được kết hợp với các mô hình ngôn ngữ mạnh mẽ như OPT và FlanT5 để tạo ra những cách mới và thú vị để tạo ngôn ngữ từ đầu vào trực quan (như hình ảnh). Điều này có thể được sử dụng cho một loạt các ứng dụng.  Bạn có thể tìm hiểu thêm tại   . Bạn cũng có thể so sánh BLIP-2 với   tiền nhiệm. repo chính thức mẫu BLIP  Hiểu về Đầu vào và Đầu ra của Mô hình BLIP-2  Trước khi bắt đầu tìm hiểu về mô hình, chúng ta hãy dành một chút thời gian để nghiên cứu các đầu vào và đầu ra dự kiến. Chúng ta sẽ xem cách bạn có thể điều khiển những giá trị này và tác động của những thay đổi đó.  đầu vào    (tệp): Nhập hình ảnh để truy vấn hoặc chú thích. image    (boolean): Chọn nếu bạn muốn tạo chú thích hình ảnh thay vì đặt câu hỏi. caption    (chuỗi): Câu hỏi để hỏi về hình ảnh này (mặc định: "Đây là hình ảnh về cái gì?") question    (chuỗi, tùy chọn): Các câu hỏi và câu trả lời trước đó sẽ được sử dụng làm ngữ cảnh để trả lời câu hỏi hiện tại. context    (boolean): Chuyển đổi mô hình bằng cách sử dụng lấy mẫu hạt nhân để tạo phản hồi. use_nucleus_sampling    (số): Nhiệt độ để sử dụng với lấy mẫu hạt nhân (mặc định: 1) temperature  đầu ra  Mô hình xuất ra một chuỗi đại diện cho câu trả lời hoặc chú thích. Đầu ra là một đối tượng JSON rất đơn giản, như hình bên dưới:   { "type": "string", "title": "Output" }  Hướng dẫn từng bước để sử dụng Mô hình BLIP-2 để phân tích và chú thích hình ảnh  Nếu thích cách tiếp cận thực hành, bạn có thể tương tác trực tiếp với "bản trình diễn" của mô hình BLIP-2 trên Bản sao thông qua giao diện người dùng của họ. Bạn có thể sử dụng   để truy cập giao diện và dùng thử! Đây là một cách tuyệt vời để chơi với các thông số của mô hình và nhận phản hồi nhanh chóng.  liên kết này  Nếu bạn có nhiều kỹ thuật hơn và đang tìm cách xây dựng một công cụ dựa trên mô hình BLIP-2, hãy làm theo các bước đơn giản sau:  💡Lưu ý: Trước tiên hãy tạo một tài khoản Bản sao và lấy khóa API của bạn - bạn sẽ cần điều này để tương tác với API Bản sao.  Bước 1: Cài đặt ứng dụng khách Replicate Node.js  Trong ví dụ này, chúng ta sẽ làm việc với Node.js. Vì vậy, để bắt đầu, chúng ta cần sử dụng npm để cài đặt ứng dụng khách Node.js Replicate. Bạn có thể làm điều này một cách dễ dàng với mã dưới đây.   npm install replicate  Bước 2: Xác thực bằng mã thông báo API của bạn  Bạn có thể tìm thấy mã thông báo của mình trên trang web của Replicate, trong khu vực tài khoản.   export REPLICATE_API_TOKEN=[token]  Bước 3: Chạy mô hình  Để chạy mô hình với Node.js, chỉ cần sử dụng mã bên dưới. Đảm bảo định dạng đầu vào của bạn với tất cả các trường và giá trị trong phần "Đầu vào" ở trên.   import Replicate from "replicate"; const replicate = new Replicate({ auth: process.env.REPLICATE_API_TOKEN, }); const output = await replicate.run( "andreasjansson/blip-2:4b32258c42e9efd4288bb9910bc532a69727f9acd26aa08e175713a0a857a608", { input: { image: "..." } } );  Ví dụ: nếu bạn cung cấp hình ảnh bên dưới làm đầu vào,   sẽ đặt thành "Đây là hình ảnh về cái gì?" và nhiệt độ được đặt thành "1", mô hình sẽ cung cấp đầu ra:    question "marina bay sands, singapore."  Đôi khi, các thế hệ sẽ mất nhiều thời gian. Nếu quan tâm đến một chiến lược sẽ giúp bạn biết khi nào quá trình chạy hoàn tất, bạn cũng có thể thiết lập URL webhook. Bạn có thể tham khảo   để biết chi tiết về cách thiết lập tính năng này. Đây là một ví dụ triển khai webhook sẽ thực hiện thủ thuật trong trường hợp này. tài liệu về webhook   const prediction = await replicate.predictions.create({ version: "4b32258c42e9efd4288bb9910bc532a69727f9acd26aa08e175713a0a857a608", input: { image: "..." }, webhook: "https://example.com/your-webhook", webhook_events_filter: ["completed"] });  Bạn cũng có thể xem lại   để biết thêm thông tin. tài liệu thư viện Sao chép Node.js  Tiến xa hơn - Tìm các mô hình phân tích hình ảnh khác với Replicate Codex    là một nguồn tài nguyên tuyệt vời để khám phá các mô hình AI phục vụ cho các nhu cầu sáng tạo khác nhau, bao gồm tạo hình ảnh, chuyển đổi hình ảnh thành hình ảnh, v.v. Đó là cơ sở dữ liệu được gắn thẻ, có thể lọc, có thể tìm kiếm đầy đủ của tất cả các mô hình trên Bản sao, đồng thời cho phép bạn so sánh các mô hình và sắp xếp theo giá hoặc khám phá bởi người tạo. Nó miễn phí và nó cũng có một email thông báo sẽ thông báo cho bạn khi các mẫu mới ra mắt để bạn có thể dùng thử. Replicate Codex  Nếu bạn muốn tìm các mô hình tương tự như BLIP-2, hãy làm theo các bước sau:  Bước 1: Truy cập Replicate Codex  Truy cập   để bắt đầu tìm kiếm các mô hình tương tự. Replicate Codex  Bước 2: Sử dụng Thanh tìm kiếm  Sử dụng thanh tìm kiếm ở đầu trang để tìm kiếm các mô hình có từ khóa cụ thể, chẳng hạn như "phân tích hình ảnh", "chú thích hình ảnh" hoặc "trả lời câu hỏi". Điều này sẽ hiển thị cho bạn một danh sách các mô hình liên quan đến truy vấn tìm kiếm của bạn.  Bước 3: Lọc kết quả  Ở phía bên trái của trang kết quả tìm kiếm, bạn sẽ tìm thấy một số bộ lọc có thể giúp bạn thu hẹp danh sách các kiểu máy. Bạn có thể lọc và sắp xếp các mô hình theo loại (Hình ảnh thành hình ảnh, Văn bản thành hình ảnh, v.v.), chi phí, mức độ phổ biến hoặc thậm chí là người tạo cụ thể.   Bằng cách áp dụng các bộ lọc và sắp xếp này, bạn có thể tìm thấy các mô hình phù hợp nhất với nhu cầu và sở thích cụ thể của mình. Ví dụ: nếu bạn đang tìm kiếm một mô hình phân tích hình ảnh phổ biến nhất tiếp theo, thì bạn chỉ cần tìm kiếm rồi sắp xếp theo mức độ phổ biến, như minh họa trong ví dụ trên. Tôi đã chọn tìm kiếm theo "chú thích" trong trường hợp này.  Bước 4: Khám phá và so sánh các mô hình  Sau khi có danh sách các kiểu máy phù hợp với tiêu chí tìm kiếm và bộ lọc của mình, bạn có thể nhấp vào từng kiểu máy để xem thêm chi tiết về chúng. Điều này bao gồm mô tả về mô hình, đầu vào và đầu ra của mô hình, mã ví dụ, v.v.   Bạn cũng có thể so sánh hiệu suất, giá cả và các tính năng của các mẫu để tìm ra mẫu phù hợp nhất với nhu cầu của mình. Một số kiểu máy có thể có đầu ra có độ phân giải cao hơn, trong khi những kiểu máy khác có thể tập trung nhiều hơn vào việc duy trì chi tiết hoặc cải thiện độ chính xác của màu sắc. Bằng cách   , bạn có thể chọn mô hình phù hợp với yêu cầu và mong đợi của mình. so sánh các mô hình khác nhau  Phần kết luận  Trong hướng dẫn thân thiện với người mới bắt đầu này, chúng tôi đã giới thiệu mô hình BLIP-2, các khả năng của nó và xem cách sử dụng nó để phân tích và chú thích hình ảnh. Chúng tôi cũng đã thảo luận về cách sử dụng các tính năng tìm kiếm và lọc trong Replicate Codex để tìm các mô hình tương tự và so sánh kết quả đầu ra của chúng, cho phép chúng tôi mở rộng tầm nhìn của mình trong thế giới phân tích và chú thích hình ảnh do AI cung cấp.  Tôi hy vọng hướng dẫn này đã truyền cảm hứng cho bạn khám phá khả năng sáng tạo của AI và biến trí tưởng tượng của bạn thành hiện thực. Đừng quên đăng ký để có thêm hướng dẫn, cập nhật về các mô hình AI mới và cải tiến cũng như nguồn cảm hứng dồi dào cho dự án sáng tạo tiếp theo của bạn.  Chú thích vui vẻ, và cảm ơn bạn đã đọc. Tôi hy vọng bạn thích khám phá thế giới AI với BLIP-2 và Replicate Codex!   Đăng ký hoặc theo dõi tôi trên   để biết thêm nội dung như thế này! Twitter  Cũng được xuất bản   . ở đây

This story contains new, firsthand information uncovered by the writer.

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Tell me why my site sucks so I can make it better. Be mean.

Read My Stories

Nghe bài viết này bằng Tiếng Anh, đọc bởi robot thông minh của HackerNoon

dài quá đọc không nổi

Get Free Unlimited IP Geo Data With IPinfo Lite

Giới thiệu BLIP-2: Mô hình AI mạnh mẽ có thể tự động tạo phụ đề cho bất kỳ hình ảnh nào bạn tạo

About Author

BÌNH LUẬN

chuyên mục

BÀI VIẾT NÀY CŨNG CÓ MẶT TẠI

Related Stories

240 Stories To Learn About Astounding Stories

61 Stories To Learn About Polotical Philosophy

179 Stories To Learn About Reading

72 Stories To Learn About The Essays Of Adam Smith

240 Stories To Learn About Astounding Stories

61 Stories To Learn About Polotical Philosophy

179 Stories To Learn About Reading

72 Stories To Learn About The Essays Of Adam Smith

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps