Giới thiệu về Mask2Former và Universal Image Segmentation

Sử dụng AI để tìm ra những gì trong một hình ảnh với mask2former!

Có vô số khả năng khi nói đến phân đoạn hình ảnh và Mask2Former sẵn sàng giúp bạn mở khóa chúng. Trong hướng dẫn này, tôi sẽ hướng dẫn bạn cách sử dụng mô hình AI tuyệt vời này để phân đoạn hình ảnh phổ quát. Tôi sẽ chỉ cho bạn cách hiểu đầu vào và đầu ra của nó cũng như cách tương tác với nó bằng mã. Mô hình được xếp hạng cao trên Sao chép Codex và chúng ta cũng sẽ xem cách chúng ta có thể sử dụng nền tảng này để tìm các mô hình tương tự và quyết định xem chúng ta thích mô hình nào.

Hãy bắt đầu nào.

Giới thiệu về Mask2Cựu người mẫu

Mask2Former, được phát triển bởi Nghiên cứu Facebook , là một mô hình AI được thiết kế để phân đoạn hình ảnh phổ quát. Nó giúp bạn phân đoạn hình ảnh với độ chính xác cao và các ứng dụng của nó bao gồm từ phát hiện đối tượng đến chỉnh sửa hình ảnh.

Hiểu về Đầu vào và Đầu ra của Mô hình Mask2Former

Trước khi đi sâu vào sử dụng Mask2Former, hãy dành một chút thời gian để hiểu đầu vào và đầu ra của nó.

đầu vào

Mask2Former chỉ yêu cầu một đầu vào:

• tệp hình ảnh : Đây là hình ảnh đầu vào để phân đoạn. Đầu ra sẽ là sự kết hợp của phân đoạn Panoptic (trên cùng), phân đoạn thể hiện (giữa) và phân đoạn ngữ nghĩa (dưới cùng).

đầu ra

Lược đồ đầu ra của mô hình Mask2Former như sau:

 { "type": "array", "items": { "type": "object", "properties": { "file": { "type": "string", "format": "uri", "x-order": 0 }, "text": { "type": "string", "x-order": 1 } } }, "x-cog-array-type": "iterator" }

Bây giờ chúng ta đã hiểu rõ hơn về đầu vào và đầu ra, hãy chuyển sang sử dụng mô hình.

Hướng dẫn từng bước để sử dụng Mô hình Mask2Former

Tương tác với bản demo của mô hình trên Replicate

Nếu bạn không thích mã hóa, bạn có thể tương tác trực tiếp với "bản trình diễn" của mô hình trên Bản sao thông qua giao diện người dùng của họ. Đây là một cách hay để chơi với các tham số của mô hình và nhận được một số phản hồi và xác nhận nhanh chóng. Nếu bạn muốn sử dụng mã hóa, hướng dẫn này sẽ hướng dẫn bạn cách tương tác với API Bản sao của mô hình.

Bước 1: Cài đặt ứng dụng khách Node.js

Trước tiên, bạn sẽ cần cài đặt ứng dụng khách Node.js:

 npm install replicate

Bước 2: Xác thực bằng mã thông báo API của bạn

Tiếp theo, sao chép mã thông báo API của bạn và xác thực bằng cách đặt nó làm biến môi trường:

 export REPLICATE_API_TOKEN=[token]

Bước 3: Chạy mô hình

Bây giờ, bạn có thể chạy mô hình bằng đoạn mã sau:

 import Replicate from "replicate"; const replicate = new Replicate({ auth: process.env.REPLICATE_API_TOKEN, }); const output = await replicate.run( "facebookresearch/mask2former:97c0c2edeeb7c120c2859dca4fdee58d185131f79c857ba519e3a5cb7cdd7c66", { input: { image: "your_input_image_here" } } );

Bước 4: Thiết lập webhook (tùy chọn)

Bạn có thể chỉ định URL webhook sẽ được gọi khi dự đoán hoàn tất. Điều này có thể hữu ích nếu bạn muốn nhận các bản cập nhật không đồng bộ. Dưới đây là ví dụ về cách thiết lập webhook:

 const prediction = await replicate.predictions.create({ version: "97c0c2edeeb7c120c2859dca4fdee58d185131f79c857ba519e3a5cb7cdd7c66", input: { image: "your_input_image_here" }, webhook: "https://example.com/your-webhook", webhook_events_filter: ["completed"] });

Để biết thêm thông tin, hãy xem tài liệu webhook trên Bản sao.

Tiến xa hơn - Tìm các mô hình phân đoạn hình ảnh khác với Replicate Codex

Replicate Codex là một nguồn tài nguyên tuyệt vời để khám phá các mô hình AI phục vụ cho các nhu cầu sáng tạo khác nhau, bao gồm cả phân đoạn hình ảnh. Đó là cơ sở dữ liệu được gắn thẻ, có thể lọc, có thể tìm kiếm đầy đủ của tất cả các mô hình trên Bản sao, đồng thời cho phép bạn so sánh các mô hình và sắp xếp theo giá hoặc khám phá theo người tạo. Nó miễn phí và nó cũng có một email thông báo sẽ thông báo cho bạn khi các mẫu mới ra mắt để bạn có thể dùng thử.

Nếu bạn quan tâm đến việc tìm kiếm các mô hình tương tự như Mask2Former...

Bước 1: Truy cập Replicate Codex

Đi đến Sao chép Codex để bắt đầu tìm kiếm các mô hình tương tự.

Bước 2: Sử dụng Thanh tìm kiếm

Sử dụng thanh tìm kiếm ở đầu trang để tìm kiếm các mô hình có từ khóa cụ thể, chẳng hạn như "phân đoạn hình ảnh" hoặc "phát hiện đối tượng". Điều này sẽ hiển thị cho bạn một danh sách các mô hình liên quan đến truy vấn tìm kiếm của bạn.

Bước 3: Lọc kết quả

Ở phía bên trái của trang kết quả tìm kiếm, bạn sẽ tìm thấy một số bộ lọc có thể giúp bạn thu hẹp danh sách các kiểu máy. Bạn có thể lọc và sắp xếp theo mô hình theo loại (Hình ảnh thành hình ảnh, Văn bản thành hình ảnh, v.v.), chi phí, mức độ phổ biến hoặc thậm chí là người tạo cụ thể.

Bằng cách áp dụng các bộ lọc này, bạn có thể tìm thấy các mô hình phù hợp nhất với nhu cầu và sở thích cụ thể của mình. Ví dụ: nếu bạn đang tìm kiếm mô hình phân đoạn hình ảnh phổ biến nhất, bạn chỉ cần tìm kiếm rồi sắp xếp theo mức độ phổ biến.

Phần kết luận

Trong hướng dẫn này, chúng tôi đã khám phá sức mạnh của mô hình Mask2Former đối với phân đoạn hình ảnh phổ quát và cách tương tác với nó bằng mã. Chúng tôi cũng đã thảo luận về cách tận dụng các tính năng tìm kiếm và lọc trong Replicate Codex để tìm các mô hình tương tự và so sánh kết quả đầu ra của chúng, cho phép chúng tôi mở rộng tầm nhìn của mình trong thế giới phân đoạn hình ảnh do AI cung cấp.

Tôi hy vọng hướng dẫn này đã truyền cảm hứng cho bạn khám phá khả năng sáng tạo của AI và biến trí tưởng tượng của bạn thành hiện thực. Đừng quên đăng ký để có thêm hướng dẫn, cập nhật về các mô hình AI mới và cải tiến cũng như nguồn cảm hứng dồi dào cho dự án sáng tạo tiếp theo của bạn.

Bạn cũng có thể theo dõi tôi trên Twitter để biết thêm nội dung liên quan đến AI.

Cũng được xuất bản ở đây.