4,730 lượt đọc

Biến quái vật do AI tạo ra thành con người với CodeFormer

từ tác giả Mike Young5m2023/04/12

dài quá đọc không nổi

CodeFormer là một thuật toán khôi phục khuôn mặt mạnh mẽ được thiết kế để hoạt động với cả ảnh cũ và khuôn mặt do AI tạo ra. Đó là mô hình Image-to-Image có giá 0,0055 USD mỗi lần chạy, với thời gian chạy trung bình là 10 giây trên phần cứng GPU Nvidia T4. Công nghệ cơ bản của CodeFormer dựa trên mạng dự đoán dựa trên Transformer.

featured image - Biến quái vật do AI tạo ra thành con người với CodeFormer

Hành trình thực hành qua thế giới phục hồi hình ảnh AI

Đôi khi, những bức ảnh do AI tạo ra hơi... lung linh. Có thể chúng có chất lượng thấp hoặc có thể có những tạo tác kỳ lạ khiến hình ảnh trông kém hoàn hảo. Nhưng đừng sợ! CodeFormer ở đây để tiết kiệm thời gian, giúp bạn sửa những hình ảnh đó ngay lập tức. Trong hướng dẫn này, tôi sẽ giới thiệu với bạn về mô hình CodeFormer, chỉ cho bạn cách thức hoạt động của nó và giải thích cách sử dụng nó để sửa một bức ảnh do AI tạo ra bị cong vênh một chút. Tôi sẽ hướng dẫn bạn các bước chính xác mà tôi đã sử dụng để xóa hình ảnh kỳ lạ mà tôi nhận được từ một mô hình AI khác, được hiển thị bên dưới:

Hình ảnh này đến từ khuếch tán phức tạp model mà tôi đang sử dụng cho một bài đăng trên blog khác. Tôi sẽ chỉ cho bạn cách bạn có thể sử dụng quy trình làm việc tương tự mà tôi đã làm theo để làm sạch các hình ảnh do chính bạn tạo ra và thậm chí nâng cấp chúng để trông đẹp hơn. Tôi sẽ thực hiện hướng dẫn này bằng cách sử dụng Replicate python SDK, nhưng cũng có nhiều ngôn ngữ khác được hỗ trợ trên Sao chép .

Trong hướng dẫn này, tôi cũng sẽ chỉ cho bạn cách chúng ta có thể sử dụng Sao chép Codex để tìm các mô hình tương tự và quyết định chúng tôi thích cái nào. Replicate Codex là một công cụ cộng đồng miễn phí cho phép bạn tìm kiếm, lọc, sắp xếp và so sánh các mô hình AI và tìm ra mô hình phù hợp cho dự án AI của bạn.

CodeFormer được xếp hạng thứ 6 trên Replicate Codex. Nó siêu phổ biến, với hơn 8 triệu lượt chạy. Vì vậy, thật an toàn khi nói rằng cộng đồng thực sự thích công cụ này - và điều đó có nghĩa là bạn cũng có thể muốn sử dụng nó!

Giới thiệu về CodeFormer

CodeFormer, được tạo bởi sczhou , là thuật toán khôi phục khuôn mặt mạnh mẽ được thiết kế để hoạt động với cả ảnh cũ và khuôn mặt do AI tạo. Đó là mô hình Image-to-Image có giá 0,0055 USD mỗi lần chạy, với thời gian chạy trung bình là 10 giây trên phần cứng GPU Nvidia T4.

Công nghệ cơ bản của CodeFormer dựa trên mạng dự đoán dựa trên Transformer, mô hình hóa thành phần và bối cảnh toàn cầu để dự đoán mã. Điều này cho phép mô hình khám phá các khuôn mặt tự nhiên gần giống với các khuôn mặt mục tiêu, ngay cả khi đầu vào bị xuống cấp nghiêm trọng. Một mô-đun chuyển đổi tính năng có thể kiểm soát cũng được bao gồm, cho phép đánh đổi linh hoạt giữa độ trung thực và chất lượng. Bạn có thể đọc thêm về cách hoạt động của CodeFormer trên Github .

Hiểu Đầu vào và Đầu ra của CodeFormer

Trước khi bắt đầu thực hiện dự án này, chúng ta hãy dành một chút thời gian để hiểu đầu vào và đầu ra mà mô hình mong đợi.

đầu vào

image (file): Hình ảnh đầu vào mà bạn muốn sửa chữa.
codeformer_fidelity (số): Sự cân bằng giữa chất lượng (số thấp hơn) và độ trung thực (số cao hơn). Giá trị mặc định: 0,5.
background_enhance (boolean): Có nâng cao hình nền bằng Real-ESRGAN hay không. Giá trị mặc định: sai.
face_upsample (boolean): Có lấy mẫu khuôn mặt đã khôi phục cho hình ảnh do AI tạo có độ phân giải cao hay không. Giá trị mặc định: sai.
upscale (số nguyên): Tỷ lệ upsampling cuối cùng của hình ảnh. Giá trị mặc định: 2.

đầu ra

Đầu ra của mô hình là một chuỗi URI đại diện cho hình ảnh cố định. Đó là một đối tượng JSON và trông giống như định dạng bên dưới:

 { "type": "string", "title": "Output", "format": "uri" }

Bây giờ chúng ta đã hiểu đầu vào và đầu ra, hãy đi sâu vào sử dụng CodeFormer để sửa ảnh bị biến dạng do AI tạo ra.

Hướng dẫn từng bước để sử dụng CodeFormer

Nếu bạn không thích mã hóa, bạn có thể tương tác trực tiếp với "bản trình diễn" của CodeFormer trên Bản sao thông qua giao diện người dùng của họ. Bạn có thể sử dụng liên kết này để tương tác trực tiếp với giao diện và dùng thử! Đây là một cách hay để chơi với các tham số của mô hình và nhận được một số phản hồi và xác nhận nhanh chóng.

Nếu bạn là người kỹ tính hơn và đang tìm cách xây dựng một công cụ tuyệt vời trên CodeFormer, thì bạn có thể làm theo các bước đơn giản sau để khôi phục và nâng cao hình ảnh của mình bằng cách sử dụng mô hình trên Replicate.

Đảm bảo rằng bạn có tài khoản Sao chép và khóa API của mình!

Bước 1: Cài đặt ứng dụng khách Python

Điều này là khá dễ dàng để làm:

 pip install replicate

Bước 2: Thiết lập mã thông báo API của bạn

Bạn có thể lấy thông tin này từ Sao chép trong tab tài khoản của mình.

 export REPLICATE_API_TOKEN=[token]

Bước 3: Chạy mô hình

Bạn chỉ cần một vài dòng mã để thực hiện việc này với Replicate python SDK.

 import replicate output = replicate.run( "sczhou/codeformer:7de2ea26c616d5bf2245ad0d5e24f0ff9a6204578a5c876db53142edd9d2cd56", input={"image": open("path/to/file", "rb")} ) print(output)

Trong bước này, chúng tôi nhập thư viện replicate và gọi run để thực thi mô hình CodeFormer với hình ảnh đầu vào được cung cấp. Đầu ra sẽ được in dưới dạng chuỗi URI đại diện cho hình ảnh cố định.

Đây là hình ảnh đầu ra mà tôi nhận được từ quá trình này, được hiển thị dựa trên thông tin đầu vào ghê tởm mà tôi đã bắt đầu. Thật là một cải tiến!

Tiến xa hơn - Tìm các mô hình phục hồi hình ảnh khác với Replicate Codex

Replicate Codex là một nguồn tài nguyên tuyệt vời để khám phá các mô hình AI đáp ứng các nhu cầu sáng tạo khác nhau, bao gồm tạo hình ảnh, chuyển đổi hình ảnh thành hình ảnh, v.v. Đó là cơ sở dữ liệu được gắn thẻ, có thể lọc, có thể tìm kiếm đầy đủ của tất cả các mô hình trên Bản sao, đồng thời cho phép bạn so sánh các mô hình và sắp xếp theo giá hoặc khám phá bởi người tạo. Nó miễn phí và nó cũng có một email thông báo sẽ thông báo cho bạn khi các mẫu mới ra mắt để bạn có thể dùng thử.

Nếu bạn muốn tìm các mô hình tương tự như CodeFormer...

Bước 1: Truy cập Replicate Codex

Đi đến Sao chép Codex để bắt đầu tìm kiếm các mô hình tương tự.

Bước 2: Sử dụng Thanh tìm kiếm

Sử dụng thanh tìm kiếm ở đầu trang để tìm kiếm các kiểu máy có từ khóa cụ thể, chẳng hạn như "phục hồi hình ảnh", "nâng cao khuôn mặt" hoặc "siêu phân giải". Điều này sẽ hiển thị cho bạn một danh sách các mô hình liên quan đến truy vấn tìm kiếm của bạn.

Bước 3: Lọc kết quả

Ở phía bên phải của trang kết quả tìm kiếm, bạn sẽ tìm thấy một số bộ lọc có thể giúp bạn thu hẹp danh sách các kiểu máy. Bạn có thể lọc và sắp xếp theo mô hình theo loại (Hình ảnh thành hình ảnh, Văn bản thành hình ảnh, v.v.), chi phí, mức độ phổ biến hoặc thậm chí là người tạo cụ thể.

Bằng cách áp dụng các bộ lọc này, bạn có thể tìm thấy các mô hình phù hợp nhất với nhu cầu và sở thích cụ thể của mình. Ví dụ: nếu bạn đang tìm kiếm một mô hình khôi phục hình ảnh phổ biến nhất, bạn chỉ cần tìm kiếm rồi sắp xếp theo số lần chạy. Trong trường hợp đó, bạn sẽ tìm thấy mô hình GFPGAN mà tôi cũng đã sử dụng để khôi phục ảnh cũ - xem bài viết của tôi ở đây để biết thêm thông tin. Tôi đã bao gồm một ví dụ khôi phục từ GFPGAN bên dưới để bạn có thể hiểu được cách nó xử lý hình ảnh.

Phần kết luận

Trong hướng dẫn này, chúng tôi đã khám phá mô hình CodeFormer, tìm hiểu về đầu vào và đầu ra của nó, đồng thời trình bày cách sử dụng mô hình này để sửa ảnh bị cong vênh do AI tạo ra. Chúng tôi cũng đã thảo luận về cách tận dụng các tính năng tìm kiếm và lọc trong Replicate Codex để tìm các mô hình tương tự và so sánh kết quả đầu ra của chúng, cho phép chúng tôi mở rộng tầm nhìn của mình trong thế giới cải thiện và phục hồi hình ảnh do AI cung cấp.

Tôi hy vọng hướng dẫn này đã truyền cảm hứng cho bạn khám phá khả năng sáng tạo của AI và biến trí tưởng tượng của bạn thành hiện thực. Cảm ơn vì đã đọc. Chúc bạn nâng cao hình ảnh và khám phá thế giới AI với Replicate Codex!

Cũng được xuất bản ở đây