1,021,690 lượt đọc

Cách sử dụng DeepAR cho Hiệu ứng AR trên Luồng trực tiếp Amazon IVS

từ tác giả Amazon Interactive Video Service (IVS) 2022/05/27

dài quá đọc không nổi

Chúng ta đang ở trong kỷ nguyên truyền thông video phổ biến trong cuộc sống cá nhân và nghề nghiệp hàng ngày của chúng ta. Giờ đây, mọi người đã quen với việc sử dụng công nghệ video hơn, AR có nghĩa là phản ánh cả chức năng và yếu tố thú vị của phương tiện. Từ việc tạo điều kiện cho các hiệu ứng làm đẹp và trang điểm thực tế đến các lần dùng thử phụ kiện ảo và thay thế nền theo thời gian thực, SDK đa nền mạnh mẽ từ DeepAR đang được gần 8.000 nhà phát triển trên toàn thế giới sử dụng cho các ứng dụng di động và dựa trên web. Công nghệ AR độc quyền của công ty khởi nghiệp cho phép các công ty ở mọi quy mô thêm hiệu ứng AR vào bất kỳ ứng dụng iOS, Android, macOS hoặc HTML5 nào chỉ với một vài dòng mã, quá trình tích hợp mất hàng giờ chứ không phải vài ngày. Sau khi được tạo, nội dung AR có thể được sử dụng lại tự động cho bất kỳ nền tảng nào.

Company Mentioned

Coin Mentioned

featured image - Cách sử dụng DeepAR cho Hiệu ứng AR trên Luồng trực tiếp Amazon IVS

Chúng ta đang ở trong kỷ nguyên truyền thông video phổ biến trong cuộc sống cá nhân và nghề nghiệp hàng ngày của chúng ta.

Giờ đây, mọi người đã quen với việc sử dụng công nghệ video hơn, AR có nghĩa là phản ánh cả chức năng và yếu tố thú vị của phương tiện.

Từ việc tạo điều kiện cho các hiệu ứng làm đẹp và trang điểm thực tế đến các lần dùng thử phụ kiện ảo và thay thế nền theo thời gian thực, SDK đa nền mạnh mẽ từ DeepAR đang được gần 8.000 nhà phát triển trên toàn thế giới sử dụng cho các ứng dụng di động và dựa trên web.

Công nghệ AR độc quyền của startup cho phép các công ty ở mọi quy mô thêm hiệu ứng AR vào bất kỳ ứng dụng iOS, Android, macOS hoặc HTML5 nào chỉ với một vài dòng mã, quá trình tích hợp mất hàng giờ chứ không phải vài ngày. Sau khi được tạo, nội dung AR có thể được sử dụng lại tự động cho bất kỳ nền tảng nào.

Theo nghiên cứu của DeepAR, người dùng AR trong thương mại điện tử thường nhận được tỷ lệ nhấp từ 15-25% trên các trang sản phẩm; tăng đến 120% thời gian ở của khách hàng; nhiều khách hàng tương tác hơn có khả năng mua hàng cao gấp đôi; và tăng gấp đôi tỷ lệ chuyển đổi.

Sau đây là chi tiết về cách DeepAR Android SDK có thể được tích hợp với Amazon IVS cho các luồng trực tiếp nâng cao AR.

Yêu cầu

Đầu tiên, chúng ta sẽ cần thiết lập một số thứ.

1. Tạo tài khoản nhà phát triển DeepAR .

2. Thiết lập Tài khoản AWS .

3. Thiết lập Quyền IAM .

4. Tạo kênh .

Khi bạn đã tạo kênh, bạn sẽ cần sử dụng những thứ sau:

Máy chủ tốt nhất

b. Phím dòng

Các bước tích hợp

Chúng tôi sẽ giới thiệu tích hợp Amazon IVS <> DeepAR với một ứng dụng Android đơn giản hiển thị bản xem trước máy ảnh và cho phép bạn thêm mặt nạ và bộ lọc AR thú vị. Để làm theo hướng dẫn này, hãy sao chép repo GitHub này.

Các nguồn đầu vào hình ảnh tùy chỉnh cho phép ứng dụng cung cấp đầu vào hình ảnh của riêng mình cho SDK quảng bá Amazon IVS, thay vì bị giới hạn ở các máy ảnh đặt trước hoặc chia sẻ màn hình.

Nguồn hình ảnh tùy chỉnh có thể đơn giản như hình mờ bán trong suốt hoặc cảnh tĩnh "quay lại ngay" hoặc nó có thể cho phép ứng dụng thực hiện xử lý tùy chỉnh bổ sung như thêm bộ lọc làm đẹp vào máy ảnh.

Bạn có thể có nhiều nguồn hình ảnh tùy chỉnh, chẳng hạn như hình mờ cộng với máy ảnh có bộ lọc làm đẹp.

Khi bạn sử dụng nguồn đầu vào hình ảnh tùy chỉnh để điều khiển tùy chỉnh máy ảnh (chẳng hạn như sử dụng thư viện bộ lọc làm đẹp yêu cầu quyền truy cập máy ảnh), SDK quảng bá Amazon IVS không còn chịu trách nhiệm quản lý máy ảnh.

Thay vào đó, ứng dụng chịu trách nhiệm xử lý vòng đời của camera một cách chính xác. Bạn sẽ tìm thấy thêm chi tiết về các nguồn hình ảnh tùy chỉnh SDK quảng bá Amazon IVS tại đây .

Trước tiên, hãy tải xuống DeepAR Android SDK .

Sao chép deepar.aar nằm trong thư mục lib từ zip đã tải xuống vào thư mục <repo> / deepar.

Bây giờ hãy mở repo dưới dạng dự án Android Studio. Sau khi tải dự án, có thể có một số lỗi màu đỏ. Nếu điều này xảy ra, hãy chạy Gradle Sync để sửa lỗi.

Bây giờ đã đến lúc ghép nối ứng dụng của bạn với tài khoản DeepAR thông qua khóa cấp phép. Để tạo khóa cấp phép, bạn cần tạo một dự án trên trang web dành cho nhà phát triển DeepAR. Để thử nghiệm, hãy tạo một dự án với một kế hoạch miễn phí. Đặt tên cho dự án của bạn và sau đó nhấp vào thêm ứng dụng Android. Sao chép ID ứng dụng từ build.grade của ứng dụng.

Bây giờ sao chép khóa đã tạo và dán nó vào MainActivity.java

Sao chép máy chủ nhập và khóa luồng từ bảng điều khiển Amazon IVS và dán chúng vào MainActivity.java.

Trong ứng dụng ví dụ này, chúng tôi đang sử dụng API CameraX của Android để lấy khung hình từ máy ảnh. Chúng tôi đã thiết lập nó với độ phân giải hình ảnh 1280x720.

Bạn có thể tra cứu phần này trong phương thức bindImageAnalisys ().

Quy trình với SDK quảng bá DeepAR và Amazon IVS bao gồm:

1. CameraX gửi các khung hình camera trong lớp ARSurfaceProvider.

2. Nạp các khung đó vào DeepAR.

3. DeepAR hiển thị bản xem trước trên bề mặt được cung cấp bởi Amazon IVS broadcast SDK.

Đây là nơi kết hợp của DeepAR SDK và Amazon IVS broadcast SDK.

Phá vỡ nó:

● Tạo BroadcastSession bằng thiết bị mặc định MICROPHONE để SDK quảng bá IVS của Amazon xử lý phần âm thanh.

● Tạo nguồn hình ảnh đầu vào tùy chỉnh từ phiên phát sóng. Đặt kích thước của nó giống như máy ảnh (trong trường hợp này là 720p) và đặt xoay thành 0.

● Liên kết phiên phát sóng với vị trí.

● Đặt DeepAR để hiển thị trên bề mặt nguồn ảnh tùy chỉnh.

● Nhận dạng xem trước từ phiên phát sóng và thêm nó vào hệ thống phân cấp dạng xem để hiển thị bản xem trước trên màn hình.

● Bắt đầu phiên phát bằng máy chủ nhập và khóa luồng. Thao tác này sẽ bắt đầu phát trực tuyến các khung hình mà DeepAR hiển thị trên bề mặt được cung cấp bởi phiên phát sóng.