Cómo usar DeepAR para efectos AR en transmisiones en vivo de Amazon IVS

Estamos en la era de las comunicaciones de video generalizadas en nuestra vida personal y profesional diaria.

Ahora que las personas están más acostumbradas a usar la tecnología de video, AR está en condiciones de marcar tanto la funcionalidad como el factor divertido del medio.

Desde facilitar maquillaje realista y efectos de belleza hasta pruebas de accesorios virtuales y reemplazos de fondo en tiempo real, casi 8000 desarrolladores de todo el mundo utilizan el poderoso SDK multiplataforma de DeepAR para aplicaciones móviles y basadas en la web.

La tecnología AR patentada de la startup permite a las empresas de todos los tamaños agregar efectos AR a cualquier aplicación iOS, Android, macOS o HTML5 con solo unas pocas líneas de código, un proceso de integración que lleva horas, no días. Una vez creados, los activos AR se pueden reutilizar automáticamente para cualquier plataforma.

Según la investigación de DeepAR, los usuarios de AR en el comercio electrónico generalmente reciben un aumento de la tasa de clics del 15-25% en las páginas de productos; hasta un 120 % más de tiempo de permanencia del cliente; clientes más comprometidos que tienen el doble de probabilidades de realizar compras; y duplicar la tasa de conversión.

A continuación, se detalla cómo DeepAR Android SDK se puede integrar con Amazon IVS para transmisiones en vivo mejoradas con AR.

Requisitos

Primero, vamos a necesitar configurar algunas cosas.

1. Cree una cuenta de desarrollador de DeepAR .

2. Configuración de la cuenta de AWS .

3. Configurar permisos de IAM .

4. Crea un canal .

Una vez que haya creado un canal, necesitará usar estos:

a. Servidor de ingesta

b. Clave de transmisión

Pasos de integración

Presentaremos la integración de Amazon IVS <> DeepAR con una sencilla aplicación de Android que muestra una vista previa de la cámara y le permite agregar divertidas máscaras y filtros AR. Para seguir este tutorial, clone este repositorio de GitHub .

Las fuentes de entrada de imágenes personalizadas permiten que una aplicación proporcione su propia entrada de imágenes al SDK de transmisión de Amazon IVS, en lugar de limitarse a las cámaras predeterminadas o la pantalla compartida.

Una fuente de imagen personalizada puede ser tan simple como una marca de agua semitransparente o una escena estática de "vuelvo enseguida", o puede permitir que la aplicación realice un procesamiento personalizado adicional, como agregar filtros de belleza a la cámara.

Puede tener varias fuentes de imágenes personalizadas, como una marca de agua y una cámara con filtros de belleza.

Cuando utiliza una fuente de entrada de imagen personalizada para el control personalizado de la cámara (como el uso de bibliotecas de filtros de belleza que requieren acceso a la cámara), el SDK de transmisión de Amazon IVS ya no es responsable de administrar la cámara.

En cambio, la aplicación es responsable de manejar correctamente el ciclo de vida de la cámara. Encontrará más detalles sobre las fuentes de imágenes personalizadas del SDK de transmisión de Amazon IVS aquí .

Primero, descarga el SDK de DeepAR para Android .

Copie el archivo deepar.aar ubicado en la carpeta lib del zip descargado en el directorio <repo>/deepar.

Ahora abra el repositorio como proyecto de Android Studio. Una vez que se carga el proyecto, puede haber algunos errores rojos. Si esto sucede, ejecute Gradle Sync para corregir los errores.

Ahora es el momento de vincular su aplicación con la cuenta de DeepAR a través de la clave de licencia. Para generar la clave de licencia, debe crear un proyecto en el sitio para desarrolladores de DeepAR. Para probar, cree un proyecto con un plan gratuito. Asigne un nombre a su proyecto y luego haga clic en Agregar aplicación de Android. Copie el ID de la aplicación de build.grade de la aplicación.

Ahora copie la clave generada y péguela en MainActivity.java

Copie el servidor de ingesta y la clave de transmisión de la consola de Amazon IVS y péguelos en MainActivity.java.

En esta aplicación de ejemplo, usamos la API CameraX de Android para obtener los fotogramas de la cámara. Lo hemos configurado con una resolución de imagen de 1280x720.

Puede buscar esta parte en el método bindImageAnalisys().

La canalización con DeepAR y el SDK de transmisión de Amazon IVS incluye:

1. CameraX envía fotogramas de cámara en la clase ARSurfaceProvider.

2. Introduzca esos fotogramas en DeepAR.

3. DeepAR muestra una vista previa en la superficie proporcionada por el SDK de transmisión de Amazon IVS.

Aquí es donde se unen DeepAR SDK y Amazon IVS broadcast SDK.

Desglosándolo:

● Cree una BroadcastSession con el dispositivo predeterminado MICROPHONE para que el SDK de transmisión de Amazon IVS maneje la parte del sonido.

● Cree una fuente de imagen de entrada personalizada a partir de la sesión de transmisión. Establece su tamaño igual que el de la cámara (en este caso, 720p) y establece la rotación en cero.

● Asociar la sesión de transmisión al espacio.

● Configure DeepAR para renderizar en la superficie de origen de la imagen personalizada.

● Obtenga la vista previa de la sesión de transmisión y agréguela a la jerarquía de vistas para mostrar la vista previa en la pantalla.

● Inicie la sesión de transmisión con el servidor de ingesta y la clave de transmisión. Esto comenzará a transmitir fotogramas que DeepAR representa en la superficie proporcionada por la sesión de transmisión.

Tiempo de prueba

Ahora ejecute la aplicación en el dispositivo. Debería ver una vista previa de la cámara. Con los botones izquierdo y derecho, puede cambiar las máscaras y filtros AR.

Abra el canal que creó en la consola de Amazon IVS y abra la pestaña de transmisión en vivo, luego debería estar transmitiendo el video aumentado con efectos AR.