Como usar o DeepAR para efeitos AR em transmissões ao vivo do Amazon IVS

Estamos na era das comunicações por vídeo amplamente difundidas em nossa vida diária pessoal e profissional.

Agora que as pessoas estão mais acostumadas a usar a tecnologia de vídeo, o AR representa a funcionalidade e o fator divertido do meio.

Desde a facilitação de maquiagem realista e efeitos de beleza até testes de acessórios virtuais e substituições de fundo em tempo real, o poderoso SDK multiplataforma da DeepAR está sendo usado por quase 8.000 desenvolvedores em todo o mundo para aplicativos móveis e baseados na web.

A tecnologia AR proprietária da startup permite que empresas de todos os tamanhos adicionem efeitos AR a qualquer aplicativo iOS, Android, macOS ou HTML5 com apenas algumas linhas de código, um processo de integração que leva horas, não dias. Depois de criados, os recursos AR podem ser reutilizados automaticamente para qualquer plataforma.

De acordo com a pesquisa da DeepAR, os usuários de AR no comércio eletrônico geralmente recebem um aumento de taxa de cliques de 15 a 25% nas páginas do produto; aumento de até 120% no tempo de permanência do cliente; clientes mais engajados que têm duas vezes mais chances de fazer compras; e dobrar a taxa de conversão.

Os detalhes a seguir mostram como o DeepAR Android SDK pode ser integrado ao Amazon IVS para transmissões ao vivo aprimoradas por AR.

Requisitos

Primeiro, vamos precisar configurar algumas coisas.

1. Crie uma conta de desenvolvedor DeepAR .

2. Configurar conta da AWS .

3. Configurar permissões IAM .

4. Crie um canal .

Depois de criar um canal, você precisará usar estes:

a.Servidor de ingestão

b. Chave de transmissão

Etapas de Integração

Mostraremos a integração do Amazon IVS <> DeepAR com um aplicativo Android simples que mostra uma visualização da câmera e permite adicionar máscaras e filtros AR divertidos. Para acompanhar este tutorial, clone este repositório do GitHub .

Fontes de entrada de imagem personalizadas permitem que um aplicativo forneça sua própria entrada de imagem para o SDK de transmissão do Amazon IVS, em vez de se limitar às câmeras predefinidas ou compartilhamento de tela.

Uma fonte de imagem personalizada pode ser tão simples quanto uma marca d'água semitransparente ou uma cena estática "já volto", ou pode permitir que o aplicativo faça processamento personalizado adicional, como adicionar filtros de beleza à câmera.

Você pode ter várias fontes de imagem personalizadas, como uma marca d'água e uma câmera com filtros de beleza.

Quando você usa uma fonte de entrada de imagem personalizada para controle personalizado da câmera (como usar bibliotecas de filtros de beleza que exigem acesso à câmera), o Amazon IVS broadcast SDK não é mais responsável pelo gerenciamento da câmera.

Em vez disso, o aplicativo é responsável por lidar corretamente com o ciclo de vida da câmera. Você encontrará mais detalhes sobre fontes de imagens personalizadas do SDK de transmissão do Amazon IVS aqui .

Primeiro, baixe o DeepAR Android SDK .

Copie o deepar.aar localizado na pasta lib do zip baixado para o diretório <repo>/deepar.

Agora abra o repositório como projeto do Android Studio. Após o carregamento do projeto, pode haver alguns erros vermelhos. Se isso acontecer, execute o Gradle Sync para corrigir os erros.

Agora é hora de emparelhar seu aplicativo com a conta DeepAR por meio da chave de licença. Para gerar a chave de licença, você precisa criar um projeto no site do desenvolvedor DeepAR. Para testar, crie um projeto com um plano gratuito. Dê um nome ao seu projeto e clique em adicionar aplicativo Android. Copie o ID do aplicativo do build.grade do aplicativo.

Agora copie a chave gerada e cole-a no MainActivity.java

Copie o servidor de ingestão e a chave de transmissão do console do Amazon IVS e cole-os em MainActivity.java.

Neste aplicativo de exemplo, estamos usando a API CameraX do Android para obter os quadros da câmera. Nós o configuramos com uma resolução de imagem de 1280x720.

Você pode procurar essa parte no método bindImageAnalisys().

O pipeline com DeepAR e Amazon IVS broadcast SDK inclui:

1. CameraX envia quadros de câmera na classe ARSurfaceProvider.

2. Alimente esses quadros no DeepAR.

3. O DeepAR renderiza uma visualização na superfície fornecida pelo Amazon IVS broadcast SDK.

Aqui é onde o DeepAR SDK e Amazon IVS broadcast SDK se juntam.

Decompondo:

● Crie uma BroadcastSession com o dispositivo padrão MICROPHONE para que o Amazon IVS broadcast SDK lide com a parte do som.

● Crie uma fonte de imagem de entrada personalizada a partir da sessão de transmissão. Defina seu tamanho igual ao da câmera (neste caso, 720p) e defina a rotação como zero.

● Vincule a sessão de transmissão ao slot.

● Defina o DeepAR para renderizar na superfície de origem da imagem personalizada.

● Obtenha a visualização de visualização da sessão de transmissão e adicione-a à hierarquia de visualização para mostrar a visualização na tela.

● Inicie a sessão de transmissão com servidor de ingestão e chave de transmissão. Isso iniciará o streaming de quadros que o DeepAR renderiza na superfície fornecida pela sessão de transmissão.

Tempo de teste

Agora execute o aplicativo no dispositivo. Você deve ver uma visualização da câmera. Com os botões esquerdo e direito, você pode alterar as máscaras e filtros AR.

Abra o canal que você criou no console do Amazon IVS e abra a guia de transmissão ao vivo, então você deve transmitir o vídeo aumentado com efeitos AR.