Comment utiliser DeepAR pour les effets AR sur les flux en direct Amazon IVS

Nous sommes à l'ère des communications vidéo généralisées dans notre quotidien personnel et professionnel.

Maintenant que les gens sont plus habitués à utiliser la technologie vidéo, la réalité augmentée permet d'augmenter à la fois la fonctionnalité et le facteur amusant du support.

De la facilitation des effets de maquillage et de beauté réalistes aux essais d'accessoires virtuels et aux remplacements d'arrière-plan en temps réel, le puissant SDK multiplateforme de DeepAR est utilisé par près de 8 000 développeurs dans le monde pour des applications Web et mobiles.

La technologie AR propriétaire de la startup permet aux entreprises de toutes tailles d'ajouter des effets AR à n'importe quelle application iOS, Android, macOS ou HTML5 avec seulement quelques lignes de code, un processus d'intégration qui prend des heures, pas des jours. Une fois créés, les actifs AR peuvent être réutilisés automatiquement pour n'importe quelle plate-forme.

Selon les recherches de DeepAR, les utilisateurs de RA dans le commerce électronique reçoivent généralement une augmentation du taux de clics de 15 à 25 % sur les pages de produits ; jusqu'à 120 % d'augmentation du temps d'attente des clients ; des clients plus engagés qui sont deux fois plus susceptibles de faire des achats ; et doubler le taux de conversion.

Les détails suivants expliquent comment le SDK Android DeepAR peut être intégré à Amazon IVS pour les flux en direct améliorés par la réalité augmentée.

Conditions

Tout d'abord, nous allons devoir mettre en place quelques éléments.

1. Créez un compte de développeur DeepAR .

2. Configurez le compte AWS .

3. Configurer les autorisations IAM .

4. Créez un canal .

Une fois que vous avez créé un canal, vous allez devoir les utiliser :

a.Serveur d'ingestion

b. Clé de flux

Étapes d'intégration

Nous présenterons l'intégration Amazon IVS <> DeepAR avec une application Android simple qui affiche un aperçu de la caméra et vous permet d'ajouter des masques et des filtres AR amusants. Pour suivre ce didacticiel, clonez ce référentiel GitHub .

Les sources d'entrée d'image personnalisées permettent à une application de fournir sa propre entrée d'image au SDK de diffusion Amazon IVS, au lieu d'être limitée aux caméras prédéfinies ou au partage d'écran.

Une source d'image personnalisée peut être aussi simple qu'un filigrane semi-transparent ou une scène statique "revenez tout de suite", ou elle peut permettre à l'application d'effectuer un traitement personnalisé supplémentaire, comme l'ajout de filtres de beauté à l'appareil photo.

Vous pouvez avoir plusieurs sources d'images personnalisées, comme un filigrane et un appareil photo avec des filtres de beauté.

Lorsque vous utilisez une source d'entrée d'image personnalisée pour un contrôle personnalisé de la caméra (comme l'utilisation de bibliothèques de filtres de beauté qui nécessitent un accès à la caméra), le SDK de diffusion Amazon IVS n'est plus responsable de la gestion de la caméra.

Au lieu de cela, l'application est responsable de la gestion correcte du cycle de vie de la caméra. Vous trouverez plus de détails sur les sources d'images personnalisées du SDK de diffusion Amazon IVS ici .

Tout d'abord, téléchargez le SDK Android DeepAR .

Copiez le fichier deepar.aar situé dans le dossier lib à partir du zip téléchargé dans le répertoire <repo>/deepar.

Ouvrez maintenant le référentiel en tant que projet Android Studio. Une fois le projet chargé, il peut y avoir des erreurs rouges. Si cela se produit, exécutez Gradle Sync pour corriger les erreurs.

Il est maintenant temps de coupler votre application avec le compte DeepAR via la clé de licence. Pour générer la clé de licence, vous devez créer un projet sur le site des développeurs DeepAR. Pour tester, créez un projet avec un plan gratuit. Donnez un nom à votre projet, puis cliquez sur Ajouter une application Android. Copiez l'ID d'application à partir du build.grade de l'application.

Copiez maintenant la clé générée et collez-la dans MainActivity.java

Copiez le serveur d'ingestion et la clé de flux depuis la console Amazon IVS, puis collez-les dans MainActivity.java.

Dans cet exemple d'application, nous utilisons l'API CameraX d'Android pour obtenir les images de la caméra. Nous l'avons configuré avec une résolution d'image de 1280x720.

Vous pouvez rechercher cette partie dans la méthode bindImageAnalisys().

Le pipeline avec DeepAR et le SDK de diffusion Amazon IVS comprend :

1. CameraX envoie des trames de caméra dans la classe ARSurfaceProvider.

2. Insérez ces images dans DeepAR.

3. DeepAR affiche un aperçu sur la surface fournie par le SDK de diffusion Amazon IVS.

C'est ici que le SDK DeepAR et le SDK de diffusion Amazon IVS se rejoignent.

Décomposer :

● Créez une BroadcastSession avec l'appareil par défaut MICROPHONE afin que le SDK de diffusion Amazon IVS gère la partie sonore.

● Créez une source d'image d'entrée personnalisée à partir de la session de diffusion. Réglez sa taille de la même manière que la caméra (dans ce cas 720p) et réglez la rotation sur zéro.

● Lier la session de diffusion au slot.

● Définissez DeepAR pour effectuer le rendu sur la surface source de l'image personnalisée.

● Obtenir la vue d'aperçu de la session de diffusion et l'ajouter à la hiérarchie des vues pour afficher l'aperçu à l'écran.

● Démarrez la session de diffusion avec le serveur d'ingestion et la clé de flux. Cela commencera à diffuser les images que DeepAR rend à la surface fournie par la session de diffusion.

Temps de test

Exécutez maintenant l'application sur l'appareil. Vous devriez voir un aperçu de la caméra. Avec les boutons gauche et droit, vous pouvez modifier les masques et les filtres AR.

Ouvrez la chaîne que vous avez créée dans la console Amazon IVS et ouvrez l'onglet de diffusion en direct, puis vous devriez diffuser la vidéo augmentée d'effets AR.