如何在 Amazon IVS 直播流上使用 DeepAR 实现 AR 效果

我们正处于日常个人和职业生活中广泛使用视频通信的时代。

现在人们更习惯于使用视频技术，AR 代表了媒体的功能和乐趣因素。

从促进逼真的化妆和美容效果到虚拟配件试戴和实时背景替换，DeepAR 强大的多平台 SDK 正被全球近 8,000 名开发人员用于基于 Web 和移动应用程序。

这家初创公司的专有 AR 技术使各种规模的公司只需几行代码即可将 AR 效果添加到任何 iOS、Android、macOS 或 HTML5 应用程序，集成过程需要数小时而不是数天。创建后，AR 资产可以自动用于任何平台。

根据 DeepAR 的研究，电子商务中的 AR 用户通常会在产品页面上获得 15-25% 的点击率提升；客户停留时间增加多达 120%；参与度更高的客户，购买的可能性是其两倍；并且翻倍的转化率。

下面详细介绍了如何将 DeepAR Android SDK 与 Amazon IVS 集成以实现 AR 增强的实时流。

要求

首先，我们需要设置一些东西。

1. 创建DeepAR 开发者账号。

2. 设置AWS 账户。

3. 设置IAM 权限。

4.创建频道。

创建频道后，您将需要使用这些：

a.摄取服务器

b.流键

集成步骤

我们将展示 Amazon IVS <> DeepAR 与一个简单的 Android 应用程序的集成，该应用程序显示相机预览并允许您添加有趣的 AR 蒙版和过滤器。要遵循本教程，请克隆此GitHub 存储库。

自定义图像输入源允许应用程序向 Amazon IVS 广播 SDK 提供自己的图像输入，而不是局限于预设的摄像头或屏幕共享。

自定义图像源可以像半透明水印或静态“马上回来”场景一样简单，也可以允许应用程序进行额外的自定义处理，例如向相机添加美颜滤镜。

您可以拥有多个自定义图像源，例如水印和带有美颜滤镜的相机。

当您使用自定义图像输入源对相机进行自定义控制时（例如使用需要相机访问权限的美颜滤镜库），Amazon IVS 广播 SDK 不再负责管理相机。

相反，应用程序负责正确处理相机的生命周期。您将在此处找到有关 Amazon IVS 广播 SDK 自定义图像源的更多详细信息。

首先，下载DeepAR Android SDK 。

将位于 lib 文件夹中的 deepar.aar 从下载的 zip 复制到 <repo>/deepar 目录中。

现在将 repo 作为 Android Studio 项目打开。项目加载后，可能会出现一些红色错误。如果发生这种情况，请运行 Gradle Sync 来修复错误。

现在是时候通过许可证密钥将您的应用与 DeepAR 帐户配对了。要生成许可证密钥，您需要在 DeepAR 开发者网站上创建一个项目。要进行测试，请使用免费计划创建一个项目。为您的项目命名，然后单击添加 Android 应用程序。从应用的 build.grade 复制应用 ID。

现在复制生成的密钥并将其粘贴到 MainActivity.java

从 Amazon IVS 控制台复制摄取服务器和流密钥，并将它们粘贴到 MainActivity.java。

在这个示例应用程序中，我们使用 Android 的 CameraX API 从相机中获取帧。我们已将其设置为 1280x720 图像分辨率。

您可以在 bindImageAnalisys() 方法中查找这部分。

带有 DeepAR 和 Amazon IVS 广播 SDK 的管道包括：

1. CameraX 在 ARSurfaceProvider 类中发送相机帧。

2. 将这些帧输入 DeepAR。

3. DeepAR 在 Amazon IVS 广播 SDK 提供的表面上呈现预览。

这里是 DeepAR SDK 和 Amazon IVS 广播 SDK 的结合点。

分解它：

● 使用默认设备MICROPHONE 创建BroadcastSession，以便Amazon IVS 广播SDK 处理声音部分。

● 从广播会话创建自定义输入图像源。将其大小设置为与相机相同（在本例中为 720p），并将旋转设置为零。

● 将广播会话绑定到槽位。

● 设置 DeepAR 以渲染到自定义图像源表面。

● 从广播会话中获取预览视图并将其添加到视图层次结构中以在屏幕上显示预览。

● 使用摄取服务器和流密钥启动广播会话。这将开始流式传输 DeepAR 渲染到广播会话提供的表面的帧。

测试时间

现在在设备上运行应用程序。您应该会看到相机预览。使用左右按钮，您可以更改 AR 蒙版和滤镜。

打开您在 Amazon IVS 控制台中创建的频道并打开实时流选项卡，然后您应该正在流式传输增强了 AR 效果的视频。