Amazon IVS ライブ ストリームでの AR 効果に DeepAR を使用する方法

私たちは、日常生活や仕事の中でビデオ コミュニケーションが広く普及している時代にいます。

人々がビデオ テクノロジーの使用に慣れてきた今、AR はメディアの機能性と楽しさの両方を高める立場にあります。

DeepAR の強力なマルチプラットフォーム SDK は、リアルなメイクや美容効果の促進から、仮想アクセサリーの試着やリアルタイムの背景の交換まで、世界中の約 8,000 人の開発者によって Web ベースおよびモバイル アプリケーションに使用されています。

スタートアップの独自の AR 技術により、あらゆる規模の企業が数行のコードで iOS、Android、macOS、または HTML5 アプリケーションに AR 効果を追加できます。統合プロセスは数日ではなく数時間かかります。作成された AR アセットは、任意のプラットフォームで自動的に再利用できます。

DeepAR の調査によると、e コマースの AR ユーザーは通常、製品ページで 15 ～ 25% のクリック率の増加を受け取ります。顧客の滞在時間が最大 120% 増加。購入する可能性が 2 倍になる、より熱心な顧客。コンバージョン率が 2 倍になります。

AR で強化されたライブ ストリーム用に DeepAR Android SDK を Amazon IVS と統合する方法を以下に詳しく説明します。

要件

まず、いくつかの設定を行う必要があります。

1. DeepAR 開発者アカウントを作成します。

2. AWS アカウントをセットアップします。

3. IAM 権限を設定します。

4.チャネルを作成します。

チャネルを作成したら、これらを使用する必要があります。

a. 取り込みサーバー

b.ストリームキー

統合手順

カメラのプレビューを表示し、楽しい AR マスクとフィルターを追加できるシンプルな Android アプリとの Amazon IVS <> DeepAR 統合を紹介します。このチュートリアルを進めるには、このGitHub リポジトリのクローンを作成します。

カスタム画像入力ソースを使用すると、アプリケーションは、事前設定されたカメラや画面共有に制限されるのではなく、Amazon IVS ブロードキャスト SDK に独自の画像入力を提供できます。

カスタム画像ソースは、半透明の透かしや静的な「すぐに戻る」シーンのように単純なものにすることも、カメラにビューティー フィルターを追加するなど、アプリが追加のカスタム処理を実行できるようにすることもできます。

透かしやビューティー フィルター付きのカメラなど、複数のカスタム イメージ ソースを使用できます。

カメラのカスタム制御にカスタム画像入力ソースを使用する場合 (カメラ アクセスを必要とするビューティー フィルター ライブラリの使用など)、Amazon IVS ブロードキャスト SDK はカメラの管理を担当しなくなります。

代わりに、アプリケーションはカメラのライフサイクルを正しく処理する責任があります。 Amazon IVS ブロードキャスト SDK カスタム イメージ ソースの詳細については、こちらをご覧ください。

まず、 DeepAR Android SDKをダウンロードします。

ダウンロードした zip から lib フォルダーにある deepar.aar を <repo>/deepar ディレクトリにコピーします。

リポジトリを Android Studio プロジェクトとして開きます。プロジェクトが読み込まれると、いくつかの赤いエラーが表示される場合があります。これが発生した場合は、Gradle Sync を実行してエラーを修正します。

次に、ライセンス キーを使用してアプリを DeepAR アカウントとペアリングします。ライセンス キーを生成するには、DeepAR 開発者サイトでプロジェクトを作成する必要があります。テスト用に、無料プランでプロジェクトを作成します。プロジェクトに名前を付けて、[Android アプリの追加] をクリックします。アプリの build.grade からアプリ ID をコピーします。

生成されたキーをコピーして、MainActivity.java に貼り付けます。

取り込みサーバーとストリーム キーを Amazon IVS コンソールからコピーし、MainActivity.java に貼り付けます。

このサンプル アプリでは、Android の CameraX API を使用してカメラからフレームを取得しています。 1280x720 の画像解像度で設定しました。

bindImageAnalisys() メソッドでこの部分を調べることができます。

DeepAR と Amazon IVS ブロードキャスト SDK を使用したパイプラインには、以下が含まれます。

1. CameraX は ARSurfaceProvider クラスでカメラ フレームを送信します。

2. それらのフレームを DeepAR にフィードします。

3. DeepAR は、Amazon IVS ブロードキャスト SDK によって提供されるサーフェスにプレビューをレンダリングします。

ここで、DeepAR SDK と Amazon IVS ブロードキャスト SDK が組み合わされます。

それを分解する：

● Amazon IVS ブロードキャスト SDK がサウンド部分を処理するように、デフォルトのデバイス MICROPHONE で BroadcastSession を作成します。

● ブロードキャスト セッションからカスタム入力画像ソースを作成します。そのサイズをカメラと同じ (この場合は 720p) に設定し、回転をゼロに設定します。

● ブロードキャスト セッションをスロットにバインドします。

● カスタム イメージ ソース サーフェスにレンダリングするように DeepAR を設定します。

● ブロードキャスト セッションからプレビュー ビューを取得し、それをビュー階層に追加して、画面にプレビューを表示します。

● インジェスト サーバーとストリーム キーを使用してブロードキャスト セッションを開始します。これにより、ブロードキャスト セッションによって提供されるサーフェスに DeepAR がレンダリングするフレームのストリーミングが開始されます。

試験時間

デバイスでアプリを実行します。カメラのプレビューが表示されます。左右のボタンで、ARマスクとフィルターを変更できます。

Amazon IVS コンソールで作成したチャンネルを開き、ライブ ストリーム タブを開くと、AR 効果で増強されたビデオがストリーミングされているはずです。