AI が GPU とサーバーを使用してスポーツ広告の独占とどのように戦うか

即時展開の GPU サーバー、またはプロフェッショナル グレードのNVIDIA Tesla H100 / H100 80GbまたはRTX A5000 / A4000カードを備えたカスタム構成のサーバーをレンタルします。ゲームRTX4090カードを備えた GPU サーバーも利用可能です。

今日のスポーツ イベントには、スクリーン上のコマーシャルからスタジアムの看板上の静止した企業ロゴに至るまで、広告があふれています。放送波は、ブランドや広告法が異なる複数の国にまたがっています。 AI と AR テクノロジーの進歩のおかげで、試合のライブ中継中に、視聴者ごとに表示される情報を直接カスタマイズすることができます。

スポーツアリーナでの広告は当初は静的なもので、特定の都市の特定のイベントに参加する人々を対象としていました。その後、広告を交互に表示する LED スクリーンが登場しました。次の進化は、看板のスポットにほんの一瞬緑色のスクリーンを挿入し、AI が空間を定義して独自のテキストを挿入できるようにすることでした。

現代では、何でも何でも置き換えることができます。課題は、交換が慎重かつ現実的に確実に行われるようにすることです。この市場の大手企業は特殊なカメラを使用しています。写真から、位置とアライメントの情報を識別する特殊なセンサーがあると結論付けることができます。つまり、一般的なソリューションにはまだ配線された松葉杖が付いています。

入力と元のブロードキャストはオンラインの専用ソフトウェアで処理されるため、これらすべてには膨大な計算能力が必要です。つまり、コンピューティング用のサーバーがカメラやセンサーに接続されています。この機器は高価で、市場は閉鎖されており、技術も閉鎖されています。ここで AI とクラウド GPU サーバーが役に立ちます。

高価で静的であり、すべての人に適しているわけではない

HOSTKEY にはクライアントがあり、スタートアップはPTFラボは、マルチリージョンモードで仮想広告を実装し、デジタルコンテンツ（拡張現実など）を統合するための独自のテクノロジーを開発しました。そして、彼らのソリューションは、広告をビデオ ストリームに直接シームレスに (骨抜きで) 統合することを約束します。

少し前に、彼らは Open Data Science (ODS) コミュニティで HOSTKEY に関する情報を見て、クラウド キャパシティが必要になったときに当社に連絡し、当社のサービス、価格設定、利用可能なオプションの柔軟なラインナップを高く評価しました。

このスタートアップの目標は崇高で、理解しやすく、かなり達成可能なものです。

1. 高価な専用機器や複雑なセットアップから逃れるために、広告の配置とフレーム構築のタスクを、フレーム内で重なり合う人物やオブジェクトを考慮した人工知能に移行します。
2. そうすることで、比較的小規模なイベント (アリーナでの戦いなど) をカバーし、そのテクノロジーを大衆に提供することができます。
3. 最終的には、スポーツ広告はアクセスしやすく、比較的安価に提供できるようにする必要があります。

さらに、このスタートアップは、柔軟性の点で独占大手が提供するソリューションを超えるという野心的な目標を設定している。たとえば、リプレイ中に「仮想広告」を表示したり、特定の角度からだけでなく、あらゆるカメラからの角度を使用したりできます。

どのように機能するのでしょうか?

スポーツイベント会場からの映像信号は、会場だけでなくクラウド上でもコンピューティングパワーを利用して処理できます。これにより、さまざまな市場を考慮して、柔軟な負荷分散と、放送前または放送中に広告を適用するタイミングの選択が可能になります。また、クラウドサービスと連携することで、サーバーを持ち込めない場所でも広告を利用できるようになります（原理的にはそっちのほうが便利です）。

オブジェクトのセグメンテーションは、U-Net のニューラル ネットワーク アーキテクチャに基づいています。ニューラル ネットワークは、オブジェクトの位置と、重要なポイントの検出と比較を担当します。ただし、このタスクは簡単ではないため、すべてのソリューションとニューラル ネットワークを再加工し、使用できるようにトレーニングする必要がありました。特に格闘技の放送では、光源、影、カメラの角度、スポンサーのロゴと重なるグリッド、選手や審判の体など、文字通りすべてが映像の観点からは予測不可能である。

ニューラル ネットワークはどこでも使用されるわけではありません。問題を解決するには、創意工夫を示し、単純なアルゴリズムを使用するだけで十分な場合があります。たとえば、追跡アルゴリズムは、ニューラル ネットワーク手法と、線形および非線形方程式のシステムを組み合わせます。

GPU の重要な部分はセグメンテーションによって占められます。フレーム内の人物や物体の検出と、プランやタイプによる分離がより適切に実装されるほど、広告オーバーレイ後のフレームはより自然で魅力的なものになります。

別のタスクは照明と影に関連しており、拡張現実ではシーンをレンダリングするときに考慮する必要があります。影のリアルさは、写真の「信頼性」を評価する際の重要な要素です。

従来、スポーツ ニューラル ネットワークは、人間のマーキングと合成モデルを使用して実際の放送でトレーニングされてきました。ここで、Blender が役に立ちます。同社はリング、戦闘機、審判の 3D モデルを構築し、正しい角度からレンダリングされた実際の映像と、トレーニングに必要なオブジェクトとカメラの位置であるセグメンテーション マスクの両方を取得します。実際のデータのマークアップは時間と費用がかかりますが、特定の会場や種類の競技会では高品質です。現実性の低い合成データは、トレーニング用に多くのデータを提供します。

主な難点は、会場が異なる可能性があることです。ある場合にはロープのあるボクシングのリングになり、別の場合にはメッシュの壁のあるアリーナになるため、それぞれがセグメント化に困難をもたらします。

カメラの追跡と広告の位置は、会場の 3D モデルの点群とフレーム内の実際の位置を比較することによって決定されます。これにより、動きが混沌とした手動カメラであっても、位置を決定することができます。 2D から 3D フレームを再構成した後 (必要な角度の決定)、3D エンジンでの広告の直接レンダリングが実行され、ビデオ放送フレームと結合されます。

作業を開始する前に 3D シーンを構築する必要があります。実際、フレーム内に会場の仮想コピーがあり、そこにレンダー マスクを通して実際の人物やオブジェクトを当てはめます。複雑そうに聞こえますが、適切なパワーと最適化されたニューラル ネットワークがあれば、これらの宙返りを瞬時かつシームレスに実行することが可能です。

プロジェクトに GPU コンピューティングとサーバーのレンタルが必要なのはなぜですか?

PTF Lab には独自のサーバーがあります (競技会場のオンサイトでサーバーを使用する可能性については前述しました) が、サービス プロバイダーのエンジニアが機器の可用性を管理し、会社がリソースを割り当てるため、リモート リソースを使用する方が便利です。これに必要なリソースが少なくなります。そしてクライアントは自分の財布で投票するので、費用対効果の高いオプションが常に好まれます。

また、企業が必要とする能力も常に増加しています。必要に応じて、さらにレンタルするだけで簡単にスケールアップできます (企業のニーズに合わせてサーバー構成を変更することも含みます)。

将来的には、スタートアップは大量のクラウド容量を必要とするかもしれません。サービスの需要が増減する場合には、物理サーバーを売買するよりもレンタルする方が簡単です。

リースされたサーバーと GPU の容量は現在、次の分野で使用されています。

1. GPU でのニューラル ネットワークのトレーニング (スポーツ放送における人物やその他のオブジェクトのセグメンテーション、3D 仮想カメラの追跡)。
2. データのバックアップ (イベント、データセットなどからのビデオ)。
3. ビデオ テスト クラウド プロダクションを扱う直接的なプロセス。会社のソフトウェアがリモート サーバーに展開され、ビデオ信号がそこを流れます。入力 - グラフィックスなし、出力 - 1 つまたは複数の信号 (グラフィックスあり)。

HOSTKEY での独自のコンピューティング能力に加えて、スタートアップは現在、次の GPU 構成を活用しています。

• AMD Ryzen 9 5950X 3.4GHz (16コア)/128Gb/1Tb NVMe SSD+12Tb HDD/2xRTX 3090+PSU】
• Xeon E3-1230 3.2GHz (4コア)/16Gb/2x12Tb HDD/PSU】
• AMD Ryzen 9 5950X 3.4GHz (16コア)/128Gb/1Tb NVMe SSD+12Tb HDD/2xRTX 3090+PSU+HDMIエミュレータ]
• AMD Ryzen 9 5950X 3.4GHz (16コア)/128Gb/1Tb NVMe SSD+12Tb HDD/2xRTX 3090+PSU】
• AMD EPYC 7402P 2.8GHz (24コア)/384Gb/2x1.92Tb U3 NVMe SSD/4xRTX 4090+2xPSU]

ご覧のとおり、ほとんどの GPU ソリューションは RTX4090/3090 ベースでレンタルされていますが、コンピューティング能力の要件が増加するにつれて、スタートアップは、連続 24 時間での実行時に優れた安定性を提供する、より強力でプロフェッショナルなカードを搭載したサーバーのオプションを希望しています。 7の操作。 3090 の場合、同じ A5000 をレンタルした方がさらに安くなる可能性があります。

PTF Lab はまだその歩みの始まりにありますが、その結果はすでに有望であり、私たち HOSTKEY は、特にスポーツ拡張現実の独占を克服するという点で、彼らの成功と成長を願っています。機知に富んだダビデは、いつも不器用な専有者のゴリアテを倒します。

PTF Lab の同僚に質問がある場合は、お気軽にコメント欄で質問してください。

即時展開の GPU サーバー、またはプロフェッショナル グレードのNVIDIA Tesla H100 / H100 80GbまたはRTX A5000 / A4000カードを備えたカスタム構成のサーバーをレンタルします。ゲームRTX4090カードを備えた GPU サーバーも利用可能です。