人工智能如何利用 GPU 和服务器对抗体育广告领域的垄断

租用可即时部署的 GPU 服务器或具有专业级NVIDIA Tesla H100 / H100 80Gb或RTX A5000 / A4000卡的自定义配置的服务器。还提供配备RTX4090游戏卡的 GPU 服务器。

如今的体育赛事充斥着广告，从屏幕上的广告到体育场广告牌上的静态公司徽标。广播电台跨越多个具有不同品牌和广告法的国家。得益于AI和AR技术的突破，在比赛直播过程中可以直接为每个观众定制显示信息。

体育场馆的广告最初是静态的，旨在针对特定城市参加特定活动的人们。后来出现了LED屏幕，交替显示广告。下一步的发展是在广告牌上的位置插入一个绿屏，持续几分之一秒，让人工智能定义空间并插入独特的文本。

如今，你可以用任何东西代替任何东西。面临的挑战是确保更换是谨慎而现实的。该市场的主要参与者都使用特殊相机。从照片中，我们可以得出结论，有专门的传感器可以识别定位和对齐信息。也就是说，流行的解决方案仍然有硬连线的拐杖。

所有这些都需要巨大的计算能力，因为输入和原始广播是由专门的软件在线处理的。也就是说，用于计算的服务器连接到摄像头和传感器。这种设备价格昂贵，市场封闭，技术也封闭。这就是人工智能和云 GPU 服务器可以发挥作用的地方。

昂贵、静态且不适合所有人

HOSTKEY 有一个客户端，一个名为PTF实验室，该公司开发了自己的技术，用于实施虚拟广告并以多区域模式集成数字内容（如增强现实）。他们的解决方案承诺将广告直接无缝（无骨）集成到视频流中。

不久前，他们在开放数据科学 (ODS) 社区中看到了有关 HOSTKEY 的信息，并在需要云容量时联系了我们，并对我们的服务、定价和灵活的可用选项阵容表示赞赏。

这家初创公司的目标是崇高的、可以理解的，而且是可以实现的：

1. 为了摆脱昂贵的专有设备和复杂的设置，将广告投放和框架构建的任务转移到人工智能，人工智能考虑到框架中重叠的人和物体。
2. 通过这样做，他们可以覆盖相对较小的事件（例如竞技场战斗等）并将技术带给大众。
3. 最终，体育广告应该变得容易获得并且相对便宜。

此外，这家初创公司还制定了一个雄心勃勃的目标，即在灵活性方面超越垄断巨头提供的解决方案。例如，它可以在重播期间显示“虚拟广告”，并使用任何摄像机的角度，而不仅仅是某些角度。

它是如何工作的？

来自体育赛事场馆的视频信号不仅可以在场馆本身进行处理，还可以在云端进行处理。这允许灵活的负载分配和选择何时应用广告：在广播之前或期间，考虑到不同的市场。此外，使用云服务可以让您在无法携带服务器的地方使用广告（原则上更方便）。

对象分割基于 U-Net 的神经网络架构。神经网络负责物体的定位以及检测和比较关键点。然而，这项任务并不简单，因此所有解决方案和神经网络都必须重新设计和训练才能使用。这在武术转播中尤其困难，因为从画面的角度来看，几乎所有事情都是不可预测的：光源、阴影、摄像机角度、网格重叠的赞助商标志以及拳击手和裁判的身体。

神经网络并不是到处都在使用。有时，要解决问题，只需发挥聪明才智并使用简单的算法就足够了。例如，跟踪算法结合了神经网络方法以及线性和非线性方程组。

GPU 的很大一部分被分段占用。对框架中的人和物体的检测以及它们按计划和类型的分离实施得越好，广告叠加后框架看起来就越自然和有吸引力。

一个单独的任务与照明和阴影有关，在渲染场景时必须在增强现实中考虑到这一点。阴影的真实感是评估图片“可信度”的关键要素。

传统上，体育神经网络是使用人类标记和合成模型在真实广播上进行训练的。在这里，Blender 来救援。该公司构建了拳击场、拳击手和裁判的 3D 模型，并获取从直角渲染的真实镜头和分割掩模，或者训练所需的物体和摄像机的位置。真实数据的标记既耗时又昂贵，但对于特定场地或比赛类型来说质量很高。不太真实的合成数据可以为训练提供更多数据。

主要困难是场地可能会有所不同。在一种情况下，它将是一个带有绳索的拳击场，在另一种情况下，它将是一个带有网状墙的竞技场，这两种情况都会给分割带来困难。

通过将场地 3D 模型中的点云与其在帧中的实际位置进行比较来确定摄像机跟踪和广告位置。这使得他们能够确定位置，即使对于运动混乱的手动相机也是如此。从2D重建3D帧（确定所需角度）后，在3D引擎中执行广告的直接渲染并与视频广播帧结合。

在我们开始工作之前，必须先构建一个 3D 场景，事实上，我们在框架中拥有场地的虚拟副本，我们通过渲染蒙版将真实的人和物体放入其中。这听起来很复杂，但只要有合适的功率和优化的神经网络，就可以立即无缝地完成这些翻筋斗。

为什么项目需要GPU计算和服务器租赁？

PTF Lab有自己的服务器（前面提到了在比赛场地现场使用的可能性），但使用远程资源更方便，因为服务提供商的工程师负责设备可用性，公司分配对此的资源较少。客户用钱包投票，具有成本效益的选择总是更可取的。

此外，公司所需的产能也在不断增长。如有必要，只需租用更多服务器即可轻松扩展（最多包括更改服务器配置以满足公司的需求）。

未来，初创公司可能需要大量的云容量。当对其服务的需求上升或下降时，租用它们比买卖物理服务器更容易。

租用的服务器和 GPU 容量目前用于以下领域：

1. 在 GPU 上训练神经网络（体育广播中的人和其他对象的分割；3D 虚拟摄像机跟踪）。
2. 数据备份（事件视频、数据集等）。
3. 当公司的软件部署在远程服务器上并且视频信号流经其中时，使用视频测试云制作的直接过程：输入 - 无图形，输出 - 一个或多个带图形的信号。

除了我们自己的 HOSTKEY 计算能力之外，该初创公司目前还利用以下 GPU 配置：

• AMD Ryzen 9 5950X 3.4GHz（16 核）/128Gb/1Tb NVMe SSD+12Tb HDD/2xRTX 3090+PSU]
• 至强 E3-1230 3.2GHz（4 核）/16Gb/2x12Tb HDD/PSU]
• AMD Ryzen 9 5950X 3.4GHz（16 核）/128Gb/1Tb NVMe SSD+12Tb HDD/2xRTX 3090+PSU+HDMI 模拟器]
• AMD Ryzen 9 5950X 3.4GHz（16 核）/128Gb/1Tb NVMe SSD+12Tb HDD/2xRTX 3090+PSU]
• AMD EPYC 7402P 2.8GHz（24核）/384Gb/2x1.92Tb U3 NVMe SSD/4xRTX 4090+2xPSU]

正如您所看到的，大多数GPU解决方案都是基于RTX4090/3090租用的，但随着计算能力需求的增加，初创公司希望能够选择具有更强大、更专业的卡的服务器，在连续24小时运行时提供更好的稳定性。 7 操作。对于 3090，租用相同的 A5000 甚至可能更便宜。

PTF Lab 正处于其旅程的开始，但其结果已经令人鼓舞，我们 HOSTKEY 祝愿他们成功和成长，特别是在克服体育增强现实的垄断方面。机智的大卫总是打败笨拙的专有歌利亚。

如果您对 PTF 实验室的同事有任何疑问，请随时在评论中询问他们。

租用可即时部署的 GPU 服务器或具有专业级NVIDIA Tesla H100 / H100 80Gb或RTX A5000 / A4000卡的自定义配置的服务器。还提供配备RTX4090游戏卡的 GPU 服务器。