Как ИИ борется с монополиями в спортивной рекламе с помощью графических процессоров и серверов

Арендуйте GPU-серверы с мгновенным развертыванием или сервер с индивидуальной конфигурацией с картами NVIDIA Tesla H100/H100 80Gb профессионального уровня или RTX A5000/A4000 . Также доступны графические серверы с игровыми картами RTX4090 .

Сегодня спортивные мероприятия изобилуют рекламой: от рекламных роликов на экранах до статических логотипов компаний на рекламных щитах стадионов. Эфир охватывает несколько стран с разными брендами и законами о рекламе. Благодаря достижениям в технологиях искусственного интеллекта и дополненной реальности можно настраивать отображаемую информацию для каждой аудитории непосредственно во время прямой трансляции матча.

Реклама на спортивных аренах изначально была статичной и предназначалась для людей, посещающих конкретное мероприятие в конкретном городе. Позже появились светодиодные экраны, на которых поочередно транслировалась реклама. Следующей эволюцией стала вставка зеленого экрана в пятна на рекламных щитах на долю секунды, что позволило ИИ определить пространство и вставить уникальный текст.

В наше время можно заменить что угодно чем угодно. Задача состоит в том, чтобы убедиться, что замена произведена незаметно и реалистично. Крупнейшие игроки этого рынка используют специальные камеры. Из фотографий можно сделать вывод, что существуют специализированные датчики, распознающие информацию о позиционировании и выравнивании. То есть популярные решения по-прежнему имеют вшитые костыли.

Все это требует огромных вычислительных мощностей, поскольку входные данные и исходная трансляция обрабатываются специализированным программным обеспечением в режиме онлайн. То есть к камерам и датчикам подключены серверы для вычислений. Это оборудование дорогое, рынок закрыт, технологии тоже. Здесь на помощь приходят искусственный интеллект и облачные графические серверы.

Дорого, статично и не для всех

У HOSTKEY есть клиент — стартап под названием ПТФ Лаборатория , которая разработала собственную технологию реализации виртуальной рекламы и интеграции цифрового контента (например, дополненной реальности) в мультирегиональном режиме. Их решение обещает плавную (и беспрепятственную) интеграцию рекламы непосредственно в видеопоток.

Некоторое время назад они увидели информацию о HOSTKEY в сообществе Open Data Science (ODS) и обратились к нам, когда им потребовались облачные мощности, оценив наш сервис, цены и гибкий набор доступных опций.

Цели стартапа благородны, понятны и вполне достижимы:

1. Уйти от дорогостоящего фирменного оборудования и сложной настройки, переложив задачу размещения рекламы и построения кадра на искусственный интеллект, учитывающий перекрытие людей и объектов в кадре.
2. Поступая таким образом, они могут освещать относительно небольшие события (например, бои на арене и т. д.) и донести технологию до масс.
3. В конечном итоге спортивная реклама должна быть доступной и относительно недорогой.

Более того, стартап поставил перед собой амбициозную цель превзойти по гибкости решения, предлагаемые гигантами-монополистами. Например, он может отображать «виртуальную рекламу» во время повторов и использовать ракурсы с любой камеры, а не только с определенных ракурсов.

Как это работает?

Видеосигнал с объекта спортивного мероприятия может обрабатываться с использованием вычислительных мощностей не только на самом объекте, но и в облаке. Это позволяет гибко распределять нагрузку и выбирать, когда применять рекламу: до или во время трансляции с учетом разных рынков. Также работа с облачными сервисами позволяет использовать рекламу в локациях, куда невозможно подвести сервер (и это в принципе удобнее).

Сегментация объектов основана на архитектуре нейронной сети от U-Net. Нейронные сети отвечают за расположение объектов, а также за обнаружение и сравнение ключевых точек. Однако задача нетривиальная, поэтому все решения и нейросети пришлось перерабатывать и обучать к использованию. Особенно сложно в трансляциях боевых искусств, где с точки зрения картинки непредсказуемо буквально всё: и источники света, и тени, и ракурсы камер, и сетка, перекрывающая логотипы спонсоров, и тела бойцов и рефери.

Нейронные сети используются не везде. Иногда для решения проблемы достаточно проявить изобретательность и использовать простые алгоритмы. Например, алгоритмы отслеживания сочетают в себе методы нейронных сетей и системы линейных и нелинейных уравнений.

Значительная часть ресурсов графического процессора занята сегментацией. Чем лучше реализовано распознавание людей и предметов в кадре и их разделение по планам и типам, тем естественнее и привлекательнее будет выглядеть кадр после наложения рекламы.

Отдельная задача связана с освещением и тенями, которые необходимо учитывать в дополненной реальности при рендеринге сцены. Реализм теней – ключевой элемент оценки «правдоподобности» картинки.

Традиционно спортивные нейросети обучаются на реальных трансляциях с использованием человеческих разметок и синтетических моделей. Здесь на помощь приходит Блендер. Компания строит 3D-модели ринга, бойцов и судей и получает как рендеринг реальных кадров под прямым углом, так и маску сегментации или положение объектов и камер, необходимых для тренировок. Разметка реальных данных трудоемка и дорога, но качественна для конкретных площадок или типов соревнований. Синтетические данные с меньшей реалистичностью предоставляют больше данных для обучения.

Основная сложность в том, что места проведения могут быть разными. В одном случае это будет боксерский ринг с канатами, а в другом — арена с сетчатыми стенками, каждая из которых создает трудности для сегментации.

Отслеживание камеры и положение рекламы определяются путем сравнения облака точек 3D-модели объекта с его фактическим положением в кадре. Это позволяет им определять положение даже для ручных камер с хаотичным движением. После восстановления 3D-кадра из 2D (определения необходимого ракурса) производится непосредственный рендеринг рекламы в 3D-движке и его совмещение с кадром видеотрансляции.

Перед началом работы необходимо построить 3D-сцену, и по сути у нас в кадре есть виртуальная копия места проведения, в которую мы через маски рендеринга вписываем реальных людей и объекты. Звучит сложно, но при правильной мощности и оптимизированных нейронных сетях эти сальто можно выполнять мгновенно и плавно.

Зачем проекту нужны GPU-вычисления и аренда серверов?

«ПТФ Лаб» имеет собственные серверы (о возможности использования их на месте проведения соревнований говорилось ранее), но удобнее использовать удаленные ресурсы, так как за доступность оборудования отвечают инженеры поставщика услуг, а компания выделяет меньше ресурсов для этого. А клиент голосует своим кошельком и экономичные варианты всегда предпочтительнее.

Кроме того, мощности, необходимые компании, постоянно растут. При необходимости его можно легко масштабировать, просто арендовав больше (вплоть до изменения конфигурации сервера под нужды компании).

В будущем стартапу может потребоваться много облачных мощностей. Их проще арендовать, чем покупать и продавать физические серверы, когда спрос на их услуги то растет, то падает.

Арендованные серверы и мощности графических процессоров сейчас используются по следующим направлениям:

1. Обучение нейронных сетей на графических процессорах (сегментация людей и других объектов в спортивных трансляциях; 3D-отслеживание виртуальной камеры).
2. Резервное копирование данных (видео с событий, наборов данных и т. д.).
3. Непосредственный процесс работы с облачным производством видеотестирования, когда программное обеспечение компании развернуто на удаленных серверах и через него проходят видеосигналы: вход — без графики, выход — один или несколько сигналов с графикой.

В дополнение к нашим собственным вычислительным мощностям в HOSTKEY, стартап в настоящее время использует следующие конфигурации графических процессоров:

• AMD Ryzen 9 5950X 3,4 ГГц (16 ядер)/128 ГБ/1 ТБ NVMe SSD+12 ТБ HDD/2xRTX 3090+блок питания]
• Xeon E3-1230 3,2 ГГц (4 ядра)/16 ГБ/2 жестких диска по 12 ТБ/блок питания]
• AMD Ryzen 9 5950X 3,4 ГГц (16 ядер)/128 ГБ/1 ТБ NVMe SSD+12 ТБ HDD/2xRTX 3090+блок питания+эмулятор HDMI]
• AMD Ryzen 9 5950X 3,4 ГГц (16 ядер)/128 ГБ/1 ТБ NVMe SSD+12 ТБ HDD/2xRTX 3090+блок питания]
• AMD EPYC 7402P 2,8 ГГц (24 ядра)/384 ГБ/2x1,92 ТБ U3 NVMe SSD/4xRTX 4090+2xPSU]

Как видите, большинство графических решений арендуются на базе RTX4090/3090, но по мере увеличения требований к вычислительной мощности стартап желает иметь возможность использовать серверы с более мощными профессиональными картами, которые обеспечивают лучшую стабильность при непрерывной работе в режиме 24/24. 7 операция. В случае с 3090 аренда того же А5000 может оказаться даже дешевле.

PTF Lab находится в начале своего пути, но ее результаты уже многообещающие, и мы в HOSTKEY желаем им успехов и роста, особенно в плане преодоления монополии спортивной дополненной реальности. Остроумный Давид всегда побеждает неуклюжего собственнического Голиафа.

Если у вас есть вопросы к нашим коллегам из «ПТФ Лаб», задавайте их в комментариях.

Арендуйте GPU-серверы с мгновенным развертыванием или сервер с индивидуальной конфигурацией с картами NVIDIA Tesla H100/H100 80Gb профессионального уровня или RTX A5000/A4000 . Также доступны графические серверы с игровыми картами RTX4090 .