Comment l'IA combat les monopoles dans la publicité sportive avec des GPU et des serveurs

Louez des serveurs GPU avec déploiement instantané ou un serveur avec une configuration personnalisée avec des cartes NVIDIA Tesla H100 / H100 80Gb ou RTX A5000 / A4000 de qualité professionnelle. Des serveurs GPU avec des cartes de jeu RTX4090 sont également disponibles.

Les événements sportifs regorgent aujourd’hui de publicité, depuis les publicités sur les écrans jusqu’aux logos statiques d’entreprises sur les panneaux d’affichage des stades. Les ondes couvrent plusieurs pays avec des marques et des lois sur la publicité différentes. Grâce aux avancées de la technologie IA et AR, il est possible de personnaliser les informations affichées pour chaque public directement lors de la diffusion en direct d'un match.

La publicité dans les arènes sportives était initialement statique et destinée aux personnes assistant à un événement particulier dans une ville particulière. Plus tard, des écrans LED sont apparus, affichant des publicités en alternance. L'évolution suivante consistait à insérer un écran vert dans les spots des panneaux d'affichage pendant une fraction de seconde, permettant à l'IA de définir l'espace et d'insérer un texte unique.

De nos jours, on peut remplacer n'importe quoi par n'importe quoi. Le défi est de s’assurer que le remplacement soit effectué de manière discrète et réaliste. Les principaux acteurs de ce marché utilisent des caméras spéciales. D’après les photos, nous pouvons conclure qu’il existe des capteurs spécialisés qui discernent les informations de positionnement et d’alignement. Autrement dit, les solutions populaires comportent toujours des béquilles câblées.

Tout cela nécessite une énorme puissance de calcul, car les entrées et la diffusion originale sont traitées par un logiciel spécialisé en ligne. Autrement dit, les serveurs informatiques sont connectés aux caméras et aux capteurs. Cet équipement est cher, le marché est fermé et la technologie aussi. C’est là que les serveurs IA et GPU cloud viennent à la rescousse.

Cher, statique et pas pour tout le monde

HOSTKEY a un client, une startup appelée Laboratoire PTF , qui a développé sa propre technologie pour mettre en œuvre la publicité virtuelle et intégrer des contenus numériques (comme la réalité augmentée) dans un mode multirégional. Et leur solution promet une intégration transparente (et sans os) des publicités directement dans le flux vidéo.

Il y a quelque temps, ils ont vu des informations sur HOSTKEY dans la communauté Open Data Science (ODS) et nous ont contactés lorsqu'ils avaient besoin de capacité cloud, appréciant notre service, nos tarifs et une gamme flexible d'options disponibles.

Les objectifs de la startup sont nobles, compréhensibles et tout à fait réalisables :

1. Pour s'éloigner des équipements propriétaires coûteux et des configurations complexes, il convient de confier la tâche de placement publicitaire et de construction du cadre à l'intelligence artificielle, qui prend en compte les personnes et les objets qui se chevauchent dans le cadre.
2. Ce faisant, ils peuvent couvrir des événements relativement petits (tels que des combats en arène, etc.) et apporter la technologie au grand public.
3. En fin de compte, la publicité sportive devrait être rendue accessible et relativement peu coûteuse.

De plus, la startup s’est fixé un objectif ambitieux : surpasser les solutions proposées par les géants monopolistiques en termes de flexibilité. Par exemple, il peut afficher des « publicités virtuelles » pendant les rediffusions et utiliser les angles de n'importe quelle caméra, pas seulement certains angles.

Comment ça marche?

Le signal vidéo d’un site d’événement sportif peut être traité à l’aide de la puissance de calcul non seulement sur le site lui-même, mais également dans le cloud. Cela permet une répartition flexible de la charge et le choix du moment où appliquer les publicités : avant ou pendant la diffusion, en tenant compte des différents marchés. De plus, travailler avec des services cloud vous permet d'utiliser la publicité dans des endroits où il est impossible d'amener un serveur (et en principe, c'est plus pratique).

La segmentation des objets est basée sur l'architecture de réseau neuronal d'U-Net. Les réseaux de neurones sont responsables de la localisation des objets ainsi que de la détection et de la comparaison des points clés. Cependant, la tâche n’est pas triviale, c’est pourquoi toutes les solutions et réseaux de neurones ont dû être retravaillés et entraînés à leur utilisation. C'est particulièrement difficile dans les retransmissions d'arts martiaux, où tout est littéralement imprévisible du point de vue de l'image : les sources de lumière, les ombres, les angles de caméra, la grille chevauchant les logos des sponsors et les corps des combattants et des arbitres.

Les réseaux de neurones ne sont pas utilisés partout. Parfois, pour résoudre un problème, il suffit de faire preuve d’ingéniosité et d’utiliser des algorithmes simples. Par exemple, les algorithmes de suivi combinent des méthodes de réseaux neuronaux et des systèmes d'équations linéaires et non linéaires.

Une partie importante du GPU est occupée par la segmentation. Plus la détection des personnes et des objets dans le cadre et leur séparation par plans et types sont mises en œuvre, plus le cadre sera naturel et attrayant après la superposition publicitaire.

Une tâche distincte est liée à l'éclairage et aux ombres, qui doivent être pris en compte en réalité augmentée lors du rendu d'une scène. Le réalisme des ombres est un élément clé pour évaluer la « crédibilité » de l’image.

Traditionnellement, les réseaux de neurones sportifs sont entraînés sur des diffusions réelles à l’aide de marquages humains et de modèles synthétiques. Ici, Blender vient à la rescousse. L'entreprise construit des modèles 3D du ring, des combattants et des arbitres et obtient à la fois des images réelles restituées sous les angles droits et le masque de segmentation, ou la position des objets et des caméras nécessaires à l'entraînement. Le balisage de données réelles prend du temps et est coûteux, mais il est de haute qualité pour des sites ou des types de compétitions spécifiques. Les données synthétiques avec moins de réalisme fournissent plus de données pour la formation.

La principale difficulté réside dans la diversité des lieux. Dans un cas, il s'agira d'un ring de boxe avec des cordes, et dans un autre cas, ce sera une arène avec des parois grillagées, dont chacune crée des difficultés de segmentation.

Le suivi de la caméra et la position de l'annonce sont déterminés en comparant le nuage de points du modèle 3D du lieu avec sa position réelle dans le cadre. Cela leur permet de déterminer la position, même pour les caméras manuelles aux mouvements chaotiques. Après reconstruction de l'image 3D à partir de la 2D (détermination de l'angle requis), le rendu direct de la publicité dans le moteur 3D est effectué et combiné avec l'image de diffusion vidéo.

Une scène 3D doit être construite avant de commencer le travail et, en fait, nous avons une copie virtuelle du lieu dans le cadre, dans laquelle nous insérons des personnes et des objets réels grâce à des masques de rendu. Cela semble compliqué, mais avec la bonne puissance et des réseaux neuronaux optimisés, il est possible d'effectuer ces sauts périlleux instantanément et de manière transparente.

Pourquoi le projet a-t-il besoin de calcul GPU et de location de serveurs ?

PTF Lab dispose de ses propres serveurs (et la possibilité de les utiliser sur place, sur le site de compétition, a été mentionnée plus haut), mais il est plus pratique d'utiliser des ressources à distance, car les ingénieurs du prestataire de services sont responsables de la disponibilité des équipements et l'entreprise alloue moins de ressources pour cela. Et le client vote avec son portefeuille et les options les plus rentables sont toujours préférables.

De plus, la capacité requise par l’entreprise ne cesse de croître. Si nécessaire, il peut être facilement étendu en louant davantage (jusqu'à et y compris en modifiant la configuration du serveur pour l'adapter aux besoins de l'entreprise).

À l’avenir, une startup pourrait avoir besoin de beaucoup de capacité cloud. Il est plus facile de les louer que d’acheter et de vendre des serveurs physiques lorsque la demande pour leurs services augmente et diminue.

Les serveurs loués et la capacité GPU sont désormais utilisés dans les domaines suivants :

1. Entraînement des réseaux de neurones sur GPU (segmentation des personnes et autres objets dans les retransmissions sportives ; suivi de caméra virtuelle 3D).
2. Sauvegarde des données (vidéo des événements, ensembles de données, etc.).
3. Le processus direct de travail avec la production cloud de tests vidéo, lorsque le logiciel de l'entreprise est déployé sur des serveurs distants et que des signaux vidéo le traversent : entrée - sans graphique, sortie - un ou plusieurs signaux avec graphiques.

En plus de notre propre puissance de calcul chez HOSTKEY, la startup exploite actuellement les configurations GPU suivantes :

• AMD Ryzen 9 5950X 3,4 GHz (16 cœurs)/SSD NVMe 128 Go/1 To + disque dur 12 To/2xRTX 3090+PSU]
• Xeon E3-1230 3,2 GHz (4 cœurs)/16 Go/2 x 12 To HDD/PSU]
• AMD Ryzen 9 5950X 3,4 GHz (16 cœurs)/SSD NVMe 128 Go/1 To+HDD 12 To/2xRTX 3090+PSU+émulateur HDMI]
• AMD Ryzen 9 5950X 3,4 GHz (16 cœurs)/SSD NVMe 128 Go/1 To + disque dur 12 To/2xRTX 3090+PSU]
• AMD EPYC 7402P 2,8 GHz (24 cœurs)/384 Go/2 SSD U3 NVMe de 1,92 To/4xRTX 4090+2xPSU]

Comme vous pouvez le constater, la plupart des solutions GPU sont louées sur la base des RTX4090/3090, mais à mesure que les besoins en puissance de calcul augmentent, la startup souhaite avoir la possibilité d'opter pour des serveurs dotés de cartes professionnelles plus puissantes et offrant une meilleure stabilité lors d'un fonctionnement continu 24/24. 7 opération. Dans le cas du 3090, la location du même A5000 pourrait même être moins chère.

PTF Lab n'en est qu'au début de son parcours, mais ses résultats sont déjà prometteurs, et chez HOSTKEY, nous leur souhaitons succès et croissance, notamment pour surmonter le monopole de la réalité augmentée sportive. Le plein d'esprit David bat toujours le propriétaire maladroit Goliath.

Si vous avez des questions pour nos collègues de PTF Lab, n'hésitez pas à les poser dans les commentaires.

Louez des serveurs GPU avec déploiement instantané ou un serveur avec une configuration personnalisée avec des cartes NVIDIA Tesla H100 / H100 80Gb ou RTX A5000 / A4000 de qualité professionnelle. Des serveurs GPU avec des cartes de jeu RTX4090 sont également disponibles.