Wie KI Monopole in der Sportwerbung mit GPUs und Servern bekämpft

Mieten Sie GPU-Server mit sofortiger Bereitstellung oder einen Server mit einer benutzerdefinierten Konfiguration mit professionellen NVIDIA Tesla H100/H100 80Gb- oder RTX A5000/A4000 -Karten. GPU-Server mit Game- RTX4090 -Karten sind ebenfalls erhältlich.

Heutzutage gibt es bei Sportveranstaltungen jede Menge Werbung, von Werbespots auf Bildschirmen bis hin zu statischen Firmenlogos auf Stadion-Werbetafeln. Der Äther erstreckt sich über mehrere Länder mit unterschiedlichen Marken und Werbegesetzen. Dank Durchbrüchen in der KI- und AR-Technologie ist es möglich, die angezeigten Informationen für jedes Publikum direkt während der Live-Übertragung eines Spiels anzupassen.

Werbung in Sportarenen war ursprünglich statisch und für die Menschen gedacht, die an einer bestimmten Veranstaltung in einer bestimmten Stadt teilnahmen. Später erschienen LED-Bildschirme, auf denen abwechselnd Werbung zu sehen war. Die nächste Entwicklung bestand darin, für den Bruchteil einer Sekunde einen grünen Bildschirm in die Stellen auf den Werbetafeln einzufügen, sodass die KI den Raum definieren und einen eindeutigen Text einfügen konnte.

Heutzutage kann man alles durch alles ersetzen. Die Herausforderung besteht darin, sicherzustellen, dass der Austausch diskret und realistisch erfolgt. Die großen Player in diesem Markt nutzen Spezialkameras. Aus den Fotos können wir schließen, dass es spezielle Sensoren gibt, die Positionierungs- und Ausrichtungsinformationen erkennen. Das heißt, beliebte Lösungen verfügen immer noch über fest verdrahtete Krücken.

All dies erfordert enorme Rechenleistung, da die Eingaben und die ursprüngliche Übertragung online von einer speziellen Software verarbeitet werden. Das heißt, Server für die Datenverarbeitung sind mit den Kameras und Sensoren verbunden. Diese Ausrüstung ist teuer, der Markt ist geschlossen und auch die Technologie ist geschlossen. Hier kommen KI- und Cloud-GPU-Server zur Rettung.

Teuer, statisch und nicht jedermanns Sache

HOSTKEY hat einen Client, ein Startup namens PTF-Labor , das eine eigene Technologie zur Implementierung virtueller Werbung und zur Integration digitaler Inhalte (wie Augmented Reality) in einem multiregionalen Modus entwickelt hat. Und ihre Lösung verspricht eine nahtlose (und unkomplizierte) Integration von Werbung direkt in den Videostream.

Vor einiger Zeit sahen sie Informationen über HOSTKEY in der Open Data Science (ODS)-Community und wandten sich an uns, als sie Cloud-Kapazität benötigten. Sie schätzten unseren Service, unsere Preise und eine flexible Auswahl an verfügbaren Optionen.

Die Ziele des Startups sind edel, verständlich und durchaus erreichbar:

1. Um von teuren proprietären Geräten und komplexem Aufbau wegzukommen, verlagert man die Aufgabe der Werbeplatzierung und Rahmenkonstruktion auf künstliche Intelligenz, die überlappende Personen und Objekte im Rahmen berücksichtigt.
2. Auf diese Weise können sie relativ kleine Ereignisse (wie Arenakämpfe usw.) abdecken und die Technologie der breiten Masse zugänglich machen.
3. Letztlich soll Sportwerbung zugänglich und relativ kostengünstig gemacht werden.

Darüber hinaus hat sich das Startup das ehrgeizige Ziel gesetzt, die Lösungen der Monopolgiganten in puncto Flexibilität zu übertreffen. Beispielsweise kann es während Wiederholungen „virtuelle Werbung“ anzeigen und Winkel von jeder Kamera verwenden, nicht nur von bestimmten Winkeln.

Wie funktioniert es?

Das Videosignal einer Sportveranstaltungsstätte kann mit Rechenleistung nicht nur am Veranstaltungsort selbst, sondern auch in der Cloud verarbeitet werden. Dies ermöglicht eine flexible Lastverteilung und die Wahl des Werbezeitpunkts: vor oder während der Ausstrahlung, unter Berücksichtigung unterschiedlicher Märkte. Durch die Arbeit mit Cloud-Diensten können Sie außerdem Werbung an Orten nutzen, an denen es unmöglich ist, einen Server mitzubringen (und im Prinzip bequemer ist).

Die Objektsegmentierung basiert auf der neuronalen Netzwerkarchitektur von U-Net. Neuronale Netze sind für die Ortung von Objekten sowie für die Erkennung und den Vergleich von Schlüsselpunkten verantwortlich. Da die Aufgabe jedoch nicht trivial ist, mussten alle Lösungen und neuronalen Netze überarbeitet und für den Einsatz trainiert werden. Besonders schwierig ist es bei Kampfsportübertragungen, bei denen aus der Sicht des Bildes buchstäblich alles unvorhersehbar ist: Lichtquellen, Schatten, Kamerawinkel, das Raster überlappende Sponsorenlogos und die Körper der Kämpfer und Schiedsrichter.

Nicht überall werden neuronale Netze eingesetzt. Um ein Problem zu lösen, reicht es manchmal aus, Einfallsreichtum zu zeigen und einfache Algorithmen zu verwenden. Tracking-Algorithmen kombinieren beispielsweise neuronale Netzwerkmethoden und Systeme linearer und nichtlinearer Gleichungen.

Ein erheblicher Teil der GPU wird durch die Segmentierung beansprucht. Je besser die Erkennung von Personen und Objekten im Rahmen und deren Trennung nach Grundriss und Typ umgesetzt wird, desto natürlicher und ansprechender wirkt der Rahmen nach der Werbeeinblendung.

Eine eigene Aufgabe betrifft Licht und Schatten, die in Augmented Reality beim Rendern einer Szene berücksichtigt werden müssen. Der Realismus der Schatten ist ein Schlüsselelement bei der Beurteilung der „Glaubwürdigkeit“ des Bildes.

Traditionell werden neuronale Netze im Sport anhand realer Übertragungen mithilfe menschlicher Markierungen und synthetischer Modelle trainiert. Hier kommt Blender zur Rettung. Das Unternehmen erstellt 3D-Modelle des Rings, der Kämpfer und Schiedsrichter und erhält sowohl gerendertes Realmaterial aus den richtigen Winkeln als auch die Segmentierungsmaske oder die Position von Objekten und Kameras, die für das Training benötigt werden. Das Markieren realer Daten ist zeitaufwändig und teuer, aber für bestimmte Veranstaltungsorte oder Wettbewerbsarten von hoher Qualität. Synthetische Daten mit weniger Realismus liefern mehr Daten für das Training.

Die Hauptschwierigkeit besteht darin, dass die Veranstaltungsorte variieren können. In einem Fall handelt es sich um einen Boxring mit Seilen, in einem anderen Fall um eine Arena mit Gitterwänden, die jeweils Schwierigkeiten bei der Segmentierung mit sich bringen.

Kameraverfolgung und Werbeposition werden durch den Vergleich der Punktwolke aus dem 3D-Modell des Veranstaltungsortes mit seiner tatsächlichen Position im Bild bestimmt. Dadurch können sie auch bei manuellen Kameras mit chaotischen Bewegungen die Position bestimmen. Nach der Rekonstruktion des 3D-Frames aus dem 2D-Frame (Bestimmung des erforderlichen Winkels) wird die direkte Wiedergabe der Werbung in der 3D-Engine durchgeführt und mit dem Video-Broadcast-Frame kombiniert.

Bevor wir mit der Arbeit beginnen, muss eine 3D-Szene erstellt werden. Tatsächlich haben wir eine virtuelle Kopie des Veranstaltungsortes im Bild, in die wir mithilfe von Rendermasken reale Personen und Objekte einfügen. Es klingt kompliziert, aber mit der richtigen Leistung und optimierten neuronalen Netzen ist es möglich, diese Saltos sofort und nahtlos auszuführen.

Warum benötigt das Projekt GPU-Computing und Servermieten?

PTF Lab verfügt über eigene Server (und die Möglichkeit, diese vor Ort am Wettkampfort zu nutzen, wurde bereits erwähnt), es ist jedoch bequemer, Remote-Ressourcen zu nutzen, da die Ingenieure des Dienstleisters für die Geräteverfügbarkeit verantwortlich sind und das Unternehmen die Zuteilung vornimmt weniger Ressourcen dafür. Und der Kunde stimmt mit seinem Geldbeutel ab und kostengünstige Optionen sind immer vorzuziehen.

Auch der Kapazitätsbedarf des Unternehmens wächst stetig. Bei Bedarf lässt sich der Server einfach durch die Anmietung weiterer Server erweitern (bis hin zur Änderung der Serverkonfiguration entsprechend den Anforderungen des Unternehmens).

In Zukunft könnte ein Startup viel Cloud-Kapazität benötigen. Es ist einfacher, sie zu mieten, als die physischen Server zu kaufen und zu verkaufen, wenn die Nachfrage nach ihren Diensten steigt und fällt.

Die geleasten Server und GPU-Kapazitäten werden nun in folgenden Bereichen eingesetzt:

1. Training neuronaler Netze auf GPUs (Segmentierung von Personen und anderen Objekten in Sportübertragungen; virtuelles 3D-Kamera-Tracking).
2. Datensicherung (Video von Veranstaltungen, Datensätzen etc.).
3. Der direkte Prozess der Arbeit mit Videotests in der Cloud-Produktion, wenn die Software des Unternehmens auf Remote-Servern bereitgestellt wird und Videosignale durch sie fließen: Eingabe – ohne Grafiken, Ausgabe – ein oder mehrere Signale mit Grafiken.

Zusätzlich zu unserer eigenen Rechenleistung bei HOSTKEY nutzt das Startup derzeit die folgenden GPU-Konfigurationen:

• AMD Ryzen 9 5950X 3,4 GHz (16 Kerne)/128 GB/1 TB NVMe SSD+12 TB HDD/2xRTX 3090+PSU]
• Xeon E3-1230 3,2 GHz (4 Kerne)/16 GB/2 x 12 TB Festplatte/Netzteil]
• AMD Ryzen 9 5950X 3,4 GHz (16 Kerne)/128 GB/1 TB NVMe SSD+12 TB HDD/2xRTX 3090+Netzteil+HDMI-Emulator]
• AMD Ryzen 9 5950X 3,4 GHz (16 Kerne)/128 GB/1 TB NVMe SSD+12 TB HDD/2xRTX 3090+PSU]
• AMD EPYC 7402P 2,8 GHz (24 Kerne)/384 GB/2 x 1,92 TB U3 NVMe SSD/4 x RTX 4090 + 2 x Netzteil]

Wie Sie sehen, werden die meisten GPU-Lösungen auf Basis der RTX4090/3090 gemietet, aber da die Anforderungen an die Rechenleistung steigen, wünscht sich das Startup die Möglichkeit für Server mit leistungsstärkeren, professionellen Karten, die eine bessere Stabilität im Dauerbetrieb rund um die Uhr bieten. 7 Betrieb. Im Fall des 3090 könnte es sogar günstiger sein, den gleichen A5000 zu mieten.

PTF Lab steht am Anfang seiner Reise, aber die Ergebnisse sind bereits vielversprechend, und wir von HOSTKEY wünschen ihnen Erfolg und Wachstum, insbesondere im Hinblick auf die Überwindung des Monopols der Sport-Augmented Reality. Der geistreiche David besiegt immer den tollpatschigen Goliath.

Wenn Sie Fragen an unsere Kollegen vom PTF Lab haben, können Sie diese gerne in den Kommentaren stellen.

Mieten Sie GPU-Server mit sofortiger Bereitstellung oder einen Server mit einer benutzerdefinierten Konfiguration mit professionellen NVIDIA Tesla H100/H100 80Gb- oder RTX A5000/A4000 -Karten. GPU-Server mit Game- RTX4090 -Karten sind ebenfalls erhältlich.