Como a IA está combatendo os monopólios na publicidade esportiva com GPUs e servidores

Alugue servidores GPU com implantação instantânea ou um servidor com configuração personalizada com placas NVIDIA Tesla H100/H100 80Gb ou RTX A5000/A4000 de nível profissional. Servidores GPU com placas de jogo RTX4090 também estão disponíveis.

Os eventos esportivos hoje estão repletos de publicidade, desde comerciais em telas até logotipos estáticos de empresas em outdoors de estádios. As ondas de rádio abrangem vários países com diferentes marcas e leis de publicidade. Graças aos avanços na tecnologia de IA e AR, é possível personalizar as informações exibidas para cada público diretamente durante a transmissão ao vivo de uma partida.

A publicidade em arenas esportivas era inicialmente estática e destinada aos participantes de um determinado evento em uma determinada cidade. Posteriormente, surgiram telas de LED, que exibiam anúncios alternados. A próxima evolução foi inserir uma tela verde nos pontos dos outdoors por uma fração de segundo, permitindo que a IA defina o espaço e insira um texto único.

Hoje em dia, você pode substituir qualquer coisa por qualquer coisa. O desafio é garantir que a substituição seja feita de forma discreta e realista. Os principais players deste mercado utilizam câmeras especiais. Pelas fotos podemos concluir que existem sensores especializados que discernem informações de posicionamento e alinhamento. Ou seja, as soluções populares ainda possuem muletas conectadas.

Tudo isso requer um enorme poder computacional, já que as entradas e a transmissão original são processadas online por software especializado. Ou seja, servidores para computação ficam conectados às câmeras e sensores. Esse equipamento é caro, o mercado está fechado e a tecnologia também está fechada. É aqui que os servidores de IA e GPU em nuvem vêm em socorro.

Caro, estático e não para todos

HOSTKEY tem um cliente, uma startup chamada Laboratório de PTF , que desenvolveu tecnologia própria para implementação de publicidade virtual e integração de conteúdo digital (como realidade aumentada) de forma multirregional. E a solução deles promete integração perfeita (e desestruturada) de anúncios diretamente no stream de vídeo.

Há algum tempo, eles viram informações sobre HOSTKEY na comunidade Open Data Science (ODS) e nos contataram quando precisaram de capacidade de nuvem, apreciando nosso serviço, preços e uma linha flexível de opções disponíveis.

Os objetivos da startup são nobres, compreensíveis e bastante alcançáveis:

1. Para fugir de equipamentos proprietários caros e configurações complexas, transferindo a tarefa de colocação de publicidade e construção de quadros para a inteligência artificial, que leva em consideração a sobreposição de pessoas e objetos no quadro.
2. Ao fazer isso, eles podem cobrir eventos relativamente pequenos (como lutas em arenas, etc.) e levar a tecnologia às massas.
3. Em última análise, a publicidade desportiva deve ser acessível e relativamente barata.

Além disso, a startup estabeleceu uma meta ambiciosa de superar as soluções oferecidas pelos gigantes monopolistas em termos de flexibilidade. Por exemplo, ele pode exibir “anúncios virtuais” durante os replays e usar ângulos de qualquer câmera, não apenas de determinados ângulos.

Como funciona?

O sinal de vídeo de um local de evento esportivo pode ser processado usando poder computacional não apenas no próprio local, mas também na nuvem. Isto permite uma distribuição flexível da carga e a escolha de quando aplicar os anúncios: antes ou durante a emissão, tendo em conta os diferentes mercados. Além disso, trabalhar com serviços em nuvem permite usar publicidade em locais onde é impossível trazer um servidor (e em princípio é mais conveniente).

A segmentação de objetos é baseada na arquitetura de rede neural da U-Net. As redes neurais são responsáveis pela localização de objetos e por detectar e comparar pontos-chave. No entanto, a tarefa não é trivial, portanto todas as soluções e redes neurais tiveram que ser retrabalhadas e treinadas para uso. É especialmente difícil em transmissões de artes marciais, onde literalmente tudo é imprevisível do ponto de vista da imagem: fontes de luz, sombras, ângulos de câmera, a grade sobreposta aos logotipos dos patrocinadores e os corpos dos lutadores e árbitros.

As redes neurais não são usadas em todos os lugares. Às vezes, para resolver um problema, basta mostrar engenhosidade e usar algoritmos simples. Por exemplo, algoritmos de rastreamento combinam métodos de redes neurais e sistemas de equações lineares e não lineares.

Uma parte significativa da GPU é ocupada pela segmentação. Quanto melhor for implementada a detecção de pessoas e objetos no quadro e sua separação por planos e tipos, mais natural e atraente ficará o quadro após a sobreposição publicitária.

Uma tarefa separada está relacionada à iluminação e sombras, que devem ser levadas em consideração na realidade aumentada ao renderizar uma cena. O realismo das sombras é um elemento chave na avaliação da “credibilidade” da imagem.

Tradicionalmente, as redes neurais esportivas são treinadas em transmissões reais usando marcações humanas e modelos sintéticos. Aqui, o Blender vem ao resgate. A empresa constrói modelos 3D do ringue, lutadores e árbitros e obtém imagens reais renderizadas em ângulos retos e a máscara de segmentação, ou a posição de objetos e câmeras necessárias para o treinamento. A marcação de dados reais é demorada e cara, mas de alta qualidade para locais ou tipos de competições específicos. Dados sintéticos com menos realismo fornecem mais dados para treinamento.

A principal dificuldade é que os locais podem variar. Num caso, será um ringue de boxe com cordas e, noutro caso, será uma arena com paredes de malha, cada uma das quais cria dificuldades de segmentação.

O rastreamento da câmera e a posição do anúncio são determinados comparando a nuvem de pontos do modelo 3D do local com sua posição real no quadro. Isso permite determinar a posição, mesmo para câmeras manuais com movimento caótico. Após a reconstrução do quadro 3D a partir do 2D (determinação do ângulo necessário), é realizada a renderização direta do anúncio no motor 3D e combinada com o quadro de transmissão do vídeo.

Uma cena 3D deve ser construída antes de começarmos a trabalhar e, de fato, temos uma cópia virtual do local no quadro, na qual encaixamos pessoas e objetos reais através de máscaras de renderização. Parece complicado, mas com a potência certa e redes neurais otimizadas, é possível realizar essas cambalhotas de forma instantânea e perfeita.

Por que o projeto precisa de computação GPU e aluguel de servidores?

O PTF Lab possui servidores próprios (e a possibilidade de utilizá-los presencialmente no local da competição foi mencionada anteriormente), mas é mais conveniente utilizar recursos remotos, pois os engenheiros da prestadora de serviço são responsáveis pela disponibilidade dos equipamentos, e a empresa aloca menos recursos para isso. E o cliente vota com a carteira e opções econômicas são sempre preferíveis.

Além disso, a capacidade exigida pela empresa está em constante crescimento. Se necessário, ele pode ser facilmente ampliado apenas alugando mais (inclusive alterando a configuração do servidor para atender às necessidades da empresa).

No futuro, uma startup poderá precisar de muita capacidade de nuvem. É mais fácil alugá-los do que comprar e vender servidores físicos quando a demanda por seus serviços aumenta e diminui.

Os servidores alugados e a capacidade da GPU agora estão sendo usados nas seguintes áreas:

1. Treinamento de redes neurais em GPUs (segmentação de pessoas e outros objetos em transmissões esportivas; rastreamento de câmeras virtuais 3D).
2. Backup de dados (vídeo de eventos, conjuntos de dados, etc.).
3. O processo direto de trabalhar com produção em nuvem de teste de vídeo, quando o software da empresa é implantado em servidores remotos e os sinais de vídeo fluem por ele: entrada - sem gráficos, saída - um ou mais sinais com gráficos.

Além do nosso próprio poder computacional na HOSTKEY, a startup está atualmente aproveitando as seguintes configurações de GPU:

• AMD Ryzen 9 5950X 3,4 GHz (16 núcleos) / SSD NVMe de 128 Gb / 1 TB + HDD de 12 TB / 2xRTX 3090 + PSU]
• Xeon E3-1230 3,2 GHz (4 núcleos)/16 Gb/2x12 TB HDD/PSU]
• AMD Ryzen 9 5950X 3,4 GHz (16 núcleos) / 128 Gb / 1 TB NVMe SSD + 12 TB HDD / 2xRTX 3090 + PSU + emulador HDMI]
• AMD Ryzen 9 5950X 3,4 GHz (16 núcleos) / SSD NVMe de 128 Gb / 1 TB + HDD de 12 TB / 2xRTX 3090 + PSU]
• AMD EPYC 7402P 2,8 GHz (24 núcleos)/384 Gb/2x1,92 TB U3 NVMe SSD/4xRTX 4090+2xPSU]

Como você pode ver, a maioria das soluções de GPU são alugadas baseadas na RTX4090/3090, mas conforme as exigências de potência computacional aumentam, a startup deseja ter a opção de servidores com placas profissionais mais potentes e que ofereçam melhor estabilidade ao rodar em contínuo 24 horas por dia. 7 operação. No caso do 3090, alugar o mesmo A5000 pode até sair mais barato.

O PTF Lab está no início de sua jornada, mas seus resultados já são promissores, e nós da HOSTKEY desejamos sucesso e crescimento, principalmente no que diz respeito à superação do monopólio da realidade aumentada esportiva. O espirituoso David sempre derrota o desajeitado Golias proprietário.

Se você tiver alguma dúvida para nossos colegas do PTF Lab, sinta-se à vontade para perguntar nos comentários.

Alugue servidores GPU com implantação instantânea ou um servidor com configuração personalizada com placas NVIDIA Tesla H100/H100 80Gb ou RTX A5000/A4000 de nível profissional. Servidores GPU com placas de jogo RTX4090 também estão disponíveis.