Trazendo IA para o Datacenter

Com todas as suposições que fazemos sobre os avanços em dados corporativos e tecnologias de nuvem, há um fato simples que muitas vezes é esquecido: a maioria dos dados corporativos mais importantes permanece no data center corporativo.

Existem muitas razões para isso - algumas razoáveis, outras nem tanto. Em alguns casos, é devido à natureza altamente confidencial dos dados, seja em conformidade com a HIPAA, dados bancários confidenciais ou outras questões de privacidade. Em outros casos, os dados residem em sistemas (pense em dados legados de planejamento de recursos empresariais ou dados de pesquisa científica em escala de petabytes) que são difíceis de mover para a nuvem. E às vezes, é apenas inércia. Não é uma ótima desculpa, mas acontece o tempo todo.

Seja qual for o motivo, armazenar dados em racks de servidores corporativos provou ser um obstáculo real para a capacidade de muitas empresas de aproveitar a IA para transformar seus negócios, porque tem sido praticamente impossível fornecer o poder de computação significativo necessário para conduzir a IA em a infraestrutura que sustenta a maioria dos data centers.

Mas há um movimento em andamento, por meio de uma pequena constelação de startups e grandes fabricantes de dispositivos, para otimizar modelos de aprendizado de máquina e disponibilizar IA para empresas cujos dados não estão na nuvem. Vai ser uma virada de jogo.

O problema do poder de processamento

A unidade de processamento gráfico, ou GPU, foi desenvolvida para lidar com aplicativos de processamento de vídeo de alta intensidade, como os exigidos pelos videogames modernos e filmes de alta resolução. Mas a capacidade desses processadores de dividir tarefas complexas em tarefas menores e executá-las em paralelo também torna esses circuitos integrados específicos de aplicativos (ASICs) de alta potência muito úteis para inteligência artificial. Afinal, a IA requer fluxos massivos de dados para refinar e treinar modelos de aprendizado de máquina.

As CPUs, por outro lado, são os cérebros flexíveis dos servidores e, como tal, são construídas para lidar com uma ampla variedade de operações, como acessar dados do disco rígido ou mover dados do cache para o armazenamento, mas não têm a capacidade de execute essas tarefas em paralelo (processadores multicore podem lidar com tarefas paralelas, mas não no nível de GPUs). Eles simplesmente não são criados para lidar com o tipo de cargas de trabalho de alto rendimento que a IA exige.

As GPUs de alto desempenho são muito caras e, até recentemente, eram escassas, graças à dependência dos criptomineiros desses chips de alto desempenho. Na maioria das vezes, eles são o domínio dos provedores de nuvem. De fato, os serviços de computação de alto desempenho são um grande motivo para as empresas moverem seus dados para a nuvem. do Google Unidade de Processamento Tensor , ou TPU, é um ASIC personalizado desenvolvido exclusivamente para acelerar cargas de trabalho de aprendizado de máquina. A Amazon também possui seus próprios chips para alimentar cargas de trabalho de IA/ML.

Otimizando para IA

As GPUs têm sido a base da onda de inovação da IA que recentemente assumiu as manchetes. Muitos desses desenvolvimentos de alto nível foram impulsionados por empresas que se esforçam para alcançar o que é possível sem pensar muito em eficiência ou otimização. Consequentemente, as cargas de trabalho produzidas por novas ferramentas de IA têm sido enormes e, portanto, por necessidade, gerenciadas na nuvem.

Mas nos últimos seis meses, mais ou menos, isso está mudando. Por um lado, os amplos modelos de ML que conduzem todas essas ferramentas de IA de ponta estão se condensando significativamente, mas ainda gerando os mesmos resultados poderosos.

eu instalei o vicunha aplicativo no meu celular, por exemplo. É um modelo de 13 bilhões de parâmetros que executa como o ChatGPT e é executado em tempo real, diretamente no meu telefone. Não está na nuvem – é um aplicativo que reside em um dispositivo.

O projeto Vicunha surgiu a partir da Organização de sistemas de modelo grande , uma colaboração entre UC Berkeley, UC Davis e Carnegie Mellon University com a missão de “tornar grandes modelos acessíveis a todos por co-desenvolvimento de conjuntos de dados abertos, modelos, sistemas e ferramentas de avaliação”.

É uma missão que a grande tecnologia não está ignorando. Os desktops e iPhones mais recentes da Apple têm recursos de processamento especializados que aceleram os processos de ML. O Google e a Apple também estão trabalhando muito para otimizar seus softwares para ML.

Há também uma tonelada de engenheiros talentosos em startups que estão trabalhando para tornar o hardware mais eficiente de uma forma que torne a IA/ML mais acessível.

ThirdIA é um ótimo exemplo. A empresa oferece um mecanismo baseado em software que pode treinar grandes modelos de aprendizado profundo usando CPUs. A DataStax vem experimentando com a equipe da ThirdAI há meses e ficou impressionada com o que eles desenvolveram — tanto que na semana passada anunciamos uma parceria com a empresa para tornar sofisticados modelos de linguagem grande (LLMs) e outras tecnologias de IA acessíveis a qualquer organização , independentemente de onde seus dados residam. (Leia mais sobre as novidades da parceria aqui ).

Traga IA para os dados

Por causa de todo esse trabalho árduo e inovação, a IA não estará mais disponível exclusivamente para organizações com dados na nuvem. Isso é extremamente importante para a privacidade, que é um grande motivo pelo qual muitas organizações mantêm seus dados em seus próprios servidores em primeiro lugar.

Com a onda de transformação da IA que varreu tudo nos últimos 18 meses, tudo gira em torno dos dados. De fato, não há IA sem dados, onde quer que residam. Os esforços de equipes como a ThirdAI também permitem que todas as organizações “tragam a IA para os dados”.

Por muito tempo, as empresas foram obrigadas a fazer o contrário: trazer seus dados para a IA. Eles tiveram que dedicar muitos recursos, tempo e orçamento para migrar dados de data warehouses e data lakes para plataformas dedicadas de aprendizado de máquina antes de analisar os principais insights.

Isso resulta em custos significativos de transferência de dados, e o tempo necessário para migrar, analisar e migrar afeta a rapidez com que as organizações podem aprender novos padrões e agir com os clientes no momento.

Trazer IA para os dados é algo em que nos concentramos muito na DataStax com nossos esforços de IA em tempo real , porque é a maneira mais rápida de realizar ações com base em ML/IA, encantar os clientes e gerar receita. Trazer a IA para o data center, e não apenas para a nuvem, é outro passo muito importante para tornar a onda transformacional da tecnologia de IA algo da qual todas as empresas possam fazer parte.

*Conheça o novo DataStax AI Partner Program , que conecta empresas com startups de IA inovadoras para acelerar o desenvolvimento e a implantação de aplicativos de IA para clientes.*

Por Ed Anuff, DataStax