Modelos proprietários de IA estão mortos - ou estão?

Alguns meses atrás, houve uma declaração de que modelos de inteligência artificial generativa de código aberto dominará o campo. Os especialistas citam um memorando vazou do Google que afirma que a gigante das buscas perdeu sua vantagem competitiva no campo da IA generativa por causa dos modelos de código aberto.

O argumento é mais ou menos assim:

1. Os algoritmos de aprendizado de máquina de código aberto excederam os recursos dos algoritmos proprietários.
2. Ao usar algoritmos de código aberto para treinar modelos em conjuntos de dados de código aberto, o desempenho dos modelos “fundacionais” é muito bom em relação aos benchmarks.
3. O uso de técnicas como “ajuste fino” (o processo de combinar seus dados com os dados de código aberto) para construir um modelo evita a necessidade de usar conjuntos de dados proprietários da Big Tech.
4. Portanto, os modelos proprietários estão mortos.

Então Google I/O 2023 ocorrido. Google Bardo , um mecanismo de pesquisa de IA generativo construído em seu próprio conjunto de dados proprietário, obteve elogios . O recurso mais citado é a capacidade de incorporar dados em tempo real em seu modelo.

Vamos dar uma olhada em por que os modelos proprietários desempenharão um papel valioso no futuro com uma análise do argumento acima:

1. Os algoritmos de aprendizado de máquina de código aberto excederam os recursos dos algoritmos proprietários? Sim. O memorando interno do Google discute como o desempenho e a inovação dos algoritmos pela comunidade de código aberto eclipsaram seu próprio ritmo de desenvolvimento.
2. Ao usar algoritmos de código aberto para treinar modelos em conjuntos de dados de código aberto, o desempenho dos modelos “fundacionais” é bom em relação aos benchmarks? Cuidado com os benchmarks. Se o objetivo do modelo é apenas entender o inglês, usar um corpus de dados de código aberto é bom. Mas e se o seu modelo puder se beneficiar de dados em “tempo real” — assim como os usuários se beneficiam da pesquisa de dados em tempo real da Bard? Então, a referência precisará ser a capacidade de entender o inglês e entender os eventos recentes no mundo.
3. Técnicas como “ajuste fino” para construir um modelo evitam a necessidade de usar conjuntos de dados proprietários da Big Tech? Mais uma vez, com o que seus usuários se importam? Seu conjunto de dados proprietário pode trazer TODO o contexto em tempo real de que você precisa?
4. Então, os modelos fundacionais proprietários estão realmente mortos? Não tão rápido …

O custo do sucesso da IA generativa

Acontece que obter acesso a dados em tempo real para construir modelos é caro. O Google gasta bilhões de dólares para construir infraestrutura para indexar a web em tempo real para construir seus modelos generativos, e você pode apostar que será proprietário.

Vamos pegar o exemplo de dois chatbots de viagens aéreas construídos sobre dois modelos básicos diferentes; um chatbot é de código aberto e outro é proprietário com dados em tempo real. O chatbot de viagem é “ajustado” com um conjunto de dados de informações de voo proprietário para recomendar quais voos pegar. Em muitos casos, ambos os chatbots fornecerão a mesma resposta. No entanto, se uma grande tempestade atingir um aeroporto, o chatbot construído com dados proprietários em tempo real fornecerá informações de voo que evitam voos afetados pela tempestade. Isso é inestimável para os usuários e, portanto, também será valioso para os desenvolvedores.

O futuro dos modelos fundamentais de IA

Então, isso significa que todo caso de uso de IA generativa precisa de um modelo básico construído a partir de dados proprietários em tempo real? Não, mas há outras razões pelas quais um modelo fundacional proprietário será necessário:

1. Conjuntos de dados próprios proprietários Considere este exemplo: o Google Bard utiliza todo o YouTube para criar seu modelo básico. Se o seu caso de uso de IA generativa puder se beneficiar da grande quantidade de informações e conhecimentos enviados ao YouTube, convém usar um modelo básico do Google.
2. Conjuntos de dados de personalização Quando um modelo básico é treinado com dados personalizados, o modelo (também conhecido como rede neural) terá aspectos de informações pessoais nele. O uso desses modelos para fazer inferência pode ser feito de forma a não vazar informações pessoais, mas se todo o modelo for exportado, é possível extrair informações pessoais de usuários específicos observando os parâmetros do modelo. Apesar dos avanços no aprendizado federado, não há uma maneira infalível de permitir que o modelo seja exportado sem comprometer a privacidade.

Então, como serão os futuros modelos fundamentais? Provavelmente algo assim:

1. Algoritmos serão de código aberto
2. Os conjuntos de dados serão proprietários em alguns casos, devido ao custo de manutenção de um conjunto de dados em tempo real e personalização, e de código aberto em outros.

Supondo que esta seja a arquitetura predominante, quais são os efeitos secundários?

1. As empresas que buscam construir IA generativa provavelmente precisarão contar com modelos fundamentais de grandes empresas que têm o talão de cheques para manter sua própria infraestrutura de dados em tempo real e modelos básicos de código aberto para outros casos de uso
2. O conjunto de dados proprietários de que as empresas dependem também será cada vez mais em tempo real. Espere que os dados residam em bancos de dados NoSQL em tempo real, como o Apache Cassandra, transmitidos para as lojas de recursos usando tecnologias como o Apache Pulsar.
3. Para fins práticos, a inferência de modelos provavelmente acontecerá em data centers pertencentes a provedores de modelos fundamentais, como AWS, Microsoft e Google. Isso significa que os hiperescaladores provavelmente aumentarão em importância na era da IA. A inferência de modelos com base em modelos de código aberto fundamentais pode ser realizada nos data centers dos clientes.

Os efeitos secundários para DataStax (meu empregador) também são significativos. Como provedor de gerenciamento de dados, nosso investimento no fornecimento de serviços na nuvem por meio do DataStax Astra DB , que reside nas principais nuvens da AWS, Microsoft e Google, provavelmente crescerá à medida que a IA generativa se tornar mais prevalente na empresa.

Embora encorajemos e apoiemos o uso de modelos básicos de código aberto de empresas como Rosto Abraços , também estamos formando fortes parcerias de IA com os três grandes provedores de nuvem. Mais importante ainda, estamos usando o processo de contribuição da comunidade para recursos de upstream para Cassandra, como pesquisa vetorial , para garantir que as empresas possam criar seus próprios conjuntos de dados reais para IA em tempo real.

Por Alan Ho, DataStax