Alguns meses atrás, houve uma declaração de que  dominará o campo. Os especialistas citam um  que afirma que a gigante das buscas perdeu sua vantagem competitiva no campo da IA generativa por causa dos modelos de código aberto.   modelos de inteligência artificial generativa de código aberto   memorando vazou do Google  O argumento é mais ou menos assim:  Os algoritmos de aprendizado de máquina de código aberto excederam os recursos dos algoritmos proprietários.  Ao usar algoritmos de código aberto para treinar  em conjuntos de dados de código aberto, o desempenho dos modelos “fundacionais” é muito bom em relação aos benchmarks.   modelos  O uso de técnicas como “ajuste fino” (o processo de combinar seus dados com os dados de código aberto) para construir um modelo evita a necessidade de usar conjuntos de dados proprietários da Big Tech.  Portanto, os modelos proprietários estão mortos.  Então  ocorrido.  , um mecanismo de pesquisa de IA generativo construído em seu próprio conjunto de dados proprietário, obteve  . O recurso mais citado é a capacidade de incorporar dados em tempo real em seu modelo.   Google I/O 2023   Google Bardo   elogios  Vamos dar uma olhada em por que os modelos proprietários desempenharão um papel valioso no futuro com uma análise do argumento acima:    Sim. O memorando interno do Google discute como o desempenho e a inovação dos algoritmos pela comunidade de código aberto eclipsaram seu próprio ritmo de desenvolvimento. Os algoritmos de aprendizado de máquina de código aberto excederam os recursos dos algoritmos proprietários?    Cuidado com os benchmarks. Se o objetivo do modelo é apenas entender o inglês, usar um corpus de dados de código aberto é bom. Mas e se o seu modelo puder se beneficiar de dados em “tempo real” — assim como os usuários se beneficiam da pesquisa de dados em tempo real da Bard? Então, a referência precisará ser a capacidade de entender o inglês   entender os eventos recentes no mundo. Ao usar algoritmos de código aberto para treinar modelos em conjuntos de dados de código aberto, o desempenho dos modelos “fundacionais” é bom em relação aos benchmarks? e    Mais uma vez, com o que seus usuários se importam? Seu conjunto de dados proprietário pode trazer TODO o contexto em tempo real de que você precisa? Técnicas como “ajuste fino” para construir um modelo evitam a necessidade de usar conjuntos de dados proprietários da Big Tech?    Não tão rápido … Então, os modelos fundacionais proprietários estão realmente mortos?  O custo do sucesso da IA generativa  Acontece que obter acesso a dados em tempo real para construir modelos é caro. O Google gasta bilhões de dólares para construir infraestrutura para indexar a web em tempo real para construir seus modelos generativos, e você pode apostar que será proprietário.  Vamos pegar o exemplo de dois chatbots de viagens aéreas construídos sobre dois modelos básicos diferentes; um chatbot é de código aberto e outro é proprietário com dados em tempo real. O chatbot de viagem é “ajustado” com um conjunto de dados de informações de voo proprietário para recomendar quais voos pegar. Em muitos casos, ambos os chatbots fornecerão a mesma resposta. No entanto, se uma grande tempestade atingir um aeroporto, o chatbot construído com dados proprietários em tempo real fornecerá informações de voo que evitam voos afetados pela tempestade. Isso é inestimável para os usuários e, portanto, também será valioso para os desenvolvedores.  O futuro dos modelos fundamentais de IA  Então, isso significa que todo caso de uso de IA generativa precisa de um modelo básico construído a partir de dados proprietários em tempo real? Não, mas há outras razões pelas quais um modelo fundacional proprietário será necessário:  Conjuntos de dados próprios proprietários Considere este exemplo: o Google Bard utiliza todo o YouTube para criar seu modelo básico. Se o seu caso de uso de IA generativa puder se beneficiar da grande quantidade de informações e conhecimentos enviados ao YouTube, convém usar um modelo básico do Google.  Conjuntos de dados de personalização Quando um modelo básico é treinado com dados personalizados, o modelo (também conhecido como rede neural) terá aspectos de informações pessoais nele. O uso desses modelos para fazer inferência pode ser feito de forma a não vazar informações pessoais, mas se todo o modelo for exportado, é possível extrair informações pessoais de usuários específicos observando os parâmetros do modelo. Apesar dos avanços no aprendizado federado, não há uma maneira infalível de permitir que o modelo seja exportado sem comprometer a privacidade.  Então, como serão os futuros modelos fundamentais? Provavelmente algo assim:  Algoritmos serão de código aberto  Os conjuntos de dados serão proprietários em alguns casos, devido ao custo de manutenção de um conjunto de dados em tempo real e personalização, e de código aberto em outros.  Supondo que esta seja a arquitetura predominante, quais são os efeitos secundários?  As empresas que buscam construir IA generativa provavelmente precisarão contar com modelos fundamentais de grandes empresas que têm o talão de cheques para manter sua própria infraestrutura de dados em tempo real e modelos básicos de código aberto para outros casos de uso  O conjunto de dados proprietários de que as empresas dependem também será cada vez mais em tempo real. Espere que os dados residam em bancos de dados NoSQL em tempo real, como o Apache Cassandra, transmitidos para as lojas de recursos usando tecnologias como o Apache Pulsar.  Para fins práticos, a inferência de modelos provavelmente acontecerá em data centers pertencentes a provedores de modelos fundamentais, como AWS, Microsoft e Google. Isso significa que os hiperescaladores provavelmente aumentarão em importância na era da IA. A inferência de modelos com base em modelos de código aberto fundamentais pode ser realizada nos data centers dos clientes.  Os efeitos secundários para DataStax (meu empregador) também são significativos. Como provedor de gerenciamento de dados, nosso investimento no fornecimento de serviços na nuvem por meio   , que reside nas principais nuvens da AWS, Microsoft e Google, provavelmente crescerá à medida que a IA generativa se tornar mais prevalente na empresa. do DataStax Astra DB  Embora encorajemos e apoiemos o uso de modelos básicos de código aberto de empresas como  , também estamos formando fortes parcerias de IA com os três grandes provedores de nuvem. Mais importante ainda, estamos usando o processo de contribuição da comunidade para recursos de upstream para Cassandra, como   , para garantir que as empresas possam criar seus próprios conjuntos de dados reais para IA em tempo real.   Rosto Abraços pesquisa vetorial   Por Alan Ho, DataStax  Publicado também   . aqui

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Modelos proprietários de IA estão mortos - ou estão?

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

Uma breve introdução à teoria do cérebro de Boltzmann

Valhalla de Floki se junta como patrocinador associado da viagem da Índia ao Sri Lanka

Toque para ganhar: Telegram pode integrar os próximos 10 bilhões de usuários criptográficos antes de Solana

Uma breve introdução à teoria do cérebro de Boltzmann

Valhalla de Floki se junta como patrocinador associado da viagem da Índia ao Sri Lanka

Toque para ganhar: Telegram pode integrar os próximos 10 bilhões de usuários criptográficos antes de Solana

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps