Código aberto: o próximo passo na revolução da IA

Imagine um futuro onde a IA não esteja trancada em cofres corporativos, mas construída abertamente, tijolo por tijolo, por uma comunidade global de inovadores. Onde a colaboração, e não a competição, impulsiona os avanços, e as considerações éticas têm o mesmo peso do desempenho bruto. Isto não é ficção científica, é a revolução do código aberto que está se formando no coração do desenvolvimento da IA. Mas a Big Tech tem a sua própria agenda, mascarando modelos restritos como código aberto enquanto tenta colher os benefícios de uma comunidade verdadeiramente aberta.

Vamos remover as camadas de código e revelar a verdade por trás desses esforços. Esta exploração do futuro da IA de código aberto dissecará os “pretendentes” e defenderá os “reais” no desenvolvimento de IA para descobrir o mecanismo de inovação que é o software de código aberto que funciona por trás de tudo. O resultado final é que a IA de código aberto gerará uma pilha de dados de código aberto.

A necessidade

Um artigo recente de Matteo Wong no The Atlantic, ' Nunca existiu algo como IA 'aberta' 'descreve uma tendência crescente na academia e na comunidade de software para IA verdadeiramente de código aberto. “A ideia é criar modelos relativamente transparentes que o público possa usar, estudar e reproduzir de forma mais fácil e barata, tentando democratizar uma tecnologia altamente concentrada que pode ter o potencial de transformar o trabalho, a polícia, o lazer e até a religião.” Esse mesmo Atlântico sugere que grandes empresas tecnológicas como a Meta estão a tentar satisfazer esta necessidade do mercado através da “lavagem aberta” dos seus produtos. Eles estão assumindo as qualidades e a reputação positiva da comunidade de código aberto sem realmente abrir o código de seu produto. Mas não há substituto para a coisa real. Isto ocorre porque o verdadeiro software de código aberto impulsiona a inovação e a colaboração: duas qualidades que são desesperadamente necessárias para avançar com a IA de forma responsável.

Os pretendentes

LLaMA 2 é um grande modelo de linguagem criado pela Meta que é de uso gratuito para pesquisa e uso comercial. Levando alguns a sugerir que o LLaMA 2 é de código aberto. No entanto, Meta implementou algumas restrições severas ao uso de seu modelo. Por exemplo, o LLaMA 2 não pode ser usado para melhorar nenhum outro modelo de linguagem grande. Uma posição que vai contra o tradicional modelo de inovação coletiva privada de software aberto que promove a revelação livre e aberta da inovação para o benefício de todos na comunidade de software.

A Meta prejudicou ainda mais o uso de seu modelo ao não permitir a integração do LLaMA 2 com produtos que têm 700 milhões de usuários mensais e ao não divulgar em quais dados seu modelo foi treinado ou o código usado para construí-lo. Ao não divulgar, a Meta está se abrindo a questões de preconceito inerente e discriminação acidental. Um modelo treinado em dados discriminatórios servir respostas discriminatórias . Sem que a comunidade de software em geral seja capaz de visualizar o código utilizado para construir o modelo para ver se foram incorporadas quaisquer salvaguardas ou os dados utilizados para o treinar, ficamos no escuro sobre estas questões morais. Numa época em que pesquisa publicada sobre IA está mais preocupado com o desempenho do que com a justiça e o respeito, esta ofuscação é particularmente perturbadora.

Os verdadeiros

IA Mistral ganhou reconhecimento por seus grandes modelos de linguagem de código aberto, notadamente Mistral 7B e Mixtral 8x7B. A empresa se esforça para garantir ampla acessibilidade aos seus modelos de IA, incentivando a revisão, modificação e reutilização pela comunidade de software aberto.

vLLM significa "serviço de modelo vetorizado de baixa latência" e é uma biblioteca de código aberto projetada especificamente para acelerar e otimizar grandes modelos de linguagem (LLMs). É uma ferramenta poderosa que pode melhorar significativamente o desempenho e a usabilidade dos LLMs. Isso o torna um recurso valioso para desenvolvedores que trabalham em uma variedade de aplicações de IA, desde chatbots e assistentes virtuais até criação de conteúdo e geração de código. Tanto é que Mistral recomenda usar o vLLM como servidor de inferência para os modelos 7B e 8x7B.

Eleuther AI é um laboratório de pesquisa de IA sem fins lucrativos que cresceu de um servidor Discord para discutir GPT-3 para uma organização líder de pesquisa sem fins lucrativos. O grupo é conhecido por seu trabalho na formação e promoção de normas de ciência aberta em Processamento de Linguagem Natural. Eles lançaram vários modelos de linguagem de código aberto e estão envolvidos em projetos de pesquisa relacionados ao alinhamento e interpretabilidade da IA. Deles Chicote LM projeto é provavelmente a principal ferramenta de avaliação de código aberto para modelos de linguagem.

Phi-2 é o LLM da Microsoft que está acima de seu peso. Treinado em uma mistura de textos sintéticos e sites filtrados, este modelo pequeno, mas poderoso, se destaca em tarefas como resposta a perguntas, resumo e tradução. O que realmente diferencia o Phi-2 é seu foco no raciocínio e na compreensão da linguagem, levando a um desempenho impressionante mesmo sem técnicas avançadas de alinhamento.

Muitos modelos competentes de incorporação de código aberto estão fortalecendo o espaço geral de IA generativa de código aberto. Estes são o estado da arte atual para código aberto e incluem Emirados Árabes Unidos-Grande-V1 e multilíngue-e5-largel .

Existem muitos mais neste campo em constante crescimento. Esta lista limitada é apenas o começo.

Código aberto impulsiona inovação

Abraçando uma filosofia de extrema inovação aberta, as empresas que realmente participam no desenvolvimento de software de código aberto desafiam as noções tradicionais de vantagem competitiva, reconhecendo que nem todos os bons códigos ou grandes ideias residem em sua organização . Esta mudança apoia a argumento que as inovações compartilhadas dentro do ecossistema de código aberto levam a um crescimento mais rápido do mercado, proporcionando às empresas de software ainda menores fundos de P&D mais limitados. oportunidade de beneficiar de repercussões de P&D presentes em software de código aberto. Isto porque, em contraste com a terceirização tradicional, a inovação aberta aumenta os recursos internos alavancando a inteligência coletiva da comunidade, sem diminuir os esforços internos de P&D. O que significa que as empresas de software de código aberto não precisam sacrificar seus orçamentos para buscar liderança inovadora e código fora de sua organização.

Além disso, as empresas de software de código aberto impulsionam estrategicamente a inovação ao liberar código antecipadamente e com frequência , reconhecendo a natureza cumulativa do processo de inovação na comunidade de software. Tudo isso para dizer algo que muitos já reconhecem: o software de código aberto impulsiona a inovação.

Código aberto promove colaboração

Através rede na comunidade de software de código aberto, os empreendedores são capazes de cumprir metas de curto e longo prazo. As metas de lucro de curto prazo constroem empresas e as metas de lucro de longo prazo as sustentam. Ao mesmo tempo, este esforço de networking autoperpetua a própria rede – fazendo-a crescer para o próximo empreendedor. É bem sabido que as plataformas de código aberto fornecem acesso ao código-fonte, permitindo aos desenvolvedores criar atualizações, plug-ins e outros softwares e utilizá-los de acordo com suas necessidades. Este tipo específico de colaboração experimentou um boom com a ampla adoção do Kubernetes pela comunidade de software mais ampla. Agora, mais do que nunca, as tecnologias modernas trabalham juntas com muito pouco atrito e podem estar juntas em questão de minutos em quase qualquer lugar.

As grandes empresas de tecnologia reconhecem esta colaboração profunda inerente à comunidade de código aberto quando lançam gratuitamente estruturas, bibliotecas e linguagens que criaram para manter e desenvolver ferramentas internas. Isso aprofunda o conjunto de desenvolvedores capazes de trabalhar em seus produtos e começa a definir o padrão de como tecnologias similares devem funcionar. O mesmo artigo da Atlantic cita o fundador da Meta, Mark Zuckerberg, dizendo que “foi muito valioso para nós fornecer isso porque agora todos os melhores desenvolvedores da indústria estão usando ferramentas que também usamos internamente”.

Código aberto gera código aberto

Esses são fatores que explicam por que muitas vezes vemos sinergias entre empresas de código aberto. As empresas de IA e ML de código aberto desenvolverão naturalmente soluções com outros produtos de código aberto, desde produtos básicos, como armazenamento de objetos, até ferramentas de visualização. Quando uma empresa de código aberto dá um passo à frente, todos nós o fazemos. Esta abordagem coesa e combinada é provavelmente a nossa melhor aposta para desenvolver uma IA que adote uma abordagem centrada no ser humano. Essas forças naturais inerentes à necessidade do mercado por IA de código aberto, combinadas com as qualidades de inovação e colaboração do software de código aberto, impulsionarão a pilha de dados de IA de código aberto.

Participe e contribua para esta conversa e para nossa comunidade enviando um e-mail para olá@min.io ou enviando-nos uma mensagem em nosso canal Slack .