A batalha entre IA proprietária e de código aberto

Preparem-se, pessoal, a IA está dominando o mundo!

Bem, talvez ainda não tenha chegado lá. Mesmo assim, não se pode negar o nível de impacto que teve nos últimos 12 meses.

A parte estranha de tudo isso é que a “ inteligência artificial ” como conceito e como campo de estudo não é tão nova, mas “parece” nova com todos os chatbots e ferramentas alimentadas por IA que surgiram este ano.

Mais importante do que isso é o fato de que, no ano passado, a única ferramenta de IA amplamente conhecida era o GPT-3 e depois o ChatGPT. Mas agora você pode ter dificuldade em rastrear todas as diferentes ferramentas de IA, chatbots e LLMs disponíveis.

Todos eles se enquadram em 2 categorias:

Código fechado (como ChatGPT e Claude)

Código aberto (como Falcon ou Mistral)

E é aqui que tudo fica interessante.

Por mais populares e altamente sofisticados que os modelos proprietários de IA possam ser, existem modelos de código aberto causando ondas no espaço de IA e ultrapassando sua classe de peso.

É isso que veremos neste artigo. Com uma tecnologia tão revolucionária quanto a IA, o software proprietário, tipo caixa preta, é o caminho, ou o código aberto é uma opção melhor?

Essa e outras perguntas serão respondidas no episódio de hoje.

Aberto ou Fechado? Essa é a questão

Para começar, todo o processo científico foi construído sobre princípios de honestidade, integridade e transparência. Envolve abertura, colaboração e revisões por pares para validar as descobertas.

Muitos dos maiores avanços científicos do mundo, como pasteurização, penicilina e fertilizantes, foram possíveis graças ao trabalho colaborativo de muitos cientistas ao longo dos anos.

Freqüentemente, eles enfrentavam um grande problema para o qual não tinham recursos naquele momento. Eles publicaram suas descobertas e os cientistas, muitos anos depois, usaram-nas como base para desenvolver uma solução para o problema original em benefício da humanidade.

E isso também se aplica à tecnologia de código aberto. O mundo mudou quando os computadores deixaram de ser máquinas enormes que ocupavam salas inteiras para se tornarem dispositivos que qualquer casa pode ter.

E depois veio a Internet, que foi mais um passo em frente ao permitir o acesso à tecnologia a muitas pessoas, em vez de a poucos privilegiados.

Tim Berners-Lee inventou a World Wide Web em 1989 e a tornou disponível gratuitamente para todos, sem qualquer patente ou royalties. Isso alimentou o rápido crescimento da Internet e as muitas inovações que surgiram na década seguinte.

Uma história semelhante acontece com os sistemas operacionais, pense em Windows vs Linux. E o mesmo aconteceu com as tecnologias web.

Com todos estes exemplos anteriores, é lógico que uma tecnologia tão transformadora como a IA possa (ou deva) seguir um caminho semelhante.

Então, vamos ver como ambos os lados (IA fechada e de código aberto) progrediram este ano.

O estado da IA proprietária

Por enquanto, não é novidade para ninguém o impacto que o ChatGPT teve quando foi lançado em novembro passado. E durante o resto do ano, a IA proprietária tornou-se o assunto da cidade.

Em março de 2023, foi lançado o sucessor do GPT-3, o GPT-4. Esse evento desencadeou a corrida pela IA.

Logo, o Google entrou na briga com Bard . Depois veio a Anthropic, fundada por ex-pesquisadores da OpenAI, lançando Claude , um candidato ao popular ChatGPT.

A OpenAI é, até o momento, a empresa com mais “hits” do mercado.

Esses são os modelos GPT, diferentes versões do Dall-E e Whisper. A Microsoft também está lá em cima com seu novo e aprimorado Bing Chat (que é baseado na tecnologia OpenAI) e o Copilot, que em breve será incluído em todos os lugares.

O Google entrou na corrida com o projeto de pesquisa inicial Bard, que inicialmente decepcionou a todos e nos fez prestar mais atenção à Microsoft e às suas iniciativas. Mas depois desse projeto de “feira de ciências”, o Google intensificou seu jogo e lançou ofertas como Vertex AI, PaLM (e PaLM2), Imagen e Codey.

E depois há o Anthropic com diferentes versões de seu poderoso Claude (Claude-instant, Claude 2). A parte interessante é a abordagem que usaram para treinar Claude, o que chamam de “IA Constitucional”. Esta abordagem coloca a segurança em primeiro plano e ajuda a criar uma IA alinhada com os interesses e valores humanos.

São grandes avanços na área de IA que são mais conhecidos pelo fato de serem desenvolvidos por empresas que contam com diversos funcionários, amplos recursos e ótimos departamentos de marketing.

Agora, vamos olhar para o outro lado da moeda.

O estado da IA de código aberto

Desde o lançamento do GPT-4, não só os gigantes da tecnologia saltaram para participar na corrida da IA, mas também surgiram outros projectos independentes. Tornado possível por estruturas de ML de código aberto, como TensorFlow e PyTorch.

Stability AI lançou Stable Diffusion , uma alternativa ao Dall-E, e muitos entusiastas da tecnologia experimentaram extensivamente suas capacidades a ponto de levantar preocupações éticas em relação à natureza da arte e da criatividade.

Meta anunciou o lançamento de um modelo de linguagem grande quase aberto chamado LLaMA (com vários tamanhos de modelo e depois uma segunda versão).

Esse modelo, juntamente com os serviços Hugging Face (como Gradio, Spaces, Transformers), desencadearam uma revolução porque, pela primeira vez, pessoas em todo o mundo tiveram acesso a tecnologia de código aberto que rivalizava com tecnologias como ChatGPT ou PaLM.

E você sabe o que acontece quando um grupo de técnicos, hackers e entusiastas de tecnologia tem tempo e recursos suficientes? Sim, eles podem enlouquecer construindo coisas.

Os fóruns de nicho da Internet e canais de IRC dos anos 90, com o advento da Internet, foram substituídos por discussões do Hugging Face, problemas do GitHub e servidores Discord.

Outra coisa que contribuiu para o crescimento do código aberto foi o conjunto de dados Pile da EleutherAI. Esta iniciativa ajudou a progredir na aprendizagem não supervisionada e auto-supervisionada, reduzindo a necessidade de grandes conjuntos de dados rotulados.

Com os grandes modelos de linguagem, os conjuntos de dados para treiná-los/ajustá-los e os requisitos reduzidos para computação, logo surgiu todo um ecossistema de produtos e serviços.

(Quando digo requisitos reduzidos para computação, quero dizer que LLMs não precisam de uma tonelada de parâmetros para produzir a qualidade dos resultados gerados por modelos proprietários, isso é demonstrado por modelos como LLaMA 13B e Mistral 7B )

Há uma tonelada de projetos, modelos pré-treinados e ajustados, conjuntos de dados e ferramentas neste espaço disponíveis para todos que desejam entrar e colaborar com outras pessoas.

Agora temos diferentes tipos de chatbots que não dependem de GPT-3/GPT-4 para funcionar, como Zephyr-chat, LLaMA2-chat, Mistral-instruct e Falcon-chat.

LLMs ajustados para geração de código e assistência como Code-LLaMA , CodeGen e StarCoder .

Um modelo de linguagem multilíngue de acesso aberto chamado Bloom .

LLMs multimodais (que não são apenas texto) como LLaVA e Fuyu .

Uma tabela de classificação Hugging Face que avalia e classifica todos os modelos de código aberto existentes.

Vários conjuntos de dados para pré-treinamento e ajuste fino de LLMs, como RedPajama ou OpenOrca .

E, mais recentemente, temos modelos mais autônomos chamados “agentes de IA”.

Os mais populares são baseados em GPT-3.5, mas existem outros baseados em LLaMA.

E parece que estamos correndo para construir agentes que não fiquem presos em loops ou que possam concluir tarefas de forma independente, sem vomitar um monte de texto que pareça convincente, mas que seja impreciso ou totalmente errado.

Houve muito progresso apenas nos últimos 6 meses e você pode ter certeza de que nenhuma frente está mostrando sinais de desaceleração.

Daqui para frente

Mesmo com todo o progresso vertiginoso e acelerado que vimos no ano passado, ainda estamos no início do desenvolvimento da IA. Há várias coisas que precisamos descobrir, diferentes aspectos a serem considerados, como privacidade da IA, ética, preconceitos inerentes e assim por diante.

Como tudo na vida, nenhum lado está completamente errado e o outro está certo. Tanto a IA proprietária quanto a de código aberto têm seus prós e contras.

A IA proprietária pode aproveitar uma quantidade maior de recursos para treinar modelos novos e mais poderosos, ao mesmo tempo que fornece acesso às pessoas em uma escala mais ampla. Mas funcionam como uma caixa negra, carecem de observabilidade e os seus interesses podem estar mais alinhados com os grandes intervenientes com dinheiro do que com o consumidor normal.

A IA de código aberto, por outro lado, beneficia da colaboração mundial, da transparência e da inovação aberta. Mas carece de organização, de recursos para iniciativas mais ambiciosas e corre risco se forem estabelecidas regulamentações mais rigorosas.

A questão agora é como podemos manter o progresso na IA de forma híbrida.

Uma forma de podermos colaborar em conjunto com algumas das mentes mais brilhantes do setor e com os recursos necessários para impulsionar esta inovação de uma forma responsável que coloque a segurança e a privacidade em primeiro lugar.

Uma forma em que os interesses e benefícios de alguns não superem os do resto de nós. Uma forma pela qual tecnologias revolucionárias como a IA não sejam privatizadas, restringidas ou transformadas em armas contra grupos de pessoas consideradas “inimigas” das grandes potências.

Estamos num momento único na história em que as decisões que tomamos e a forma como lidamos com a tecnologia determinarão como o futuro tomará forma, para melhor ou para pior.

Obrigado por ler.

Não se esqueça de inscreva-se no Hackernoon e não perca os próximos artigos.