IA de código aberto é o caminho a seguir. Republicado com permissão da Meta. Nos primórdios da computação de alto desempenho, as principais empresas de tecnologia da época investiram pesadamente no desenvolvimento de suas próprias versões de código fechado do Unix. Na época, era difícil imaginar que qualquer outra abordagem pudesse desenvolver um software tão avançado. Eventualmente, porém, o Linux de código aberto ganhou popularidade – inicialmente porque permitiu aos desenvolvedores modificar seu código da maneira que quisessem e era mais acessível, e ao longo do tempo porque se tornou mais avançado, mais seguro e tinha um ecossistema mais amplo suportando mais capacidades do que qualquer Unix fechado. . Hoje, o Linux é a base padrão da indústria tanto para a computação em nuvem quanto para os sistemas operacionais que executam a maioria dos dispositivos móveis – e todos nós nos beneficiamos de produtos superiores por causa disso. Acredito que a IA se desenvolverá de maneira semelhante. Hoje, diversas empresas de tecnologia estão desenvolvendo modelos fechados líderes. Mas o código aberto está rapidamente fechando a lacuna. No ano passado, o Llama 2 só era comparável a uma geração mais antiga de modelos atrás da fronteira. Este ano, o Llama 3 é competitivo com os modelos mais avançados e líder em algumas áreas. A partir do próximo ano, esperamos que os futuros modelos Llama se tornem os mais avançados do setor. Mas mesmo antes disso, a Llama já é líder em abertura, modificabilidade e eficiência de custos. Hoje estamos dando os próximos passos para que a IA de código aberto se torne o padrão da indústria. Estamos lançando o Llama 3.1 405B, o primeiro modelo de IA de código aberto de nível de fronteira, bem como os novos e aprimorados modelos Llama 3.1 70B e 8B. Além de ter custo/desempenho significativamente melhor em relação aos modelos fechados, o fato do modelo 405B ser aberto o tornará a melhor escolha para ajuste fino e destilação de modelos menores. Além de lançar esses modelos, estamos trabalhando com diversas empresas para expandir o ecossistema mais amplo. Amazon, Databricks e NVIDIA estão lançando conjuntos completos de serviços para apoiar os desenvolvedores no ajuste fino e na destilação de seus próprios modelos. Inovadores como Groq criaram serviços de inferência de baixa latência e baixo custo para todos os novos modelos. Os modelos estarão disponíveis em todas as principais nuvens, incluindo AWS, Azure, Google, Oracle e muito mais. Empresas como a Scale. AI, Dell, Deloitte e outros estão prontos para ajudar as empresas a adotar o Llama e treinar modelos personalizados com seus próprios dados. À medida que a comunidade cresce e mais empresas desenvolvem novos serviços, podemos coletivamente tornar o Llama o padrão da indústria e levar os benefícios da IA a todos. Meta está comprometida com IA de código aberto. Descreverei por que acredito que o código aberto é a melhor pilha de desenvolvimento para você, por que o código aberto Llama é bom para o Meta e por que a IA de código aberto é boa para o mundo e, portanto, uma plataforma que existirá no longo prazo. Por que a IA de código aberto é boa para desenvolvedores Quando converso com desenvolvedores, CEOs e autoridades governamentais em todo o mundo, geralmente ouço vários temas: Cada organização tem necessidades diferentes que são melhor atendidas com modelos de tamanhos diferentes treinados ou ajustados com seus dados específicos. Tarefas no dispositivo e tarefas de classificação requerem modelos pequenos, enquanto tarefas mais complicadas requerem modelos maiores. Agora você poderá pegar os modelos Llama mais avançados, continuar treinando-os com seus próprios dados e, em seguida, reduzi-los a um modelo de tamanho ideal – sem que nós ou qualquer outra pessoa vejamos seus dados. Precisamos treinar, ajustar e destilar nossos próprios modelos. Muitas organizações não querem depender de modelos que não possam gerir e controlar sozinhas. Eles não querem que os provedores de modelos fechados possam mudar seu modelo, alterar seus termos de uso ou até mesmo parar de atendê-los totalmente. Eles também não querem ficar presos a uma única nuvem que tenha direitos exclusivos sobre um modelo. O código aberto permite um amplo ecossistema de empresas com conjuntos de ferramentas compatíveis entre os quais você pode alternar facilmente. Precisamos controlar nosso próprio destino e não ficar presos a um fornecedor fechado. Muitas organizações lidam com dados confidenciais que precisam proteger e não podem enviar para modelos fechados por meio de APIs de nuvem. Outras organizações simplesmente não confiam seus dados nos fornecedores de modelos fechados. O código aberto resolve esses problemas permitindo que você execute os modelos onde quiser. É bem aceito que o software de código aberto tende a ser mais seguro porque é desenvolvido de forma mais transparente. Precisamos proteger nossos dados. Os desenvolvedores podem executar inferência no Llama 3.1 405B em sua própria infraestrutura por aproximadamente 50% do custo do uso de modelos fechados como GPT-4o, tanto para tarefas de inferência off-line quanto para o usuário. Precisamos de um modelo que seja eficiente e acessível para operar. Muitas pessoas percebem que o código aberto está avançando em um ritmo mais rápido do que os modelos fechados e querem construir seus sistemas na arquitetura que lhes dará a maior vantagem no longo prazo. Queremos investir no ecossistema que será o padrão no longo prazo. Por que a IA de código aberto é boa para o Meta O modelo de negócios da Meta consiste em construir as melhores experiências e serviços para as pessoas. Para fazer isso, temos de garantir que temos sempre acesso à melhor tecnologia e que não estamos presos ao ecossistema fechado de um concorrente, onde eles podem restringir o que construímos. Uma das minhas experiências formativas foi construir nossos serviços limitados pelo que a Apple nos permitirá construir em suas plataformas. Entre a forma como tributam os desenvolvedores, as regras arbitrárias que aplicam e todas as inovações de produtos que bloqueiam o envio, fica claro que a Meta e muitas outras empresas seriam liberadas para construir serviços muito melhores para as pessoas se pudéssemos construir as melhores versões de nossos produtos e concorrentes não foram capazes de restringir o que poderíamos construir. A nível filosófico, esta é uma das principais razões pelas quais acredito tão fortemente na construção de ecossistemas abertos em IA e AR/VR para a próxima geração de computação. As pessoas costumam perguntar se estou preocupado em abrir mão de uma vantagem técnica ao abrir o código do Llama, mas acho que isso perde o panorama geral por alguns motivos: Primeiro, para garantir que tenhamos acesso à melhor tecnologia e não fiquemos presos a um ecossistema fechado a longo prazo, o Llama precisa evoluir para um ecossistema completo de ferramentas, melhorias de eficiência, otimizações de silício e outras integrações. Se fôssemos a única empresa a usar o Llama, esse ecossistema não se desenvolveria e não nos sairíamos melhor do que as variantes fechadas do Unix. Em segundo lugar, espero que o desenvolvimento da IA continue a ser muito competitivo, o que significa que o código aberto de qualquer modelo não está a proporcionar uma enorme vantagem sobre os próximos melhores modelos naquele momento. O caminho para o Llama se tornar o padrão da indústria é ser consistentemente competitivo, eficiente e aberto, geração após geração. Terceiro, uma diferença fundamental entre os provedores de modelo Meta e de modelo fechado é que vender acesso a modelos de IA não é nosso modelo de negócios. Isso significa que liberar abertamente o Llama não prejudica nossa receita, sustentabilidade ou capacidade de investir em pesquisa como acontece com fornecedores fechados. (Esta é uma das razões pelas quais vários fornecedores fechados pressionam consistentemente os governos contra o código aberto.) Finalmente, Meta tem uma longa história de projetos e sucessos de código aberto. Economizamos bilhões de dólares ao lançar nossos projetos de servidores, redes e data centers com o Open Compute Project e padronizar as cadeias de suprimentos em nossos projetos. Nos beneficiamos das inovações do ecossistema ao abrir o código-fonte de ferramentas líderes como PyTorch, React e muitas outras ferramentas. Essa abordagem tem funcionado consistentemente para nós quando a mantemos no longo prazo. Por que a IA de código aberto é boa para o mundo Acredito que o código aberto é necessário para um futuro positivo da IA. A IA tem mais potencial do que qualquer outra tecnologia moderna para aumentar a produtividade humana, a criatividade e a qualidade de vida – e para acelerar o crescimento económico, ao mesmo tempo que promove o progresso na investigação médica e científica. O código aberto garantirá que mais pessoas em todo o mundo tenham acesso aos benefícios e oportunidades da IA, que o poder não esteja concentrado nas mãos de um pequeno número de empresas e que a tecnologia possa ser implementada de forma mais uniforme e segura em toda a sociedade. Há um debate contínuo sobre a segurança dos modelos de IA de código aberto, e minha opinião é que a IA de código aberto será mais segura do que as alternativas. Acredito que os governos concluirão que é do seu interesse apoiar o código aberto porque isso tornará o mundo mais próspero e mais seguro. A minha estrutura para compreender a segurança é que precisamos de nos proteger contra duas categorias de danos: não intencionais e intencionais. Danos não intencionais ocorrem quando um sistema de IA pode causar danos mesmo quando não era intenção daqueles que o executam fazê-lo. Por exemplo, os modelos modernos de IA podem, inadvertidamente, dar maus conselhos de saúde. Ou, em cenários mais futuristas, alguns temem que os modelos possam replicar-se involuntariamente ou hiperotimizar os objetivos, em detrimento da humanidade. Dano intencional ocorre quando um mau ator usa um modelo de IA com o objetivo de causar danos. Vale a pena notar que os danos não intencionais abrangem a maioria das preocupações que as pessoas têm em torno da IA – desde a influência que os sistemas de IA terão sobre os milhares de milhões de pessoas que os utilizarão até à maioria dos cenários de ficção científica verdadeiramente catastróficos para a humanidade. Nesta frente, o código aberto deveria ser significativamente mais seguro, uma vez que os sistemas são mais transparentes e podem ser amplamente examinados. Historicamente, o software de código aberto tem sido mais seguro por esse motivo. Da mesma forma, usar o Llama com seus sistemas de segurança como o Llama Guard provavelmente será mais seguro e protegido do que os modelos fechados. Por esse motivo, a maioria das conversas sobre segurança de IA de código aberto concentra-se em danos intencionais. Nosso processo de segurança inclui testes rigorosos e equipes para avaliar se nossos modelos são capazes de causar danos significativos, com o objetivo de mitigar os riscos antes do lançamento. Como os modelos são abertos, qualquer pessoa também pode testar por si mesma. Devemos ter em mente que estes modelos são treinados por informações que já estão na Internet, por isso o ponto de partida ao considerar os danos deve ser se um modelo pode facilitar mais danos do que informações que podem ser rapidamente recuperadas do Google ou de outros resultados de pesquisa. Ao raciocinar sobre danos intencionais, é útil distinguir entre o que os atores individuais ou de pequena escala podem ser capazes de fazer, em oposição ao que os atores de grande escala, como os Estados-nação, com vastos recursos, podem ser capazes de fazer. Em algum momento no futuro, os malfeitores individuais poderão ser capazes de usar a inteligência dos modelos de IA para fabricar danos inteiramente novos a partir das informações disponíveis na Internet. Neste ponto, o equilíbrio de poder será crítico para a segurança da IA. Penso que será melhor viver num mundo onde a IA seja amplamente utilizada, para que os intervenientes maiores possam verificar o poder dos intervenientes mal-intencionados mais pequenos. Foi assim que gerimos a segurança nas nossas redes sociais: os nossos sistemas de IA mais robustos identificam e impedem ameaças de intervenientes menos sofisticados que utilizam frequentemente sistemas de IA de menor escala. De forma mais ampla, as instituições de maior dimensão que implementem a IA em grande escala promoverão a segurança e a estabilidade em toda a sociedade. Desde que todos tenham acesso a gerações semelhantes de modelos – promovidos pelo código aberto – os governos e instituições com mais recursos computacionais poderão verificar os maus atores com menos computação. A próxima questão é como os EUA e as nações democráticas deveriam lidar com a ameaça de estados com recursos maciços como a China. A vantagem dos Estados Unidos é a inovação descentralizada e aberta. Algumas pessoas argumentam que devemos fechar os nossos modelos para evitar que a China tenha acesso a eles, mas a minha opinião é que isso não funcionará e apenas prejudicará os EUA e os seus aliados. Nossos adversários são ótimos em espionagem, roubar modelos que cabem em um pen drive é relativamente fácil e a maioria das empresas de tecnologia está longe de operar de uma forma que tornaria isso mais difícil. Parece mais provável que um mundo apenas de modelos fechados resulte num pequeno número de grandes empresas, além dos nossos adversários geopolíticos, terem acesso a modelos líderes, enquanto startups, universidades e pequenas empresas perdem oportunidades. Além disso, restringir a inovação americana ao desenvolvimento fechado aumenta a probabilidade de não liderarmos de todo. Em vez disso, penso que a nossa melhor estratégia é construir um ecossistema aberto e robusto e fazer com que as nossas principais empresas trabalhem em estreita colaboração com o nosso governo e aliados para garantir que possam tirar o melhor partido dos mais recentes avanços e alcançar uma vantagem sustentável de serem pioneiros a longo prazo. Ao considerar as oportunidades futuras, lembre-se de que a maioria das principais empresas de tecnologia e pesquisas científicas de hoje são baseadas em software de código aberto. A próxima geração de empresas e de investigação utilizará IA de código aberto se investirmos colectivamente nela. Isso inclui startups que estão apenas começando, bem como pessoas em universidades e países que podem não ter os recursos para desenvolver sua própria IA de última geração a partir do zero. O resultado final é que a IA de código aberto representa a melhor oportunidade mundial de aproveitar esta tecnologia para criar a maior oportunidade económica e segurança para todos. Vamos construir isso juntos Com os modelos anteriores do Llama, a Meta os desenvolveu para nós mesmos e depois os lançou, mas não se concentrou muito na construção de um ecossistema mais amplo. Estamos adotando uma abordagem diferente com este lançamento. Estamos formando equipes internamente para permitir que o maior número possível de desenvolvedores e parceiros usem o Llama, e estamos construindo ativamente parcerias para que mais empresas no ecossistema possam oferecer funcionalidades exclusivas também aos seus clientes. Acredito que o lançamento do Llama 3.1 será um ponto de inflexão na indústria onde a maioria dos desenvolvedores começa a usar principalmente código aberto, e espero que essa abordagem só cresça a partir daqui. Espero que você se junte a nós nesta jornada para levar os benefícios da IA a todas as pessoas do mundo. Você pode acessar os modelos agora em . llama.meta.com 💪, MZ
