Código aberto: o seguinte paso na revolución da IA

Imaxina un futuro no que a IA non estea encerrada en bóvedas corporativas, senón construída ao aberto, ladrillo a ladrillo, por unha comunidade global de innovadores. Onde a colaboración, non a competencia, alimenta os avances e as consideracións éticas teñen o mesmo peso que o rendemento bruto. Isto non é ciencia ficción, é a revolución de código aberto que se está gestando no corazón do desenvolvemento da IA. Pero Big Tech ten a súa propia axenda, enmascarando os modelos restrinxidos como de código aberto ao tempo que intenta aproveitar os beneficios dunha comunidade verdadeiramente aberta.

Despeguemos as capas de código e desvelemos a verdade detrás destes esforzos. Esta exploración do futuro da IA de código aberto analizará os "pretendentes" e defenderá os "reais" no desenvolvemento da IA para descubrir o motor de innovación que é o software de código aberto que se atopa debaixo de todo. A conclusión é que a IA de código aberto xerará unha pila de datos de código aberto.

A Necesidade

Un artigo recente de Matteo Wong en The Atlantic, ' Nunca houbo cousa como a IA "aberta". ' describe unha tendencia crecente no mundo académico e na comunidade de software para a IA de código aberto verdadeiramente. "A idea é crear modelos relativamente transparentes que o público poida usar, estudar e reproducir de forma máis sinxela e económica, intentando democratizar unha tecnoloxía altamente concentrada que pode ter o potencial de transformar o traballo, a policía, o lecer e mesmo a relixión". Ese mesmo Atlántico suxire que as grandes empresas tecnolóxicas como Meta intentan cubrir esta necesidade no mercado "lavando abertos" os seus produtos. Están asumindo as calidades e a reputación positiva da comunidade de código aberto sen realmente o seu produto. Pero, non hai substituto para o real. Isto débese a que o verdadeiro software de código aberto impulsa a innovación e a colaboración: dúas calidades que se necesitan desesperadamente para avanzar coa IA de forma responsable.

Os Pretendentes

LLaMA 2, é un gran modelo de linguaxe creado por Meta que é gratuíto para usos de investigación e comerciais. Levando a algúns a suxerir que LLaMA 2 é de código aberto. Non obstante, Meta implementou algunhas restricións severas no uso do seu modelo. Por exemplo, LLaMA 2 non se pode usar para mellorar ningún outro modelo de linguaxe grande. Unha postura que vai en contra do tradicional modelo de innovación colectiva privada de software aberto que promove a revelación libre e aberta da innovación en beneficio de todos na comunidade de software.

Meta paralizou aínda máis o uso do seu modelo ao non permitir a integración de LLaMA 2 con produtos que teñen 700 millóns de usuarios mensuais e ao non revelar en que datos está adestrado o seu modelo nin o código que utilizaron para crealo. Ao non divulgar, Meta está a abrirse a cuestións de sesgo inherente e discriminación accidental. Un modelo formado en datos discriminatorios será ofrecer respostas discriminatorias . Sen que a comunidade de software en xeral poida ver o código utilizado para construír o modelo para ver se se incorporaron algunha garantía ou os datos utilizados para adestralo, quedamos na escuridade sobre estas cuestións morais. Nun tempo en que investigación publicada sobre IA preocúpase máis polo rendemento que pola xustiza e respectar esta ofuscación resulta especialmente preocupante.

Os Reales

Mistral AI gañou recoñecemento polos seus grandes modelos de linguaxe de código aberto, en particular Mistral 7B e Mixtral 8x7B. A compañía esfórzase por garantir unha ampla accesibilidade aos seus modelos de IA, fomentando a revisión, modificación e reutilización pola comunidade de software aberto.

vLLM significa "servizo de modelos vectorizados de baixa latencia" e é unha biblioteca de código aberto deseñada especificamente para acelerar e optimizar modelos de linguaxe grandes (LLM). É unha poderosa ferramenta que pode mellorar significativamente o rendemento e a usabilidade dos LLM. Isto fai que sexa un activo valioso para os desenvolvedores que traballan nunha variedade de aplicacións de IA, desde chatbots e asistentes virtuais ata creación de contido e xeración de código. Tanto é así que, Mistral recomenda utilizar vLLM como servidor de inferencia para os modelos 7B e 8x7B.

EleutherAI é un laboratorio de investigación de intelixencia artificial sen ánimo de lucro que pasou dun servidor Discord para discutir GPT-3 a unha organización líder de investigación sen ánimo de lucro. O grupo é coñecido polo seu traballo na formación e promoción de normas de ciencia aberta no procesamento da linguaxe natural. Lanzaron varios modelos de linguaxe grande de código aberto e están implicados en proxectos de investigación relacionados co aliñamento e interpretabilidade da IA. Os seus LM-Arnés proxecto é probablemente a principal ferramenta de avaliación de código aberto para modelos lingüísticos.

Phi-2 é o LLM de Microsoft que supera o seu peso. Adestrado nunha mestura de textos sintéticos e sitios web filtrados, este pequeno pero poderoso modelo destaca en tarefas como responder preguntas, resumir e traducir. O que realmente diferencia a Phi-2 é o seu foco no razoamento e a comprensión da linguaxe, o que leva a un rendemento impresionante mesmo sen técnicas de aliñamento avanzadas.

Moitos modelos de incorporación de código aberto competentes están a reforzar o espazo xeral de IA xerativa de código aberto. Estes son o estado da arte actual para código aberto e inclúen Emiratos Árabes Unidos-Grande-V1 e multilingüe-e5-grande .

Hai moitos máis neste campo en constante crecemento. Esta lista limitada é só un comezo.

O código aberto impulsa a innovación

Adoptando unha filosofía de innovación aberta extrema, as empresas que realmente participan no desenvolvemento de software de código aberto desafían as nocións tradicionais de vantaxe competitiva ao recoñecer que non todo o bo código ou as grandes ideas residen dentro da súa organización . Este cambio apoia o argumento que as innovacións compartidas dentro do ecosistema de código aberto conducen a un crecemento máis rápido do mercado, proporcionando ás empresas de software aínda máis pequenas fondos de I+D máis limitados. oportunidade de beneficiarse dos spillovers de I+D presentes no software de código aberto. Isto débese a que, a diferenza da subcontratación tradicional, a innovación aberta mellora os recursos internos aproveitando a intelixencia colectiva da comunidade, sen diminuír os esforzos internos de I+D. O que significa que as empresas de software de código aberto non teñen que sacrificar os seus orzamentos para perseguir o liderado de pensamento e o código fóra da súa organización.

Ademais, as empresas de software de código aberto impulsan estratexicamente a innovación liberando código cedo e frecuentemente , recoñecendo o carácter acumulativo do proceso de innovación na comunidade do software. Todo isto para dicir algo que moitos xa recoñecen: o software de código aberto impulsa a innovación.

O código aberto fomenta a colaboración

A través traballo en rede na comunidade de software de código aberto, os emprendedores son capaces de cumprir obxectivos tanto a curto como a longo prazo. Os obxectivos de beneficio a curto prazo constrúen empresas e os obxectivos de beneficio a longo prazo sustéñenas. Ao mesmo tempo, este esforzo en rede autoperpetúa a propia rede, facéndoa crecer para o próximo emprendedor. É ben sabido que as plataformas de código aberto proporcionan acceso ao código fonte, o que permite aos desenvolvedores crear actualizacións, complementos e outras pezas de software e usalos segundo os seus requisitos. Este tipo particular de colaboración experimentou un auxe coa ampla adopción de Kubernetes pola comunidade de software máis ampla. Agora máis que nunca, as tecnoloxías modernas funcionan conxuntamente con moi pouca fricción e poden estar xuntos en minutos case en calquera lugar.

As empresas de Big Tech recoñecen esta profunda colaboración inherente á comunidade de código aberto cando liberan libremente marcos, bibliotecas e linguaxes que crearon para manter e desenvolver ferramentas internas. Ao facelo, afonda no grupo de desenvolvedores capaces de traballar nos seus produtos e comeza a establecer o estándar de como deberían funcionar tecnoloxías similares. Ese mesmo artigo de Atlantic cita o fundador de Meta, Mark Zuckerberg, dicindo que "foi moi valioso para nós proporcionar iso porque agora todos os mellores desenvolvedores da industria están a usar ferramentas que tamén estamos usando internamente".

O código aberto xera o código aberto

Estes son os factores polos que moitas veces vemos sinerxías entre empresas de código aberto. As empresas de IA e ML de código aberto desenvolverán naturalmente solucións con outros produtos de código aberto desde produtos fundamentais, como o almacenamento de obxectos, ata as ferramentas de visualización. Cando unha empresa de código aberto dá un paso adiante, todos o facemos. Este enfoque cohesionado e mixto é probablemente a nosa mellor aposta para desenvolver unha IA que adopte un enfoque centrado no ser humano. Estas forzas naturais inherentes á necesidade do mercado de IA de código aberto combinadas coas calidades do software de código aberto de innovación e colaboración impulsarán a pila de datos de IA de código aberto.

Únete e contribúe a esta conversa e á nosa comunidade enviándonos un correo electrónico a [email protected] ou enviándonos unha mensaxe na nosa canle Slack .