De codi obert: el següent pas en la revolució de la IA

Imagineu-vos un futur on la IA no estigui tancada a les voltes corporatives, sinó construïda a la intempèrie, maó a maó, per una comunitat global d'innovadors. On la col·laboració, no la competència, alimenta els avenços i les consideracions ètiques tenen el mateix pes que el rendiment brut. Això no és ciència-ficció, és la revolució de codi obert que es gesta al cor del desenvolupament de la IA. Però Big Tech té la seva pròpia agenda, emmascarant els models restringits com a codi obert mentre intenta obtenir els beneficis d'una comunitat realment oberta.

Eliminarem les capes de codi i desvelem la veritat darrere d'aquests esforços. Aquesta exploració del futur de la IA de codi obert disseccionarà els "pretendents" i defensarà els "reals" en el desenvolupament de la IA per descobrir el motor d'innovació que és el programari de codi obert que es troba sota tot. La conclusió és que la IA de codi obert generarà una pila de dades de codi obert.

La Necessitat

Un article recent de Matteo Wong a The Atlantic, ' Mai hi va haver una cosa com la IA "oberta". ' descriu una tendència creixent a l'àmbit acadèmic i a la comunitat de programari per a una IA de codi obert realment. "La idea és crear models relativament transparents que el públic pugui utilitzar, estudiar i reproduir de manera més fàcil i econòmica, intentant democratitzar una tecnologia altament concentrada que pot tenir el potencial de transformar el treball, la policia, l'oci i fins i tot la religió". Aquest mateix Atlantic suggereix que empreses de Big Tech com Meta intenten cobrir aquesta necessitat al mercat "rentant obertament" els seus productes. Estan assumint les qualitats i la reputació positiva de la comunitat de codi obert sense utilitzar realment el seu producte. Però, no hi ha cap substitut per a la realitat. Això es deu al fet que el veritable programari de codi obert impulsa la innovació i la col·laboració: dues qualitats que es necessiten desesperadament per avançar amb la IA de manera responsable.

Els Pretenders

LLaMA 2, és un gran model de llenguatge creat per Meta que és d'ús gratuït tant per a usos de recerca com comercials. El que fa que alguns suggereixin que LLaMA 2 és de codi obert. Tanmateix, Meta ha implementat algunes restriccions severes en l'ús del seu model. Per exemple, LLaMA 2 no es pot utilitzar per millorar cap altre model de llenguatge gran. Una posició que va en contra del tradicional model d'innovació col·lectiva privada de programari obert que promou la revelació lliure i oberta de la innovació en benefici de tothom a la comunitat del programari.

Meta va limitar encara més l'ús del seu model en no permetre la integració de LLaMA 2 amb productes que tenen 700 milions d'usuaris mensuals i en no revelar quines dades s'entrena el seu model ni el codi que van utilitzar per construir-lo. En no revelar-ho, Meta s'obre a qüestions de biaix inherent i discriminació accidental. Un model format sobre dades discriminatòries serà oferir respostes discriminatòries . Sense que la comunitat de programari en general pugui veure el codi utilitzat per construir el model per veure si s'ha incorporat alguna salvaguarda o les dades utilitzades per entrenar-lo, ens quedem a les fosques sobre aquestes qüestions morals. En un temps en què investigació publicada sobre IA està més preocupat pel rendiment que per la justícia i respecte aquesta ofuscació és especialment preocupant.

Els Reals

Mistral AI ha guanyat reconeixement pels seus grans models de llenguatge de codi obert, en particular Mistral 7B i Mixtral 8x7B. L'empresa s'esforça per garantir una àmplia accessibilitat als seus models d'IA, fomentant la revisió, modificació i reutilització per part de la comunitat de programari obert.

vLLM significa "servei de models de baixa latència vectoritzat" i és una biblioteca de codi obert dissenyada específicament per accelerar i optimitzar grans models de llenguatge (LLM). És una eina potent que pot millorar significativament el rendiment i la usabilitat dels LLM. Això el converteix en un actiu valuós per als desenvolupadors que treballen en una varietat d'aplicacions d'IA, des de chatbots i assistents virtuals fins a la creació de contingut i la generació de codi. Tant és així que, Mistral recomana utilitzar vLLM com a servidor d'inferència per als models 7B i 8x7B.

EleutherAI és un laboratori d'investigació d'IA sense ànim de lucre que ha passat d'un servidor de Discord per parlar de GPT-3 a una organització líder de recerca sense ànim de lucre. El grup és conegut pel seu treball en la formació i promoció de normes de ciència oberta en el processament del llenguatge natural. Han llançat diversos models de llenguatge de codi obert i estan involucrats en projectes de recerca relacionats amb l'alineació i la interpretació de la IA. Els seus LM-Arnès El projecte és probablement l'eina d'avaluació de codi obert líder per als models lingüístics.

Phi-2 és el LLM de Microsoft que supera el seu pes. Format en una combinació de textos sintètics i llocs web filtrats, aquest petit però potent model excel·leix en tasques com ara respondre preguntes, resumir i traduir. El que realment distingeix Phi-2 és el seu enfocament en el raonament i la comprensió del llenguatge, que condueix a un rendiment impressionant fins i tot sense tècniques d'alineació avançades.

Molts models d'integració de codi obert competents estan enfortint l'espai general d'IA generativa de codi obert. Aquests són l'estat de l'art actual de codi obert i inclouen Emirats Àrabs Units-Gran-V1 i multilingüe-e5-largel .

N'hi ha molts més en aquest camp en creixement. Aquesta llista limitada és només un començament.

El codi obert impulsa la innovació

Adoptant una filosofia d'innovació oberta extrema, les empreses que realment participen en el desenvolupament de programari de codi obert desafien les nocions tradicionals d'avantatge competitiu en reconèixer que no tot el bon codi o les grans idees resideixen dins de la seva organització . Aquest canvi dóna suport al argument que les innovacions compartides dins de l'ecosistema de codi obert condueixen a un creixement més ràpid del mercat, proporcionant fins i tot a les empreses de programari més petites fons de R+D més limitats. oportunitat de beneficiar-se dels desbordaments d'R+D presents al programari de codi obert. Això es deu al fet que, a diferència de la subcontractació tradicional, la innovació oberta millora els recursos interns aprofitant la intel·ligència col·lectiva de la comunitat, sense disminuir els esforços interns d'R+D. Això vol dir que les empreses de programari de codi obert no han de sacrificar els seus pressupostos per perseguir el lideratge de pensament i el codi fora de la seva organització.

A més, les empreses de programari de codi obert impulsen estratègicament la innovació alliberar codi aviat i sovint , reconeixent el caràcter acumulatiu del procés d'innovació a la comunitat del programari. Tot això per dir una cosa que molts ja reconeixen: el programari de codi obert impulsa la innovació.

El codi obert fomenta la col·laboració

A través de treball en xarxa a la comunitat de programari de codi obert, els emprenedors són capaços d'assolir objectius tant a curt com a llarg termini. Els objectius de beneficis a curt termini construeixen empreses i els objectius de beneficis a llarg termini les sostenen. Al mateix temps, aquest esforç de xarxa s'autoperpetua la pròpia xarxa, fent-la créixer per al proper emprenedor. És ben sabut que les plataformes de codi obert proporcionen accés al codi font, permetent als desenvolupadors crear actualitzacions, complements i altres peces de programari i utilitzar-los segons els seus requisits. Aquest tipus de col·laboració particular va experimentar un auge amb l'àmplia adopció de Kubernetes per part de la comunitat de programari més àmplia. Ara més que mai, les tecnologies modernes funcionen juntes amb molt poca fricció i poden estar juntes en qüestió de minuts gairebé a qualsevol lloc.

Les empreses Big Tech reconeixen aquesta col·laboració profunda inherent a la comunitat de codi obert quan alliberen lliurement marcs, biblioteques i idiomes que van crear per mantenir i desenvolupar eines internes. En fer-ho, s'aprofundeix el grup de desenvolupadors capaços de treballar en els seus productes i comença a establir l'estàndard de com han de funcionar tecnologies similars. Aquest mateix article de l'Atlàntic cita el fundador de Meta, Mark Zuckerberg, dient que "ha estat molt valuós per a nosaltres oferir-ho perquè ara tots els millors desenvolupadors de la indústria estan utilitzant eines que també estem utilitzant internament".

El codi obert engendra el codi obert

Aquests són factors pels quals sovint veiem sinergies entre empreses de codi obert. Les empreses d'IA i ML de codi obert desenvoluparan de manera natural solucions amb altres productes de codi obert, des de productes bàsics com l'emmagatzematge d'objectes, fins a la pila fins a les eines de visualització. Quan una empresa de codi obert fa un pas endavant, tots ho fem. Aquest enfocament cohesionat i combinat és probablement la nostra millor aposta per desenvolupar una IA que tingui un enfocament centrat en l'ésser humà. Aquestes forces naturals inherents a la necessitat del mercat d'IA de codi obert combinades amb les qualitats del programari de codi obert d'innovació i col·laboració impulsaran la pila de dades d'IA de codi obert.

Si us plau, uneix-te i contribueix a aquesta conversa i a la nostra comunitat enviant-nos un correu electrònic a [email protected] o enviant-nos un missatge al nostre canal de Slack .