Open-Source: The Next Step in AI Revolution

Forestil dig en fremtid, hvor kunstig intelligens ikke er låst inde i virksomhedernes hvælvinger, men bygget i det fri, mursten for mursten, af et globalt fællesskab af innovatører. Hvor samarbejde, ikke konkurrence, giver næring til fremskridt, og etiske overvejelser har lige stor vægt med rå præstation. Dette er ikke science fiction, det er open source- revolutionen, der brygger i hjertet af AI-udvikling. Men Big Tech har sin egen dagsorden, der maskerer begrænsede modeller som open source, mens de forsøger at høste fordelene ved et virkelig åbent fællesskab.

Lad os trække lagene af kode tilbage og afsløre sandheden bag disse bestræbelser. Denne udforskning af fremtiden for open source AI vil dissekere "pretenders" og forkæmpe de "rigtige" i AI-udvikling for at afdække innovationsmotoren, der er open source-software, der nynner under det hele. Den nederste linje er, at open source AI vil skabe en open source datastak.

Behovet

En nylig artikel af Matteo Wong i The Atlantic, ' Der var aldrig sådan noget som 'åben' AI ' beskriver en voksende tendens i den akademiske verden og softwarefællesskabet for ægte open source AI. "Idéen er at skabe relativt gennemsigtige modeller, som offentligheden lettere og billigere kan bruge, studere og reproducere, i et forsøg på at demokratisere en meget koncentreret teknologi, der kan have potentialet til at transformere arbejde, politi, fritid og endda religion." Det samme Atlantic antyder, at Big Tech-virksomheder som Meta forsøger at udfylde dette behov på markedet ved at "åbenvaske" deres produkter. De antager kvaliteterne og det positive omdømme hos open source-fællesskabet uden virkelig at åbne deres produkt. Men der er ingen erstatning for den ægte vare. Dette skyldes, at ægte open source-software driver innovation og samarbejde: to kvaliteter, der er desperat nødvendige for at komme videre med AI på en ansvarlig måde.

Prætenderne

LLaMA 2, er en stor sprogmodel skabt af Meta , der er gratis at bruge til både forskning og kommerciel brug. Få nogle til at foreslå, at LLaMA 2 er open source. Meta har dog implementeret nogle strenge restriktioner for brugen af deres model. For eksempel kan LLaMA 2 ikke bruges til at forbedre nogen anden stor sprogmodel. En holdning, der går imod det traditionelle privat kollektiv innovationsmodel af åben software, som fremmer den frie og åbne åbenbaring af innovation til gavn for alle i softwarefællesskabet.

Meta lammede yderligere brugen af deres model ved ikke at tillade integration af LLaMA 2 med produkter, der har 700 millioner månedlige brugere, og ved ikke at afsløre, hvilke data deres model er trænet på, eller den kode de brugte til at bygge den. Ved ikke at afsløre åbner Meta sig for spørgsmål om iboende bias og utilsigtet diskrimination. En model trænet på diskriminerende data vil give diskriminerende svar . Uden at softwaresamfundet som helhed er i stand til at se hverken koden, der blev brugt til at bygge modellen for at se, om der er indbygget nogen sikkerhedsforanstaltninger, eller de data, der blev brugt til at træne den, er vi efterladt i mørket med hensyn til disse moralske spørgsmål. I en tid hvor offentliggjort forskning om AI er mere optaget af præstation end retfærdighed og respekt, denne sløring er særligt foruroligende.

De rigtige

Mistral AI har opnået anerkendelse for sine store open source-sprogmodeller, især Mistral 7B og Mixtral 8x7B. Virksomheden stræber efter at sikre bred tilgængelighed til sine AI-modeller, og opmuntrer til gennemgang, modifikation og genbrug af det åbne softwarefællesskab.

vLLM står for "vectorized low-latency model servering" og er et open source-bibliotek, der er specielt designet til at fremskynde og optimere store sprogmodeller (LLM'er). Det er et kraftfuldt værktøj, der markant kan forbedre ydeevnen og anvendeligheden af LLM'er. Dette gør det til et værdifuldt aktiv for udviklere, der arbejder på en række forskellige AI-applikationer, fra chatbots og virtuelle assistenter til indholdsoprettelse og kodegenerering. Så meget, at Mistral anbefaler at bruge vLLM som inferensserver for 7B- og 8x7B-modellerne.

EleutherAI er et non-profit AI-forskningslaboratorium, der er vokset fra en Discord-server til at diskutere GPT-3 til en førende non-profit forskningsorganisation. Gruppen er kendt for sit arbejde med at træne og fremme åbne videnskabelige normer inden for naturlig sprogbehandling. De har udgivet forskellige open source store sprogmodeller og er involveret i forskningsprojekter relateret til AI-tilpasning og fortolkning. Deres LM-sele projektet er sandsynligvis det førende open source-evalueringsværktøj til sprogmodeller.

Phi-2 er Microsofts LLM, der slår over sin vægt. Uddannet på en blanding af syntetiske tekster og filtrerede websteder, udmærker denne lille, men kraftfulde model sig til opgaver som at besvare spørgsmål, opsummere og oversætte. Det, der virkelig adskiller Phi-2, er dens fokus på ræsonnement og sprogforståelse, hvilket fører til imponerende ydeevne selv uden avancerede tilpasningsteknikker.

Mange kompetente open source-indlejringsmodeller styrker det overordnede open source-generative AI-rum. Disse er den aktuelle state-of-the-art for open source og inkluderer UAE-Large-V1 og flersproget-e5-largel .

Der er mange flere i dette stadigt voksende felt. Denne begrænsede liste er kun en start.

Open Source driver innovation

Ved at omfavne en filosofi om ekstrem åben innovation udfordrer virksomheder, der virkelig deltager i open source softwareudvikling, traditionelle forestillinger om konkurrencefordele ved at anerkende, at ikke al god kode eller gode ideer findes i deres organisation . Dette skift understøtter argument at fælles innovationer inden for open source-økosystemet fører til hurtigere markedsvækst, hvilket giver endnu mindre softwarevirksomheder mere begrænsede F&U-midler. mulighed for at drage fordel fra R&D-afsmittende virkninger i open source-software. Det skyldes, i modsætning til traditionel outsourcing, åben innovation øger interne ressourcer ved at udnytte samfundets kollektive intelligens uden at formindske den interne F&U-indsats. Det betyder, at open source-softwarevirksomheder ikke behøver at ofre deres budgetter for at forfølge tankelederskab og kode uden for deres organisation.

Derudover driver open source-softwarevirksomheder strategisk innovation forbi frigive kode tidligt og ofte , der anerkender den kumulative karakter af innovationsprocessen i softwarefællesskabet. Alt sammen for at sige noget, mange allerede anerkender: Open Source Software driver innovation.

Open Source fremmer samarbejde

Ved netværk i open source-softwarefællesskabet er iværksættere i stand til at opfylde både kortsigtede og langsigtede mål. Kortsigtede profitmål bygger virksomheder og langsigtede profitmål opretholder dem. Samtidig viderefører denne netværksindsats selve netværket - og vokser det til den næste iværksætter. Det er velkendt, at open source-platforme giver adgang til kildekoden, hvilket gør det muligt for udviklere at lave opgraderinger, plug-ins og andre stykker software og bruge dem i overensstemmelse med deres krav. Denne særlige form for samarbejde oplevede et boom med den brede anvendelse af Kubernetes af det bredere softwarefællesskab. Nu mere end nogensinde, arbejder moderne teknologier sammen med meget lidt friktion og kan være sammen på få minutter næsten overalt.

Big Tech-virksomheder anerkender dette dybe samarbejde, der er iboende for open source-fællesskabet, når de frit frigiver rammer, biblioteker og sprog, de har skabt for at vedligeholde og udvikle interne værktøjer. Ved at gøre det uddybes puljen af udviklere, der er i stand til at arbejde på deres produkter, og begynder at sætte standarden for, hvordan lignende teknologier skal fungere. Den samme Atlantic-artikel citerer Meta-grundlægger Mark Zuckerberg for at sige, at det har "været meget værdifuldt for os at levere det, fordi nu bruger alle de bedste udviklere på tværs af branchen værktøjer, som vi også bruger internt".

Open Source afføder Open Source

Det er faktorer, der gør, at vi meget ofte ser synergier mellem open source-virksomheder. Open-source AI- og ML-virksomheder vil naturligvis udvikle løsninger med andre open source-produkter fra grundlæggende produkter som objektlagring til hele vejen op i stakken til visualiseringsværktøjer. Når én open source-virksomhed træder frem, gør vi det alle. Denne sammenhængende og blandede tilgang er sandsynligvis vores bedste bud på at udvikle AI, der tager en menneskecentreret tilgang. Disse naturlige kræfter, der er iboende i markedets behov for open source AI, kombineret med kvaliteterne ved open source-software til innovation og samarbejde vil drive AI-datastakken open source.

Deltag venligst og bidrag til denne samtale og vores fællesskab ved at sende os en e-mail på [email protected] eller send os en besked på vores Slack-kanal .