Otvoreni izvor: Sljedeći korak u AI revoluciji

Zamislite budućnost u kojoj AI nije zaključan u korporativnim trezorima, već izgrađen na otvorenom, ciglu po ciglu, od strane globalne zajednice inovatora. Tamo gdje suradnja, a ne konkurencija, podstiče napredak, a etička razmatranja imaju jednaku težinu sa sirovim performansama. Ovo nije naučna fantastika, to je revolucija otvorenog koda koja se sprema u srcu razvoja AI. Ali Big Tech ima svoju agendu, maskirajući ograničene modele kao otvoreni izvor, dok pokušava da iskoristi prednosti istinski otvorene zajednice.

Hajde da skinemo slojeve koda i otkrijemo istinu iza ovih napora. Ovo istraživanje budućnosti AI otvorenog koda će secirati "pretendente" i podržati "prave" u razvoju AI kako bi otkrilo motor za inovacije koji je softver otvorenog koda koji bruji ispod svega toga. Suština je da će AI otvorenog koda stvoriti stog podataka otvorenog koda.

Potreba

Nedavni članak Mattea Wonga u The Atlantic, ' Nikada nije postojala takva stvar kao što je 'otvorena' AI ' opisuje rastući trend u akademskoj zajednici i softverskoj zajednici za istinski AI otvorenog koda. “Ideja je stvoriti relativno transparentne modele koje će javnost lakše i jeftinije koristiti, proučavati i reproducirati, pokušavajući demokratizirati visoko koncentriranu tehnologiju koja može imati potencijal da transformiše rad, policiju, slobodno vrijeme, pa čak i religiju.” Taj isti Atlantic sugerira da velike tehnološke kompanije kao što je Meta pokušavaju da zadovolje ovu potrebu na tržištu 'otvorenim pranjem' svojih proizvoda. Oni preuzimaju kvalitete i pozitivnu reputaciju zajednice otvorenog koda bez istinskog otvaranja svog proizvoda. Ali, ne postoji zamena za pravu stvar. To je zato što pravi softver otvorenog koda pokreće inovacije i saradnju: dva kvaliteta koja su očajnički potrebna za odgovorno napredovanje u AI.

The Pretenders

LLaMA 2, je veliki jezički model kreiran od strane Meta koji je slobodan za korištenje i za istraživačku i za komercijalnu upotrebu. Neki navode da sugerišu da je LLaMA 2 open source. Međutim, Meta je uvela neka ozbiljna ograničenja na korištenje njihovog modela. Na primjer, LLaMA 2 se ne može koristiti za poboljšanje bilo kojeg drugog velikog jezičkog modela. Pozicija koja se kosi s tradicionalnom privatni kolektivni inovativni model otvorenog softvera koji promovira slobodno i otvoreno otkrivanje inovacija za dobrobit svih u softverskoj zajednici.

Meta je dodatno osakatio upotrebu njihovog modela ne dozvoljavajući integraciju LLaMA 2 sa proizvodima koji imaju 700 miliona korisnika mjesečno i ne otkrivajući na kojim podacima je njihov model obučen ili kod koji su koristili za njegovu izgradnju. Neotkrivanjem, Meta se otvara za pitanja inherentne pristrasnosti i slučajne diskriminacije. Model obučen na diskriminatornim podacima će služe diskriminatornim odgovorima . Bez da šira softverska zajednica bude u mogućnosti da vidi bilo kod koji se koristi za izgradnju modela da vidi da li su ugrađene zaštitne mere ili podatke koji se koriste za njegovu obuku, ostavljeni smo u mraku po ovim moralnim pitanjima. U vreme kada objavljeno istraživanje o AI više se brine o učinku nego o pravdi i poštovanje ove zamračenosti je posebno uznemirujuće.

Pravi

Mistral AI je stekao priznanje za svoje velike jezičke modele otvorenog koda, posebno Mistral 7B i Mixtral 8x7B. Kompanija nastoji da osigura široku dostupnost svojim AI modelima, ohrabrujući pregled, modifikaciju i ponovnu upotrebu od strane zajednice otvorenog softvera.

vLLM označava "vektorizirano posluživanje modela niske latencije" i biblioteka je otvorenog koda posebno dizajnirana da ubrza i optimizira modele velikih jezika (LLM). To je moćan alat koji može značajno poboljšati performanse i upotrebljivost LLM-ova. To ga čini vrijednim sredstvom za programere koji rade na raznim AI aplikacijama, od chatbotova i virtualnih pomoćnika do kreiranja sadržaja i generiranja koda. Toliko da Mistral preporučuje korištenje vLLM-a kao servera zaključivanja za 7B i 8x7B modele.

EleutherAI je neprofitna AI istraživačka laboratorija koja je izrasla od Discord servera za diskusiju o GPT-3 do vodeće neprofitne istraživačke organizacije. Grupa je poznata po svom radu na obuci i promociji otvorenih naučnih normi u obradi prirodnog jezika. Izdali su različite modele velikih jezika otvorenog koda i uključeni su u istraživačke projekte koji se odnose na AI usklađivanje i interpretabilnost. Njihova LM-uprtač projekat je vjerovatno vodeći alat za evaluaciju jezičkih modela otvorenog koda.

Phi-2 je Microsoftov LLM koji je iznad svoje težine. Obučen na mješavini sintetičkih tekstova i filtriranih web stranica, ovaj mali, ali moćan model se ističe u zadacima kao što su odgovaranje na pitanja, sažimanje i prevođenje. Ono što istinski izdvaja Phi-2 je njegov fokus na rasuđivanje i razumijevanje jezika, što dovodi do impresivnih performansi čak i bez naprednih tehnika poravnanja.

Mnogi kompetentni modeli ugradnje otvorenog koda jačaju cjelokupni generativni AI prostor otvorenog koda. Ovo su trenutno najmodernije za open source i uključuju UAE-Veliki-V1 i višejezični-e5-veliki .

Ima ih mnogo više u ovoj oblasti koja stalno raste. Ova ograničena lista je samo početak.

Open Source pokreće inovacije

Prihvaćajući filozofiju ekstremne otvorene inovacije, kompanije koje istinski učestvuju u razvoju softvera otvorenog koda izazivaju tradicionalne pojmove konkurentske prednosti priznavanjem da nemaju sav dobar kod ili sjajne ideje unutar njihove organizacije . Ova promjena podržava argument da zajedničke inovacije unutar ekosistema otvorenog koda dovode do bržeg rasta tržišta, dajući čak i manjim softverskim firmama ograničenija sredstva za istraživanje i razvoj, priliku da se okoristi od prelivanja istraživanja i razvoja prisutnih u softveru otvorenog koda. To je zato što su, za razliku od tradicionalnog outsourcinga, otvorene inovacije poboljšava interne resurse korištenjem kolektivne inteligencije zajednice, bez umanjivanja internih napora u istraživanju i razvoju. To znači da softverske kompanije otvorenog koda ne moraju da žrtvuju svoje budžete da bi se bavile misaonim vođstvom i kodom izvan svoje organizacije.

Osim toga, softverske kompanije otvorenog koda strateški potiču inovacije puštanje koda rano i često , prepoznajući kumulativnu prirodu procesa inovacije u softverskoj zajednici. Sve to da kažem nešto što mnogi već prepoznaju: softver otvorenog koda pokreće inovacije.

Otvoreni izvor podstiče saradnju

Kroz umrežavanje u zajednici softvera otvorenog koda, preduzetnici su u stanju da ispune i kratkoročne i dugoročne ciljeve. Kratkoročni profitni ciljevi grade kompanije, a dugoročni profitni ciljevi ih održavaju. U isto vrijeme, ovaj pokušaj umrežavanja samoodrži samu mrežu - razvijajući je za sljedećeg poduzetnika. Dobro je poznato da platforme otvorenog koda omogućavaju pristup izvornom kodu, omogućavajući programerima da kreiraju nadogradnje, dodatke i druge delove softvera i koriste ih u skladu sa svojim zahtevima. Ova posebna vrsta saradnje doživjela je procvat sa širokim usvajanjem Kubernetesa od strane šire softverske zajednice. Sada više nego ikad, moderne tehnologije rade zajedno s vrlo malo trenja i mogu biti zajedno za nekoliko minuta gotovo svugdje.

Velike tehnološke kompanije priznaju ovu duboku saradnju svojstvenu zajednici otvorenog koda kada slobodno objavljuju okvire, biblioteke i jezike koje su kreirali za održavanje i razvoj internih alata. Time se produbljuje grupa programera sposobnih za rad na svojim proizvodima i počinje postavljati standard za funkcioniranje sličnih tehnologija. U istom članku Atlantic-a citira se osnivač Meta Mark Zuckerberg koji kaže da je „za nas bilo vrlo vrijedno da to pružimo jer sada svi najbolji programeri u industriji koriste alate koje koristimo i mi interno“.

Otvoreni kod Rađa Open Source

To su faktori zašto vrlo često vidimo sinergiju između kompanija otvorenog koda. Kompanije otvorenog koda za umjetnu inteligenciju i ML će prirodno razvijati rješenja s drugim proizvodima otvorenog koda, od temeljnih proizvoda kao što je pohrana objekata do kompletnog skupa do alata za vizualizaciju. Kada jedna kompanija otvorenog koda istupi, svi to činimo. Ovaj kohezivni i kombinovani pristup je verovatno naš najbolji izbor za razvoj veštačke inteligencije koja ima pristup usmeren na čoveka. Ove prirodne sile inherentne tržišnoj potrebi za AI otvorenog koda u kombinaciji sa kvalitetima softvera otvorenog koda za inovacije i saradnju će pokretati stog podataka AI otvorenog koda.

Molimo vas da se pridružite i doprinijete ovom razgovoru i našoj zajednici slanjem e-pošte na adresu [email protected] ili nam pošaljete poruku na našem Slack kanalu .