Open-Source: Următorul pas în revoluția AI

Imaginați-vă un viitor în care inteligența artificială nu este închisă în seifurile corporative, ci construită în aer liber, cărămidă cu cărămidă, de către o comunitate globală de inovatori. Acolo unde colaborarea, nu concurența, alimentează progresele, iar considerentele etice au o greutate egală cu performanța brută. Aceasta nu este science fiction, este revoluția open-source care se dezvoltă în inima dezvoltării AI. Dar Big Tech are propria sa agendă, maschând modelele restricționate ca sursă deschisă, încercând în același timp să culeagă beneficiile unei comunități cu adevărat deschise.

Să renunțăm la straturile de cod și să dezvăluim adevărul din spatele acestor eforturi. Această explorare a viitorului AI cu sursă deschisă îi va diseca pe „pretenții” și îi va susține pe „pe cei adevărați” în dezvoltarea AI pentru a descoperi motorul de inovație care este software-ul open-source care fredonează sub toate acestea. Concluzia este că AI open-source va genera o stivă de date open-source.

Nevoia

Un articol recent al lui Matteo Wong în The Atlantic, ' Nu a existat niciodată așa ceva ca AI „deschis”. ' descrie o tendință în creștere în mediul academic și în comunitatea software pentru AI cu adevărat open source. „Ideea este de a crea modele relativ transparente pe care publicul să le poată utiliza, studia și reproduce mai ușor și mai ieftin, încercând să democratizeze o tehnologie foarte concentrată care ar putea avea potențialul de a transforma munca, poliția, timpul liber și chiar religia.” Același Atlantic sugerează că companiile Big Tech precum Meta încearcă să satisfacă această nevoie pe piață prin „spălarea deschisă” a produselor lor. Aceștia își asumă calitățile și reputația pozitivă ale comunității open-source fără a-și folosi cu adevărat produsul. Dar, nu există un substitut pentru lucrul real. Acest lucru se datorează faptului că adevăratul software open-source stimulează inovația și colaborarea: două calități de care sunt necesare cu disperare pentru a merge mai departe cu AI în mod responsabil.

Pretendinții

LLaMA 2, este un model de limbaj mare creat de Meta , care poate fi utilizat gratuit atât pentru cercetare, cât și pentru uz comercial. Ii face pe unii să sugereze că LLaMA 2 este open source. Cu toate acestea, Meta a implementat unele restricții severe privind utilizarea modelului lor. De exemplu, LLaMA 2 nu poate fi folosit pentru a îmbunătăți niciun alt model de limbaj mare. O poziție care contravine tradiționalului model de inovare colectivă privată de software deschis care promovează revelarea liberă și deschisă a inovației în beneficiul tuturor din comunitatea software.

Meta a paralizat și mai mult utilizarea modelului lor, nepermițând integrarea LLaMA 2 cu produse care au 700 de milioane de utilizatori lunar și prin nedezvăluirea pe ce date este antrenat modelul lor sau codul pe care l-au folosit pentru a-l construi. Ne dezvăluie, Meta se deschide la întrebări de părtinire inerentă și discriminare accidentală. Un model instruit pe date discriminatorii va oferă răspunsuri discriminatorii . Fără ca comunitatea de software în general să poată vizualiza fie codul folosit pentru a construi modelul pentru a vedea dacă au fost încorporate măsuri de protecție, fie datele folosite pentru a-l antrena, suntem lăsați în întuneric cu privire la aceste întrebări morale. Într-o vreme când cercetări publicate despre IA este preocupat mai mult de performanță decât de justiție și de a respecta această ofuscare este deosebit de tulburătoare.

Cei Adevărați

Mistral AI a câștigat recunoaștere pentru modelele sale de limbaj mari open-source, în special Mistral 7B și Mixtral 8x7B. Compania se străduiește să asigure o accesibilitate largă la modelele sale AI, încurajând revizuirea, modificarea și reutilizarea de către comunitatea de software deschis.

vLLM reprezintă „servirea modelului vectorizat cu latență scăzută” și este o bibliotecă open-source special concepută pentru a accelera și optimiza modelele de limbaj mari (LLM). Este un instrument puternic care poate îmbunătăți semnificativ performanța și capacitatea de utilizare a LLM-urilor. Acest lucru îl face un activ valoros pentru dezvoltatorii care lucrează la o varietate de aplicații AI, de la chatbot și asistenți virtuali până la crearea de conținut și generarea de cod. Atât de mult încât, Mistral recomandă utilizarea vLLM ca server de inferență pentru modelele 7B și 8x7B.

EleutherAI este un laborator de cercetare AI non-profit care a crescut de la un server Discord pentru discutarea GPT-3 la o organizație de cercetare non-profit de top. Grupul este cunoscut pentru munca sa în formarea și promovarea normelor științifice deschise în procesarea limbajului natural. Ei au lansat diverse modele de limbaj mari open-source și sunt implicați în proiecte de cercetare legate de alinierea și interpretabilitatea AI. Lor LM-ham proiectul este probabil principalul instrument de evaluare open-source pentru modelele de limbaj.

Phi-2 este LLM de la Microsoft care bate peste greutatea sa. Antrenat pe o combinație de texte sintetice și site-uri web filtrate, acest model mic, dar puternic, excelează la sarcini precum răspunsul la întrebări, rezumatul și traducerea. Ceea ce diferențiază cu adevărat Phi-2 este concentrarea pe raționament și înțelegerea limbajului, ceea ce duce la performanțe impresionante chiar și fără tehnici avansate de aliniere.

Multe modele de încorporare cu sursă deschisă competente consolidează spațiul general AI generativ cu sursă deschisă. Acestea sunt stadiul actual al tehnicii pentru open source și includ UAE-Large-V1 şi multilingv-e5-largel .

Sunt multe altele în acest domeniu în continuă creștere. Această listă limitată este doar un început.

Open Source stimulează inovația

Îmbrățișând o filozofie a inovației extreme deschise, companiile care participă cu adevărat la dezvoltarea de software open-source provoacă noțiunile tradiționale de avantaj competitiv, recunoscând că nu toate codurile bune sau ideile grozave se află în organizația lor . Această schimbare sprijină argument că inovațiile comune în cadrul ecosistemului open-source conduc la o creștere mai rapidă a pieței, oferind firmelor de software și mai mici fonduri de cercetare-dezvoltare mai limitate. oportunitatea de a beneficia din spillovers-urile de cercetare și dezvoltare prezente în software-ul open-source. Acest lucru se datorează faptului că, spre deosebire de externalizarea tradițională, inovația deschisă îmbunătățește resursele interne prin valorificarea inteligenței colective a comunității, fără a diminua eforturile interne de cercetare și dezvoltare. Înseamnă că companiile de software cu sursă deschisă nu trebuie să-și sacrifice bugetele pentru a-și urmări conducerea de gândire și codul în afara organizației lor.

În plus, companiile de software open-source stimulează strategic inovația lansarea codului devreme și des , recunoscând natura cumulativă a procesului de inovare în comunitatea software. Toate acestea pentru a spune ceva ce mulți deja recunosc: Software-ul Open Source stimulează inovația.

Open Source stimulează colaborarea

Prin networking în comunitatea de software open-source, antreprenorii sunt capabili să împlinească atât obiectivele pe termen scurt, cât și pe termen lung. Obiectivele de profit pe termen scurt construiesc companiile, iar obiectivele de profit pe termen lung le susțin. În același timp, acest efort de rețea autoperpetuează rețeaua în sine - crescând-o pentru următorul antreprenor. Este bine cunoscut faptul că platformele open-source oferă acces la codul sursă, permițând dezvoltatorilor să creeze upgrade-uri, plug-in-uri și alte piese de software și să le folosească conform cerințelor lor. Acest tip special de colaborare a cunoscut un boom odată cu adoptarea pe scară largă a Kubernetes de către comunitatea mai largă de software. Acum, mai mult ca niciodată, tehnologiile moderne lucrează împreună cu foarte puțină frecare și pot fi împreună în câteva minute aproape oriunde.

Companiile Big Tech recunosc această colaborare profundă inerentă comunității open-source atunci când lansează în mod liber cadre, biblioteci și limbi pe care le-au creat pentru a menține și dezvolta instrumente interne. Procedând astfel, grupul de dezvoltatori capabili să lucreze la produsele lor și începe să stabilească standardul pentru modul în care ar trebui să funcționeze tehnologii similare. Același articol Atlantic îl citează pe fondatorul Meta, Mark Zuckerberg, spunând că „a fost foarte valoros pentru noi să oferim asta, deoarece acum toți cei mai buni dezvoltatori din industrie folosesc instrumente pe care le folosim și pe plan intern”.

Open Source generează Open Source

Aceștia sunt factori pentru care vedem foarte des sinergii între companiile open-source. Companiile open-source AI și ML vor dezvolta în mod natural soluții cu alte produse open-source, de la produse de bază, cum ar fi stocarea obiectelor, până la instrumente de vizualizare. Când o companie open-source face un pas înainte, toți o facem. Această abordare coerentă și combinată este probabil cel mai bun pariu al nostru pentru dezvoltarea AI care adoptă o abordare centrată pe om. Aceste forțe naturale inerente nevoii pieței de AI open source combinate cu calitățile software-ului open source de inovare și colaborare vor conduce stiva de date AI open source.

Vă rugăm să vă alăturați și să contribuiți la această conversație și la comunitatea noastră, trimițându-ne un e-mail la [email protected] sau trimițându-ne un mesaj pe canalul nostru Slack .