Open-Source: Ďalší krok v revolúcii AI

Predstavte si budúcnosť, kde AI nebude zamknutá v podnikových trezoroch, ale bude postavená v otvorenom priestore, tehla po tehličke, globálnou komunitou inovátorov. Tam, kde spolupráca, nie súťaž, poháňa pokroky a etické úvahy majú rovnakú váhu ako surový výkon. Toto nie je sci-fi, je to open source revolúcia, ktorá sa pripravuje v srdci vývoja AI. Ale Big Tech má svoju vlastnú agendu, maskuje obmedzené modely ako open source a zároveň sa pokúša ťažiť z výhod skutočne otvorenej komunity.

Poďme odlúpnuť vrstvy kódu a odhaliť pravdu za týmto úsilím. Toto skúmanie budúcnosti umelej inteligencie s otvoreným zdrojovým kódom rozoberie „predstieračov“ a presadí tých „skutočných“ vo vývoji umelej inteligencie, aby odhalilo inovačný motor, ktorým je pod tým všetkým bzučiaci softvér s otvoreným zdrojovým kódom. Pointa je, že umelá inteligencia s otvoreným zdrojom vytvorí zásobník údajov s otvoreným zdrojom.

Potreba

Nedávny článok Mattea Wonga v The Atlantic, ' Nikdy neexistovala taká vec ako „otvorená“ AI “ opisuje rastúci trend v akademickej obci a softvérovej komunite pre skutočne open source AI. "Myšlienkou je vytvoriť relatívne transparentné modely, ktoré môže verejnosť ľahšie a lacnejšie používať, študovať a reprodukovať, v snahe demokratizovať vysoko koncentrovanú technológiu, ktorá môže mať potenciál transformovať prácu, políciu, voľný čas a dokonca aj náboženstvo." Ten istý Atlantik naznačuje, že veľké technologické spoločnosti ako Meta sa snažia naplniť túto potrebu na trhu „otvoreným umývaním“ svojich produktov. Preberajú kvality a pozitívnu reputáciu open-source komunity bez toho, aby skutočne využívali open-sourcing ich produktu. Ale neexistuje žiadna náhrada za skutočnú vec. Je to preto, že skutočný softvér s otvoreným zdrojovým kódom poháňa inovácie a spoluprácu: dve kvality, ktoré sú zúfalo potrebné na to, aby sme s AI napredovali zodpovedne.

The Pretenders

LLaMA 2 je rozsiahly jazykový model vytvorený spoločnosťou Meta , ktorý je možné bezplatne použiť na výskumné aj komerčné účely. Niektorých vedie k tomu, že LLaMA 2 je open source. Meta však zaviedla určité prísne obmedzenia na používanie ich modelu. Napríklad LLaMA 2 nemožno použiť na zlepšenie žiadneho iného veľkého jazykového modelu. Pozícia, ktorá ide proti tradičnému súkromný kolektívny inovačný model otvoreného softvéru, ktorý podporuje slobodné a otvorené odhaľovanie inovácií v prospech každého v softvérovej komunite.

Meta ďalej ochromila používanie ich modelu tým, že neumožnila integráciu LLaMA 2 s produktmi, ktoré majú 700 miliónov používateľov mesačne, a nezverejnila, na akých údajoch je ich model trénovaný alebo kód, ktorý použili na jeho zostavenie. Nezverejnením sa Meta otvára otázkam prirodzenej zaujatosti a náhodnej diskriminácie. Model trénovaný na diskriminačných údajoch bude podávať diskriminačné reakcie . Bez toho, aby si softvérová komunita ako celok mohla pozrieť buď kód použitý na zostavenie modelu, aby zistila, či boli zabudované nejaké bezpečnostné opatrenia, alebo údaje použité na jeho trénovanie, o týchto morálnych otázkach sme ponechaní v tme. V čase, keď publikovaný výskum o AI sa viac zaujíma o výkon ako o spravodlivosť a rešpekt, toto zahmlievanie je obzvlášť znepokojujúce.

Skutoční

Mistral AI získala uznanie pre svoje veľké jazykové modely s otvoreným zdrojom, najmä Mistral 7B a Mixtral 8x7B. Spoločnosť sa snaží zabezpečiť široký prístup k svojim modelom AI, pričom podporuje kontrolu, úpravu a opätovné použitie komunitou otvoreného softvéru.

vLLM znamená „vektorizované poskytovanie modelov s nízkou latenciou“ a je to knižnica s otvoreným zdrojom špeciálne navrhnutá na zrýchlenie a optimalizáciu veľkých jazykových modelov (LLM). Je to výkonný nástroj, ktorý môže výrazne zlepšiť výkon a použiteľnosť LLM. Vďaka tomu je cenným prínosom pre vývojárov pracujúcich na rôznych aplikáciách AI, od chatbotov a virtuálnych asistentov až po vytváranie obsahu a generovanie kódu. Mistral až natoľko, že odporúča používať vLLM ako inferenčný server pre modely 7B a 8x7B.

EleutherAI je neziskové výskumné laboratórium AI, ktoré vyrástlo zo servera Discord na diskusiu o GPT-3 na poprednú neziskovú výskumnú organizáciu. Skupina je známa svojou prácou v oblasti školenia a podpory noriem otvorenej vedy v spracovaní prirodzeného jazyka. Vydali rôzne veľké jazykové modely s otvoreným zdrojom a podieľajú sa na výskumných projektoch týkajúcich sa zosúladenia a interpretácie AI. ich LM-postroj projekt je pravdepodobne popredným open source hodnotiacim nástrojom pre jazykové modely.

Phi-2 je LLM spoločnosti Microsoft, ktorá presahuje svoju váhu. Tento malý, ale výkonný model, vyškolený na zmesi syntetických textov a filtrovaných webových stránok, vyniká v úlohách, ako je odpovedanie na otázky, sumarizácia a preklad. To, čo skutočne odlišuje Phi-2, je jeho zameranie na uvažovanie a porozumenie jazyka, čo vedie k pôsobivému výkonu aj bez pokročilých techník zarovnávania.

Mnoho kompetentných modelov vkladania s otvoreným zdrojom posilňuje celkový priestor generatívnej AI s otvoreným zdrojom. Ide o súčasný stav techniky pre open source a zahŕňajú SAE-Large-V1 a viacjazyčný-e5-veľký .

V tejto neustále rastúcej oblasti je ich oveľa viac. Tento obmedzený zoznam je len začiatok.

Open Source podporuje inovácie

Spoločnosti, ktoré sa skutočne podieľajú na vývoji softvéru s otvoreným zdrojovým kódom, prijímajú filozofiu extrémne otvorenej inovácie a spochybňujú tradičné predstavy o konkurenčnej výhode tým, že uznávajú, že nie všetky dobré kódy alebo skvelé nápady sa nachádzajú v ich organizácii . Tento posun podporuje argument že zdieľané inovácie v rámci open source ekosystému vedú k rýchlejšiemu rastu trhu a poskytujú ešte menším softvérovým firmám obmedzenejšie prostriedky na výskum a vývoj. príležitosť profitovať z presahov výskumu a vývoja prítomných v softvéri s otvoreným zdrojovým kódom. Je to preto, že na rozdiel od tradičného outsourcingu, otvorené inovácie posilňuje vnútorné zdroje využívaním kolektívnej inteligencie komunity bez zníženia vnútorného úsilia v oblasti výskumu a vývoja. Znamená to, že spoločnosti s otvoreným zdrojovým softvérom nemusia obetovať svoje rozpočty, aby sa venovali myšlienkovému vedeniu a kódovaniu mimo svojej organizácie.

Spoločnosti s otvoreným zdrojovým softvérom navyše strategicky podporujú inovácie včasné a časté uvoľňovanie kódu , uznávajúc kumulatívny charakter inovačného procesu v softvérovej komunite. To všetko znamená niečo, čo už mnohí uznávajú: Open Source softvér poháňa inovácie.

Open Source podporuje spoluprácu

Cez vytváranie sietí v komunite open-source softvéru sú podnikatelia schopní napĺňať krátkodobé aj dlhodobé ciele. Krátkodobé ziskové ciele budujú spoločnosti a dlhodobé ziskové ciele ich udržujú. Zároveň toto úsilie o vytváranie sietí udržiava samotnú sieť – rozširuje ju pre ďalšieho podnikateľa. Je dobre známe, že platformy s otvoreným zdrojovým kódom poskytujú prístup k zdrojovému kódu a umožňujú vývojárom vytvárať upgrady, zásuvné moduly a iné časti softvéru a používať ich podľa svojich požiadaviek. Tento konkrétny druh spolupráce zažil rozmach vďaka širokému prijatiu Kubernetes širšou softvérovou komunitou. Teraz viac ako kedykoľvek predtým moderné technológie spolupracujú s veľmi malým trením a môžu byť spolu za pár minút takmer kdekoľvek.

Veľké technologické spoločnosti uznávajú túto hlbokú spoluprácu, ktorá je vlastná komunite open source, keď voľne vydávajú rámce, knižnice a jazyky, ktoré vytvorili na údržbu a vývoj interných nástrojov. Tým sa prehlbuje skupina vývojárov schopných pracovať na svojich produktoch a začína sa určovať štandard, ako by podobné technológie mali fungovať. Ten istý článok z Atlantiku cituje zakladateľa spoločnosti Meta Marka Zuckerberga, ktorý povedal, že „bolo pre nás veľmi cenné poskytnúť to, pretože teraz všetci najlepší vývojári v tomto odvetví používajú nástroje, ktoré používame aj interne“.

Open Source Splodí Open Source

Toto sú faktory, prečo veľmi často vidíme synergie medzi open-source spoločnosťami. Spoločnosti s umelou inteligenciou a ML s otvoreným zdrojom budú prirodzene vyvíjať riešenia s ďalšími produktmi s otvoreným zdrojovým kódom od základných produktov, ako je ukladanie objektov, až po nástroje na vizualizáciu. Keď jedna open-source spoločnosť vykročí vpred, urobíme to všetci. Tento súdržný a zmiešaný prístup je pravdepodobne našou najlepšou stávkou na vývoj AI, ktorá využíva prístup zameraný na človeka. Tieto prirodzené sily spojené s trhovou potrebou umelej inteligencie s otvoreným zdrojovým kódom v kombinácii s kvalitami softvéru s otvoreným zdrojovým kódom inovácie a spolupráce budú poháňať zásobník údajov AI s otvoreným zdrojom.

Pripojte sa k tejto konverzácii a našej komunite a prispejte k nej e-mailom na adresu [email protected] alebo nám pošlite správu na náš Slack kanál .