Open-Source: Další krok v revoluci AI

Představte si budoucnost, kde AI nebude uzamčena ve firemních trezorech, ale bude postavena otevřeně, cihlu po cihle, globální komunitou inovátorů. Tam, kde kolaborace, nikoli konkurence, podporuje pokrok a etické úvahy mají stejnou váhu jako hrubý výkon. Toto není sci-fi, je to open-source revoluce, která se připravuje v srdci vývoje AI. Ale Big Tech má svůj vlastní program, maskuje omezené modely jako open source a zároveň se snaží těžit z výhod skutečně otevřené komunity.

Odloupněme vrstvy kódu a odhalme pravdu za tímto úsilím. Tento průzkum budoucnosti open-source umělé inteligence rozebere „předstírané“ a prosadí ty „skutečné“ ve vývoji umělé inteligence, aby odhalil inovační motor, kterým je pod tím vším hučící open source software. Pointa je, že open-source AI zplodí open-source datový zásobník.

Potřeba

Nedávný článek Mattea Wonga v The Atlantic, ' Nikdy neexistovala taková věc jako „otevřená“ AI “ popisuje rostoucí trend v akademické sféře a softwarové komunitě pro skutečně open source AI. „Cílem je vytvořit relativně transparentní modely, které by veřejnost mohla snadněji a levněji používat, studovat a reprodukovat, ve snaze demokratizovat vysoce koncentrovanou technologii, která může mít potenciál transformovat práci, policii, volný čas a dokonce i náboženství.“ Tentýž Atlantik naznačuje, že velké technologické společnosti jako Meta se snaží naplnit tuto potřebu na trhu „otevřeným praním“ svých produktů. Přijímají kvality a pozitivní pověst open-source komunity, aniž by svůj produkt skutečně opensourcovali. Ale neexistuje žádná náhrada za skutečnou věc. Je to proto, že skutečný software s otevřeným zdrojovým kódem pohání inovace a spolupráci: dvě vlastnosti, které jsou zoufale potřeba k tomu, abychom se s umělou inteligencí mohli zodpovědně posunout vpřed.

The Pretenders

LLaMA 2, je velký jazykový model vytvořený Meta , který je zdarma k použití pro výzkumné i komerční účely. Některé vedou k názoru, že LLaMA 2 je open source. Meta však zavedla některá přísná omezení na používání jejich modelu. Například LLaMA 2 nelze použít k vylepšení žádného jiného velkého jazykového modelu. Pozice, která jde proti tradici soukromý kolektivní inovační model otevřeného softwaru, který podporuje svobodné a otevřené odhalování inovací ve prospěch každého v softwarové komunitě.

Meta dále ochromila používání jejich modelu tím, že neumožnila integraci LLaMA 2 s produkty, které mají 700 milionů uživatelů měsíčně, a nezveřejnila, na jakých datech je jejich model trénován nebo kód, který použili k jeho sestavení. Tím, že Meta neprozradí, se otevírá otázkám přirozené zaujatosti a náhodné diskriminace. Model trénovaný na diskriminačních datech bude podávat diskriminační reakce . Bez toho, aby si softwarová komunita mohla prohlédnout buď kód použitý k sestavení modelu, aby zjistila, zda byla zabudována nějaká ochranná opatření, nebo data použitá k jeho trénování, zůstáváme v těchto morálních otázkách ve tmě. V době, kdy publikoval výzkum o AI se více zabývá výkonem než spravedlností a respekt je toto mlžení obzvláště znepokojivé.

Skuteční

Mistral AI získala uznání pro své open-source velké jazykové modely, zejména Mistral 7B a Mixtral 8x7B. Společnost se snaží zajistit široký přístup ke svým modelům umělé inteligence a podporuje revize, úpravy a opětovné použití komunitou otevřeného softwaru.

vLLM je zkratka pro "vectorized low-latency model serve" a je to open-source knihovna speciálně navržená pro urychlení a optimalizaci velkých jazykových modelů (LLM). Je to mocný nástroj, který může výrazně zlepšit výkon a použitelnost LLM. Díky tomu je cenným přínosem pro vývojáře pracující na různých aplikacích umělé inteligence, od chatbotů a virtuálních asistentů až po vytváření obsahu a generování kódu. Natolik, že Mistral doporučuje používat vLLM jako inferenční server pro modely 7B a 8x7B.

EleutherAI je nezisková laboratoř pro výzkum umělé inteligence, která vyrostla ze serveru Discord pro diskuse o GPT-3 na přední neziskovou výzkumnou organizaci. Skupina je známá svou prací v oblasti školení a prosazování norem otevřené vědy v oblasti zpracování přirozeného jazyka. Vydali různé open source velké jazykové modely a podílejí se na výzkumných projektech souvisejících s přizpůsobením a interpretovatelností AI. Jejich LM-Postroj projekt je pravděpodobně předním open-source vyhodnocovacím nástrojem pro jazykové modely.

Phi-2 je LLM společnosti Microsoft, která překonává svou váhu. Tento malý, ale výkonný model, vyškolený na směsi syntetických textů a filtrovaných webových stránek, vyniká v úkolech, jako je odpovídání na otázky, shrnutí a překlad. To, co skutečně odlišuje Phi-2, je jeho zaměření na uvažování a porozumění jazyku, což vede k působivému výkonu i bez pokročilých technik zarovnání.

Mnoho kompetentních open-source modelů vkládání posiluje celkový open-source generativní AI prostor. Jedná se o aktuální stav techniky pro open source a zahrnují SAE-Large-V1 a vícejazyčný-e5-velký .

V tomto stále se rozvíjejícím oboru je jich mnohem více. Tento omezený seznam je jen začátek.

Open Source podporuje inovace

Společnosti, které se skutečně podílejí na vývoji softwaru s otevřeným zdrojovým kódem, přijímají filozofii extrémní otevřené inovace a zpochybňují tradiční představy o konkurenční výhodě tím, že uznávají, že ne všechny dobré kódy nebo skvělé nápady sídlí v jejich organizaci . Tento posun podporuje argument že sdílené inovace v rámci open source ekosystému vedou k rychlejšímu růstu trhu a poskytují i menším softwarovým firmám omezenější prostředky na výzkum a vývoj. příležitost těžit z R&D spillovers přítomných v open-source softwaru. Na rozdíl od tradičního outsourcingu totiž otevřené inovace posiluje vnitřní zdroje využitím kolektivní inteligence komunity, aniž by došlo ke snížení vnitřního úsilí v oblasti výzkumu a vývoje. To znamená, že softwarové společnosti s otevřeným zdrojovým kódem nemusí obětovat své rozpočty, aby usilovaly o myšlenkové vedení a kód mimo svou organizaci.

Společnosti s otevřeným zdrojovým softwarem navíc strategicky podporují inovace uvolňovat kód včas a často , uznávajíc kumulativní povahu inovačního procesu v softwarové komunitě. Tím vším lze říci něco, co již mnozí uznávají: Open Source Software pohání inovace.

Open Source podporuje spolupráci

Přes vytváření sítí v komunitě open-source softwaru jsou podnikatelé schopni plnit krátkodobé i dlouhodobé cíle. Krátkodobé ziskové cíle budují společnosti a dlouhodobé ziskové cíle je udržují. Zároveň tato snaha o vytváření sítí zvěčňuje samotnou síť – rozvíjí ji pro dalšího podnikatele. Je dobře známo, že open-source platformy poskytují přístup ke zdrojovému kódu a umožňují vývojářům vytvářet upgrady, zásuvné moduly a další části softwaru a používat je podle svých požadavků. Tento konkrétní druh spolupráce zažil boom díky širokému přijetí Kubernetes širší softwarovou komunitou. Nyní více než kdy jindy moderní technologie spolupracují s velmi malým třením a mohou být během několika minut pohromadě téměř kdekoli.

Velké technologické společnosti oceňují tuto hlubokou spolupráci, která je vlastní komunitě open source, když volně uvolňují rámce, knihovny a jazyky, které vytvořily pro údržbu a vývoj interních nástrojů. Tím se prohlubuje skupina vývojářů schopných pracovat na jejich produktech a začíná se určovat standard, jak by podobné technologie měly fungovat. Tentýž článek v Atlantiku cituje zakladatele Meta Marka Zuckerberga, který řekl, že „je pro nás velmi cenné poskytnout to, protože nyní všichni nejlepší vývojáři v celém odvětví používají nástroje, které používáme také interně“.

Open Source plodí otevřený zdroj

To jsou faktory, proč velmi často vidíme synergie mezi open-source společnostmi. Společnosti s otevřeným zdrojovým kódem AI a ML budou přirozeně vyvíjet řešení s dalšími produkty s otevřeným zdrojovým kódem od základních produktů, jako je úložiště objektů, až po nástroje pro vizualizaci. Když jedna open-source společnost vykročí vpřed, uděláme to my všichni. Tento soudržný a smíšený přístup je pravděpodobně naší nejlepší sázkou pro vývoj umělé inteligence, která využívá přístup zaměřený na člověka. Tyto přirozené síly spojené s potřebou trhu po AI s otevřeným zdrojovým kódem v kombinaci s kvalitami inovací a spolupráce s otevřeným zdrojovým softwarem povedou k otevřenému zdroji dat AI.

Připojte se a přispějte do této konverzace a naší komunity zasláním e-mailu na adresu [email protected] nebo nám pošlete zprávu na náš kanál Slack .