Open-Source: Kolejny krok w rewolucji AI

Wyobraź sobie przyszłość, w której AI nie jest zamknięta w korporacyjnych skarbcach, ale budowana na otwartej przestrzeni, cegła po cegle, przez globalną społeczność innowatorów. Gdzie współpraca, a nie konkurencja, napędza postęp, a względy etyczne mają równą wagę co surowa wydajność. To nie science fiction, to rewolucja open source , która narasta w sercu rozwoju AI. Ale Big Tech ma swój własny plan, maskując ograniczone modele jako open source, jednocześnie próbując czerpać korzyści z prawdziwie otwartej społeczności.

Odrzućmy warstwy kodu i odkryjmy prawdę stojącą za tymi wysiłkami. Ta eksploracja przyszłości AI typu open source rozłoży na czynniki pierwsze „pretendentów” i będzie wspierać „prawdziwych” w rozwoju AI, aby odkryć silnik innowacji, jakim jest oprogramowanie typu open source, które brzęczy pod tym wszystkim. Sednem sprawy jest to, że AI typu open source zrodzi stos danych typu open source.

Potrzeba

Niedawny artykuł Matteo Wonga w The Atlantic: Nigdy nie istniało coś takiego jak „otwarta” sztuczna inteligencja „opisuje rosnący trend w środowisku akademickim i społeczności programistów na rzecz prawdziwie otwartego kodu źródłowego AI. „Chodzi o stworzenie stosunkowo przejrzystych modeli, które społeczeństwo może łatwiej i taniej wykorzystywać, studiować i odtwarzać, próbując zdemokratyzować wysoce skoncentrowaną technologię, która może mieć potencjał przekształcenia pracy, policji, wypoczynku, a nawet religii”. Ten sam Atlantic sugeruje, że duże firmy technologiczne, takie jak Meta, próbują wypełnić tę potrzebę na rynku, „otwierając” swoje produkty. Przyjmują cechy i pozytywną reputację społeczności open source bez prawdziwego otwierania swojego produktu. Ale nie ma substytutu dla prawdziwej rzeczy. Dzieje się tak, ponieważ prawdziwe oprogramowanie open source napędza innowację i współpracę: dwie cechy, które są rozpaczliwie potrzebne, aby odpowiedzialnie rozwijać AI.

Pretendenci

LLaMA 2 to duży model językowy stworzony przez Meta , który jest darmowy do użytku zarówno w celach badawczych, jak i komercyjnych. To skłoniło niektórych do sugerowania, że LLaMA 2 jest oprogramowaniem typu open source. Jednak Meta wprowadziła pewne poważne ograniczenia dotyczące korzystania z ich modelu. Na przykład LLaMA 2 nie może być używany do ulepszania żadnego innego dużego modelu językowego. Stanowisko to jest sprzeczne z tradycyjnym prywatny model innowacji zbiorowej otwartego oprogramowania, która promuje swobodne i otwarte ujawnianie innowacji dla dobra całej społeczności programistycznej.

Meta jeszcze bardziej ograniczyła wykorzystanie swojego modelu, nie pozwalając na integrację LLaMA 2 z produktami, które mają 700 milionów użytkowników miesięcznie i nie ujawniając, na jakich danych trenowany jest ich model ani jakiego kodu użyli do jego zbudowania. Nie ujawniając tego, Meta naraża się na pytania o wrodzone uprzedzenia i przypadkową dyskryminację. Model trenowany na danych dyskryminacyjnych będzie podawać reakcje dyskryminacyjne . Bez możliwości przeglądania przez społeczność programistów kodu użytego do zbudowania modelu, aby sprawdzić, czy wbudowano jakieś zabezpieczenia, lub danych użytych do jego trenowania, pozostajemy w ciemności w kwestiach moralnych. W czasach, gdy opublikowane badania na temat AI jest bardziej zainteresowany wydajnością niż sprawiedliwością i szacunkiem, to zaciemnianie jest szczególnie niepokojące.

Prawdziwe

Mistral AI zyskała uznanie za swoje otwarte modele dużych języków, zwłaszcza Mistral 7B i Mixtral 8x7B. Firma dąży do zapewnienia szerokiej dostępności swoich modeli AI, zachęcając do przeglądu, modyfikacji i ponownego wykorzystania przez społeczność otwartego oprogramowania.

vLLM oznacza „vectorized low-latency model serving” i jest biblioteką typu open source zaprojektowaną specjalnie w celu przyspieszenia i optymalizacji dużych modeli językowych (LLM). Jest to potężne narzędzie, które może znacznie poprawić wydajność i użyteczność LLM. Dzięki temu jest to cenny zasób dla programistów pracujących nad różnymi aplikacjami AI, od chatbotów i wirtualnych asystentów po tworzenie treści i generowanie kodu. Do tego stopnia, że Mistral zaleca używanie vLLM jako serwera wnioskowania dla modeli 7B i 8x7B.

EleutherAI jest non-profitowym laboratorium badawczym AI, które rozwinęło się z serwera Discord do dyskusji o GPT-3 do wiodącej organizacji badawczej non-profit. Grupa jest znana ze swojej pracy w zakresie szkolenia i promowania otwartych norm naukowych w zakresie przetwarzania języka naturalnego. Wydali różne otwarte modele dużych języków i są zaangażowani w projekty badawcze związane z dopasowaniem AI i interpretowalnością. Ich LM-Uprząż Projekt jest prawdopodobnie wiodącym narzędziem typu open source do oceny modeli językowych.

Phi-2 to LLM firmy Microsoft, który przewyższa swoją wagę. Wyszkolony na mieszance tekstów syntetycznych i filtrowanych witryn internetowych, ten mały, ale potężny model doskonale radzi sobie z zadaniami takimi jak odpowiadanie na pytania, podsumowywanie i tłumaczenie. To, co naprawdę wyróżnia Phi-2, to skupienie się na rozumowaniu i rozumieniu języka, co prowadzi do imponującej wydajności nawet bez zaawansowanych technik dopasowywania.

Wiele kompetentnych modeli osadzania open-source wzmacnia ogólną przestrzeń generatywnej AI open-source. Są to obecne najnowocześniejsze rozwiązania open source i obejmują: ZEA-Duży-V1 I wielojęzyczny-e5-largel .

Jest ich znacznie więcej w tej stale rozwijającej się dziedzinie. Ta ograniczona lista to dopiero początek.

Oprogramowanie Open Source napędza innowację

Przyjmując filozofię ekstremalnie otwartej innowacji, firmy, które naprawdę uczestniczą w rozwoju oprogramowania typu open source, kwestionują tradycyjne pojęcie przewagi konkurencyjnej, uznając, że nie wszystkie dobre kody i świetne pomysły znajdują się w ich organizacji . Ta zmiana wspiera argument że wspólne innowacje w ekosystemie open source prowadzą do szybszego wzrostu rynku, zapewniając nawet mniejszym firmom zajmującym się oprogramowaniem bardziej ograniczone fundusze na badania i rozwój możliwość skorzystania z rozlania R&D obecnego w oprogramowaniu typu open source. Dzieje się tak, ponieważ w przeciwieństwie do tradycyjnego outsourcingu, otwarta innowacja wzmacnia zasoby wewnętrzne wykorzystując zbiorową inteligencję społeczności, bez zmniejszania wewnętrznych wysiłków badawczo-rozwojowych. Oznacza to, że firmy zajmujące się oprogramowaniem typu open source nie muszą poświęcać swoich budżetów, aby dążyć do przywództwa myślowego i kodowania poza swoją organizacją.

Ponadto firmy zajmujące się oprogramowaniem typu open source strategicznie napędzają innowacje, wczesne i częste udostępnianie kodu , uznając kumulatywny charakter procesu innowacji w społeczności oprogramowania. Wszystko to, aby powiedzieć coś, co wielu już rozpoznaje: Oprogramowanie Open Source napędza innowację.

Oprogramowanie Open Source sprzyja współpracy

Poprzez sieciowanie w społeczności oprogramowania open source przedsiębiorcy są w stanie realizować zarówno krótkoterminowe, jak i długoterminowe cele. Krótkoterminowe cele zysku budują firmy, a długoterminowe cele zysku je podtrzymują. Jednocześnie ten wysiłek sieciowy samopodtrzymuje samą sieć - rozwijając ją dla kolejnego przedsiębiorcy. Powszechnie wiadomo, że platformy open source zapewniają dostęp do kodu źródłowego, umożliwiając programistom tworzenie aktualizacji, wtyczek i innych elementów oprogramowania oraz korzystanie z nich zgodnie z ich wymaganiami. Ten szczególny rodzaj współpracy przeżył rozkwit wraz z szeroką adopcją Kubernetes przez szerszą społeczność oprogramowania. Teraz bardziej niż kiedykolwiek nowoczesne technologie współpracują ze sobą z bardzo małym tarciem i mogą być razem w ciągu kilku minut niemal wszędzie.

Firmy Big Tech uznają tę głęboką współpracę, która jest nieodłączną cechą społeczności open source, gdy swobodnie udostępniają frameworki, biblioteki i języki, które stworzyły, aby utrzymywać i rozwijać wewnętrzne narzędzia. Robiąc to, poszerzają pulę programistów zdolnych do pracy nad ich produktami i zaczynają wyznaczać standardy działania podobnych technologii. Ten sam artykuł w Atlantic cytuje założyciela Meta, Marka Zuckerberga, który powiedział, że „było dla nas bardzo cenne, aby to zapewnić, ponieważ teraz wszyscy najlepsi programiści w branży używają narzędzi, których my również używamy wewnętrznie”.

Open Source rodzi Open Source

Są to czynniki, dla których bardzo często widzimy synergię między firmami open-source. Firmy open-source AI i ML będą naturalnie rozwijać rozwiązania z innymi produktami open-source, od podstawowych produktów, takich jak przechowywanie obiektów, po wszystkie narzędzia do wizualizacji. Kiedy jedna firma open-source wychodzi naprzód, wszyscy to robimy. To spójne i połączone podejście jest prawdopodobnie naszym najlepszym wyborem do rozwijania AI, które przyjmuje podejście skoncentrowane na człowieku. Te naturalne siły inherentne w zapotrzebowaniu rynku na AI open source w połączeniu z cechami oprogramowania open source, takimi jak innowacja i współpraca, będą napędzać stos danych AI open source.

Zapraszamy do przyłączenia się do tej dyskusji i do naszej społeczności poprzez wysłanie wiadomości e-mail na adres cześć@min.io lub wysyłając nam wiadomość na naszym kanale Slack .