Öppen källkod: Nästa steg i AI-revolutionen

Föreställ dig en framtid där AI inte är inlåst i företagsvalv, utan byggd i det fria, sten för sten, av en global gemenskap av innovatörer. Där samarbete, inte konkurrens, driver framsteg och etiska överväganden väger lika mycket som råa prestationer. Det här är inte science fiction, det är revolutionen med öppen källkod som håller på att brygga i hjärtat av AI-utveckling. Men Big Tech har sin egen agenda, döljer begränsade modeller som öppen källkod samtidigt som man försöker skörda fördelarna med en verkligt öppen gemenskap.

Låt oss dra tillbaka lagren av kod och avslöja sanningen bakom dessa ansträngningar. Denna utforskning av framtiden för AI med öppen källkod kommer att dissekera "pretenders" och kämpa för de "riktiga" i AI-utveckling för att avslöja innovationsmotorn som är öppen källkodsmjukvara som surrar under alltihop. Summan av kardemumman är att AI med öppen källkod kommer att skapa en datastack med öppen källkod.

Behovet

En färsk artikel av Matteo Wong i The Atlantic, ' Det fanns aldrig något sådant som "öppen" AI ' beskriver en växande trend inom den akademiska världen och mjukvarugemenskapen för AI med öppen källkod. "Tanken är att skapa relativt transparenta modeller som allmänheten lättare och billigare kan använda, studera och reproducera, i ett försök att demokratisera en mycket koncentrerad teknik som kan ha potential att förändra arbete, polis, fritid och till och med religion." Samma Atlantic antyder att Big Tech-företag som Meta försöker fylla detta behov på marknaden genom att "öppna tvätta" sina produkter. De antar egenskaperna och det positiva ryktet som öppen källkodsgemenskapen har utan att verkligen använda sin produkt med öppen källkod. Men det finns ingen ersättning för den äkta varan. Detta beror på att äkta mjukvara med öppen källkod driver innovation och samarbete: två egenskaper som behövs desperat för att gå vidare med AI på ett ansvarsfullt sätt.

Pretenders

LLaMA 2, är en stor språkmodell skapad av Meta som är gratis att använda för både forskning och kommersiellt bruk. Som leder till att LLaMA 2 är öppen källkod. Meta har dock implementerat några stränga restriktioner för användningen av deras modell. Till exempel kan LLaMA 2 inte användas för att förbättra någon annan stor språkmodell. En ståndpunkt som går emot det traditionella privat kollektiv innovationsmodell av öppen programvara som främjar den fria och öppna avslöjandet av innovation till gagn för alla i mjukvarugemenskapen.

Meta förlamade ytterligare användningen av deras modell genom att inte tillåta integration av LLaMA 2 med produkter som har 700 miljoner månadsanvändare och genom att inte avslöja vilken data deras modell är tränad på eller koden de använde för att bygga den. Genom att inte avslöja öppnar Meta sig för frågor om inneboende partiskhet och oavsiktlig diskriminering. En modell tränad på diskriminerande data kommer servera diskriminerande svar . Utan att mjukvarugemenskapen i stort kan se vare sig koden som användes för att bygga modellen för att se om några säkerhetsåtgärder har byggts in eller data som används för att träna den, lämnas vi i mörkret om dessa moraliska frågor. I en tid då publicerad forskning om AI är mer bekymrad över prestation än rättvisa och respekt är denna förvirring särskilt störande.

De riktiga

Mistral AI har fått erkännande för sina stora språkmodeller med öppen källkod, särskilt Mistral 7B och Mixtral 8x7B. Företaget strävar efter att säkerställa bred tillgänglighet till sina AI-modeller, uppmuntra granskning, modifiering och återanvändning av den öppna mjukvarugemenskapen.

vLLM står för "vektoriserad low-latency model servering" och är ett bibliotek med öppen källkod speciellt utformat för att snabba upp och optimera stora språkmodeller (LLM). Det är ett kraftfullt verktyg som avsevärt kan förbättra prestanda och användbarhet för LLM:er. Detta gör det till en värdefull tillgång för utvecklare som arbetar med en mängd olika AI-applikationer, från chatbots och virtuella assistenter till innehållsskapande och kodgenerering. Så mycket att Mistral rekommenderar att du använder vLLM som slutledningsserver för 7B- och 8x7B-modellerna.

EleutherAI är ett icke-vinstdrivande AI-forskningslabb som har vuxit från en Discord-server för att diskutera GPT-3 till en ledande ideell forskningsorganisation. Gruppen är känd för sitt arbete med att träna och främja öppna vetenskapliga normer inom Natural Language Processing. De har släppt olika stora språkmodeller med öppen källkod och är involverade i forskningsprojekt relaterade till AI-anpassning och tolkningsbarhet. Deras LM-sele projektet är förmodligen det ledande utvärderingsverktyget med öppen källkod för språkmodeller.

Phi-2 är Microsofts LLM som slår över sin vikt. Utbildad på en blandning av syntetiska texter och filtrerade webbplatser, den här lilla, men kraftfulla modellen utmärker sig vid uppgifter som att svara på frågor, sammanfatta och översätta. Det som verkligen skiljer Phi-2 är dess fokus på resonemang och språkförståelse, vilket leder till imponerande prestanda även utan avancerade inriktningstekniker.

Många kompetenta inbäddningsmodeller med öppen källkod stärker det övergripande generativa AI-utrymmet med öppen källkod. Dessa är den aktuella state-of-the-art för öppen källkod och inkluderar UAE-Large-V1 och multilingual-e5-largel .

Det finns många fler inom detta ständigt växande område. Denna begränsade lista är bara en början.

Öppen källkod driver innovation

Genom att anamma en filosofi om extrem öppen innovation, utmanar företag som verkligen deltar i mjukvaruutveckling med öppen källkod traditionella föreställningar om konkurrensfördelar genom att erkänna att inte all bra kod eller bra idéer finns inom deras organisation . Detta skifte stöder argument att delade innovationer inom ekosystemet med öppen källkod leder till snabbare marknadstillväxt, vilket ger även mindre programvaruföretag mer begränsade FoU-medel. möjlighet att dra nytta från FoU-spillovers som finns i programvara med öppen källkod. Detta beror på, i motsats till traditionell outsourcing, öppen innovation förbättrar interna resurser genom att utnyttja samhällets kollektiva intelligens, utan att minska interna FoU-insatser. Det betyder att företag med öppen källkod inte behöver offra sina budgetar för att bedriva tankeledarskap och kod utanför sin organisation.

Dessutom driver företag med öppen källkod strategiskt innovation förbi släpper koden tidigt och ofta , som erkänner innovationsprocessens kumulativa karaktär i mjukvarugemenskapen. Allt detta för att säga något som många redan känner igen: programvara med öppen källkod driver innovation.

Öppen källkod främjar samarbete

Genom nätverk inom mjukvarugemenskapen med öppen källkod kan entreprenörer uppfylla både kortsiktiga och långsiktiga mål. Kortsiktiga vinstmål bygger företag och långsiktiga vinstmål upprätthåller dem. Samtidigt upprätthåller denna nätverksansträngning själva nätverket - växer det till nästa entreprenör. Det är välkänt att plattformar med öppen källkod ger tillgång till källkoden, vilket gör det möjligt för utvecklare att skapa uppgraderingar, plug-ins och andra programvaror och använda dem enligt deras krav. Denna speciella typ av samarbete upplevde en boom med den breda tillämpningen av Kubernetes av det bredare programvarucommunityt. Nu mer än någonsin, modern teknik fungerar tillsammans med mycket liten friktion och kan vara på några minuter tillsammans nästan var som helst.

Big Tech-företag erkänner detta djupa samarbete som är inneboende i open source-gemenskapen när de fritt släpper ramverk, bibliotek och språk som de skapat för att underhålla och utveckla interna verktyg. Genom att göra det fördjupas poolen av utvecklare som kan arbeta med sina produkter och börjar sätta standarden för hur liknande tekniker ska fungera. Samma Atlantic-artikel citerar Meta-grundaren Mark Zuckerberg som säger att det "har varit mycket värdefullt för oss att tillhandahålla det eftersom nu alla de bästa utvecklarna i branschen använder verktyg som vi också använder internt".

Open Source ger öppen källkod

Detta är faktorer som gör att vi väldigt ofta ser synergier mellan företag med öppen källkod. Företag med öppen källkod AI och ML kommer naturligtvis att utveckla lösningar med andra produkter med öppen källkod, från grundläggande produkter som objektlagring till hela vägen upp i stacken till visualiseringsverktyg. När ett företag med öppen källkod går framåt gör vi det alla. Detta sammanhållna och blandade tillvägagångssätt är förmodligen vårt bästa val för att utveckla AI som tar ett mänskligt centrerat tillvägagångssätt. Dessa naturliga krafter som är inneboende i marknadens behov av AI med öppen källkod kombinerat med egenskaperna hos programvara med öppen källkod för innovation och samarbete kommer att driva AI-datastapeln med öppen källkod.

Gå med och bidra till denna konversation och vår community genom att maila oss på [email protected] eller skicka ett meddelande till oss på vår Slack-kanal .