Spomaľuje sa pokrok AI? Debata o škálovaní OpenAI nechce mať

Myslím si, že OpenAI nie je úprimný, pokiaľ ide o klesajúce výnosy zo škálovania AI iba pomocou údajov a výpočtov. Myslím si, že tým, že o tejto téme nehovoria otvorenejšie, ohrozujú aj veľkú časť ekonomiky, sveta a celého tohto odvetvia.

Najprv som veril tomu, čo nám povedali, že stačí pridať viac výpočtového výkonu a viac dát a LLM ako aj iné modely sa jednoducho zlepšia. Že tento vzťah medzi modelmi, ich výpočtom a údajmi by mohol lineárne rásť až do konca času. Skok od GPT-3 a GPT-3.5 bol obrovský. Skok z GPT-3.5 na GPT-4 sa zdal ako jasný dôkaz, že tento predpoklad bol správny. Ale potom sa veci stali divnými.

Namiesto toho, aby vydali model s názvom GPT-5 alebo dokonca GPT-4.5, vydali GPT-4-turbo. GPT-4-turbo nie je taký inteligentný ako GPT-4, ale je oveľa rýchlejší a lacnejší. To všetko dáva zmysel. Potom však tento trend pokračoval.

Po GPT-4-turbo bolo ďalšie vydanie OpenAI GPT-4o (jahoda). GPt-4o je viac-menej rovnako inteligentný ako GPT-4-turbo, no je ešte rýchlejší a dokonca lacnejší. Funkcionalita, ktorá nás skutočne predala, bola jej schopnosť hovoriť a rozumieť veciam prostredníctvom zvuku a jej rýchlosť. Berte však na vedomie, že v tomto bode nášho príbehu nie je GPT-4-turbo inteligentnejší ako GPT-4 a GPT-4o nie je inteligentnejší ako GPT-4-turbo. A nikto z nich nie je inteligentnejší ako GPT-4.

Ich ďalšie a najnovšie vydanie bolo GPT-o1. GPT-o1 môže pri niektorých úlohách fungovať lepšie ako GPT-4. Ale to preto, že o1 v skutočnosti nie je jeden model. GPT-o1 je vlastne čierna skrinka viacerých ľahkých modelov LLM, ktoré spolupracujú. Možno je o1 ešte lepšie opísaný ako softvér alebo middleware ako skutočný model. Dáte mu otázku, ono príde s odpoveďou a potom opakovane používa iné modely, ktorých úlohou je skontrolovať odpoveď, aby sa uistil, že je správna, a všetky tieto operácie zamaskuje. To všetko robí veľmi, veľmi rýchlo.

Prečo jednoducho nevyrobiť LLM, ktorý je výkonnejší ako GPT-4? Prečo sa uchyľovať k takýmto technikám maskovania a dýky na dosiahnutie nových vydaní? GPT-4 vyšiel pred 2 rokmi, už by sme mali byť ďaleko za jeho schopnosťami. Noam Brown, výskumník z OpenAI, mal čo povedať o tom, prečo išli touto cestou s o1 na TED AI. Povedal: „Ukázalo sa, že to, že robot premýšľa len 20 sekúnd v pokri, má rovnaký výkon ako 100 000-násobné zväčšenie modelu a jeho 100 000-násobné predĺženie.“

Teraz sa zastavte a skutočne premýšľajte o tom, čo sa tam hovorí. Robot premýšľajúci 20 sekúnd je rovnako dobrý ako bot trénovaný 100 000-krát dlhšie so 100 000-krát vyšším výpočtovým výkonom. Ak sú zákony o mierke nekonečné, táto matematika je nemožná. Niečo tu nie je v poriadku alebo niekto klame.

Prečo na tom všetkom záleží? OpenAI má hodnotu 150 miliárd dolárov a väčšina tejto trhovej kapitalizácie je založená na projekciách, ktoré závisia od zlepšovania modelov v priebehu času. Ak je AI len taká dobrá ako dnes, je to stále zaujímavá budúcnosť, ale to nie je to, čo predávajú investorom spoločnosti AI, ktorých celá IP je ich modelom. To tiež mení plán produktov mnohých iných spoločností, ktoré závisia od neustáleho rozvoja svojich LLM pri vytváraní vlastných produktov. Cieľ OpenAI a ambície AGI sú vážne oneskorené, ak je to všetko pravda.

Hypotéza

Dôvodom, prečo sú LLM také úžasné, je filozofický fenomén vyššej úrovne, o ktorom sme nikdy neuvažovali, že jazyk má vo svojej podstate extrémne veľké množstvo kontextu a údajov o svete aj v malých častiach textu. Na rozdiel od pixelov na obrázku alebo videu sa slová vo vete navzájom implicitne opisujú. Úplne súdržná veta je podľa definície „racionálna“. Či je to pravda alebo nie, je veľmi odlišný príbeh a problém, ktorý presahuje samotný jazyk. Bez ohľadu na to, koľko textu skonzumujete, „pravda“ a „klamstvo“ nie sú len lingvistické pojmy. Môžete povedať, že niečo je úplne racionálne, ale v žiadnom prípade nie je „pravdivé“. V tomto bode LLM neustále narážajú na tehlovú stenu. Za posledných 12 mesiacov by som chcel formálne špekulovať, že za zatvorenými dverami nenastali žiadne veľké skoky v LLM v OpenAI, GrokAI alebo v Google. Aby som bol konkrétny, nemyslím si, že by niekto a kdekoľvek vyrobil LLM, ktorý by bol dokonca 1,5x lepší ako GPT-4.

Zdá sa, že v OpenAI odchádzajú zamestnanci na vysokej úrovni. Práve teraz hovoria, že je to kvôli bezpečnosti, ale teraz si nasadím svoj staniolový klobúk a hodím nápad. Sú si vedomí tohto problému a skočia z lode skôr, než bude príliš neskoro.

Potvrdenie

Pred 3 mesiacmi som začal diskutovať o tejto obave s priateľmi. Volali ma mnohými menami haha.

Ale za posledné 3 týždne, veľa tlače začalo cítiť niečo rybie:

• OpenAI už nevydáva Orion (GPT-5), pretože nespĺňa očakávané výkonnostné kritériá a zaznamenáva klesajúce výnosy. ( https://www.theinformation.com/articles/openai-shifts-strategy-as-rate-of-gpt-ai-improvements-slows )

  
  

• Bloomberg uvádza, že OpenAI, Google a Anthropic majú problémy s vytváraním pokročilejšej AI. ( https://www.bloomberg.com/news/articles/2024-11-13/openai-google-and-anthropic-are-struggling-to-build-more-advanced-ai )
  

Čo s tým môžeme urobiť?

Je ťažké odporučiť jediné riešenie. Technológia o1 je dôkazom toho, že aj modely s nízkym výkonom môžu byť prepracované na vykonávanie zložitých operácií. Ale to nie je riešenie problému škálovania AI. Myslím si, že sú potrebné značné investície a rýchle testovanie nových modelových architektúr. Tiež nám došli údaje a potrebujeme nové spôsoby extrapolácie použiteľných údajov pre LLM, na ktorých by sme sa mali školiť. Možno pomocou viacrozmerného označovania, ktoré pomáha priamo usmerňovať jeho odkazy na pravdivé informácie. Ďalším dobrým nápadom by mohlo byť jednoducho pokračovať v dolaďovaní LLM pre špecifické prípady použitia, ako je matematika, veda a zdravotníctvo, a používanie pracovných postupov agentov AI, podobne ako o1. Mnohým spoločnostiam by to mohlo poskytnúť priestor na pohyb, kým nevznikne nová architektúra. Tento problém je naozaj zlý, ale myslím si, že kreativita v strojovom učení a vývoji softvéru , ktorú bude inšpirovať, bude obrovská. Keď prekonáme túto prekážku, určite budeme mať dobrý plán pre AGI a možno aj ASI.