Tekoälytalvi on lähellä, fysiikan luvalla

Talvi (fysiikka) on tulossa

Nyt näyttää siltä, että GPT-tekniikalla toimivat suuret kielimallit saattavat olla lähellä tasannekehitystä. Tämä on suositun fyysikon tohtori Sabine Hossenfelderin uusimmasta YouTube-videosta.

Tohtori Sabine lainaa muutamaa lähdettä, mukaan lukien Bill Gates, joka sanoi viime vuonna , että GPT 5 ei ole paljon parempi kuin GPT 4. Ja Professori Gary Marcus sanoo, että hän on rummuttanut tätä nimenomaista rytmiä vuosia. Tämä on vastoin kaikkea videossa näkyvää Sam Altmanin ja Ilya Sutskeverin Ray Kurzweilian hypeä.

Mutta jos pelkkä kaunis matematiikka ei vauhdita fysiikan edistymistä, kuten tohtori Sabine aina muistuttaa, niin pelkkä toiveikas ryhmäajattelu ei anna meille yli-inhimillistä yleistä tekoälyä (AGI).

Miksi se, että heittämällä niin paljon dataa, laskentatehoa ja ihmisen valvontaa kuin on varaa, ei synnytä meille yli-inhimillistä AGI:tä?

Tri Sabinella on valmis vastaus. Hän selittää, että ongelma on asteikkojen irrottaminen .

Asteikkojen irrottaminen

Maailma on jaettu mittakaavaan.

Fyysisessä maailmassa on maaeläinten mittakaava, kuten me ihmiset. Sen alapuolella meillä on mikrobeja, sitten molekyylejä, atomeja ja subatomisia hiukkasia. Vastakkaiseen suuntaan meillä on lentokoneita ja pilvenpiirtäjiä, vuoria, planeettoja, tähtiä, aurinkokuntaa, galakseja jne.

Datamaailmassa meillä on korkearesoluutioisia tietoja, esim. luokat, kuten "kosketettavat esineet", "eläimet", "kissat". Sitten matalaresoluutioiset tiedot laajentaaksesi yllä olevia luokkia, esim. "kissalajit", "kissamallit", "kissan käyttäytyminen maanantaina klo 8.00" jne.

On kuitenkin muita taksonomioita. Osa tiedoista on online-tilassa ja osa offline-tilassa kirjoissa, papereissa ja ihmisten mielessä.

Meillä voi olla kaikki haluamamme tieto korkearesoluutioisessa ihmiskielen luomisessa Internetissä . Mutta se ei vastaa paljon suurempaa, matalaresoluutioista tietolähdettä, joka on ihmisten kielen luominen maailmassa .

Näin ollen Sam Altmanin tekoäly on kuin Aristoteles alla olevassa kuvassa. Toivoen löytävänsä fysiikan vakiomallin katsomalla hänen kättään.

Mutta ilman sellaista kuin Large Hadron Collider, joka pistää subatomisia hiukkasia ja näkee sisällään piilevän oudon uuden datan, Aristoteles on tietämätön siitä, miten edetä.

Suuri hadronitörmätin tekoälylle

GPT-arkkitehtuuri, joka paljastettiin maailmalle vain 2 vuotta sitten ilmiömäisen ChatGPT:n kanssa, on todennäköisesti lähestymässä "parannuskykynsä" loppua. Ehkä on aika vakavasti harkita viestikapula ja riskipääoman rahoituksen siirtämistä jollekin muulle.

Kannatan termodynaamista laskentaa , jota tutkivat parhaillaan Extropicin kaltaiset yritykset. Se toimii hyödyntämällä lämpökohinaa luodakseen satunnaisia näytteitä tiedoista kuten Stable Diffusion -tekniikassa, ja poistaa sitten kohinan tilastollisen analyysin avulla.

Itse asiassa missä tahansa hermoverkossa alkupainot yleensä alustetaan satunnaisella kohinalla. Harjoittelun aikana backpropagation muotoilee lopulliset painot tästä satunnaisesta melusta - kirjoittaa Laszlo Fazekas.

Etuna on sirujen toiminta pienemmässä mittakaavassa kuin perinteisessä digitaalisessa laskennassa, jossa kvanttiefektit aiheuttavat runsasta lämpökohinaa.

Lämpömelua on joka tapauksessa aina ollut runsaasti.

Keittiöni liesi on täynnä lämpöääniä.

Todellinen ongelma on aina ollut se, kuinka ymmärtää se paremmin tilastollisen datan paloittelun avulla ilman, että tietoja heitetään pois regressioanalyysin aikana.

Minun arvaukseni? Jonkinlainen massiivinen pilvilaskennallinen AI-koulutus, joka hyödyntää älypuhelimia, bitcoin-solmuja, televisioita, radioita.

Tällä hetkellä tekoälyyritykset puristavat lisää mehua, jos tekoälylle annetaan jonkin verran "ajatteluaikaa", jotta se voi tehdä pidempiä päätelmiä samoista tiedoista. Esimerkiksi ChatGPT:n o1-mallilla.

Mutta ehkä jopa harjoitusaikaa pitäisi pidentää. Ehkä lapsen kaltaisen upean tekoälyn saavuttaminen vaatii vuosikymmenten koulutusta kaikkialta kerätyistä tiedoista. Kerätty ja siirretty hitaasti tiivistetyksi tekoälymalliksi muutamassa palvelimessa.

Sam Altman saattaa tarvita biljoonaa valtion dollaria tällaiseen suunnitelmaan. Valitettavasti niitä ei todennäköisesti ole helppo saada. DOGE ei ehkä pysty pelaamaan häntä (jos xAI kärsii samoista ongelmista).

Samaan aikaan Bitcoin kasvaa edelleen

Kuten yllä olevasta kuvasta näkyy, hyvin harvat ihmiset käyttävät Bitcoinia. Se on kuitenkin jo 90 000 dollaria .

Bitbon tiedot osoittavat, että itse asiassa vain 400 000 ihmistä käyttää Bitcoinia päivittäin. Ja vain 106 miljoonaa omistaa Bitcoinia.

Vertaile tätä 314 miljoonaa ihmistä, jotka ovat käyttäneet tekoälytyökaluja Statistan tietojen mukaan. Pelkästään ChatGPT:llä on miljoonia käyttäjiä päivässä . Todennäköisesti enemmän kuin koko Bitcoin-lohkoketju yhteensä!

Mitä muuta? Tekoäly keräsi suurimman osan näistä käyttäjistä alle vuodessa. Tämä tuntuu väärältä. Bitcoinin kasvu kesti vuosia. Ihmiset hikoilivat, menettivät DCA:ta, uskoivat.

Ehkä se on siinä. ChatGPT on kasvanut liian nopeasti. Nyt se on hidastunut ja kaikki ovat happamia.

Anteeksi, töitä on vielä tehtävänä. AGI:ta ei tule olemaan niin helppo ymmärtää, ja GPT-tieteilijöiden pitäisi oppia hillitsemään Bitcoineja. Talvi tulee ja menee, mutta juuri nyt on aika maksaa piiputtajalle.