Talvi (fysiikka) on tulossa Nyt näyttää siltä, että GPT-tekniikalla toimivat suuret kielimallit saattavat olla lähellä tasannekehitystä. Tämä on suositun fyysikon tohtori Sabine Hossenfelderin uusimmasta YouTube-videosta. https://www.youtube.com/watch?v=AqwSZEQkknU&embedable=true Tohtori Sabine lainaa muutamaa lähdettä, mukaan lukien Bill Gates, joka , että GPT 5 ei ole paljon parempi kuin GPT 4. Ja Professori Gary Marcus hän on rummuttanut tätä nimenomaista rytmiä vuosia. Tämä on vastoin kaikkea videossa näkyvää Sam Altmanin ja Ilya Sutskeverin Ray Kurzweilian hypeä. sanoi viime vuonna sanoo, että Mutta jos pelkkä kaunis matematiikka ei vauhdita fysiikan edistymistä, kuten tohtori Sabine aina muistuttaa, niin pelkkä toiveikas ryhmäajattelu ei anna meille yli-inhimillistä yleistä tekoälyä (AGI). Miksi se, että heittämällä niin paljon dataa, laskentatehoa ja ihmisen valvontaa kuin on varaa, ei synnytä meille yli-inhimillistä AGI:tä? Tri Sabinella on valmis vastaus. Hän selittää, että ongelma on . asteikkojen irrottaminen Asteikkojen irrottaminen Maailma on jaettu mittakaavaan. Fyysisessä maailmassa on maaeläinten mittakaava, kuten me ihmiset. Sen alapuolella meillä on mikrobeja, sitten molekyylejä, atomeja ja subatomisia hiukkasia. Vastakkaiseen suuntaan meillä on lentokoneita ja pilvenpiirtäjiä, vuoria, planeettoja, tähtiä, aurinkokuntaa, galakseja jne. Datamaailmassa meillä on korkearesoluutioisia tietoja, esim. luokat, kuten "kosketettavat esineet", "eläimet", "kissat". Sitten matalaresoluutioiset tiedot laajentaaksesi yllä olevia luokkia, esim. "kissalajit", "kissamallit", "kissan käyttäytyminen maanantaina klo 8.00" jne. On kuitenkin muita taksonomioita. Osa tiedoista on online-tilassa ja osa offline-tilassa kirjoissa, papereissa ja ihmisten mielessä. Meillä voi olla kaikki haluamamme tieto korkearesoluutioisessa . Mutta se ei vastaa paljon suurempaa, matalaresoluutioista tietolähdettä, joka on . ihmiskielen luomisessa Internetissä ihmisten kielen luominen maailmassa Näin ollen Sam Altmanin tekoäly on kuin Aristoteles alla olevassa kuvassa. Toivoen löytävänsä fysiikan vakiomallin katsomalla hänen kättään. Mutta ilman sellaista kuin Large Hadron Collider, joka pistää subatomisia hiukkasia ja näkee sisällään piilevän oudon uuden datan, Aristoteles on tietämätön siitä, miten edetä. Suuri hadronitörmätin tekoälylle GPT-arkkitehtuuri, joka paljastettiin maailmalle vain 2 vuotta sitten ilmiömäisen ChatGPT:n kanssa, on todennäköisesti lähestymässä "parannuskykynsä" loppua. Ehkä on aika vakavasti harkita viestikapula ja riskipääoman rahoituksen siirtämistä jollekin muulle. Kannatan , jota tutkivat parhaillaan Extropicin kaltaiset yritykset. Se toimii hyödyntämällä lämpökohinaa luodakseen satunnaisia näytteitä tiedoista kuten Stable Diffusion -tekniikassa, ja poistaa sitten kohinan tilastollisen analyysin avulla. termodynaamista laskentaa Itse asiassa kirjoittaa Laszlo Fazekas. missä tahansa alkupainot yleensä alustetaan satunnaisella kohinalla. Harjoittelun aikana muotoilee lopulliset painot tästä satunnaisesta melusta - hermoverkossa backpropagation Etuna on sirujen toiminta pienemmässä mittakaavassa kuin perinteisessä digitaalisessa laskennassa, jossa kvanttiefektit aiheuttavat runsasta lämpökohinaa. Lämpömelua on joka tapauksessa aina ollut runsaasti. Keittiöni liesi on täynnä lämpöääniä. Todellinen ongelma on aina ollut se, kuinka ymmärtää se paremmin tilastollisen datan paloittelun avulla ilman, että tietoja heitetään pois regressioanalyysin aikana. Minun arvaukseni? Jonkinlainen massiivinen pilvilaskennallinen AI-koulutus, joka hyödyntää älypuhelimia, bitcoin-solmuja, televisioita, radioita. Tällä hetkellä tekoälyyritykset puristavat lisää mehua, jos tekoälylle annetaan jonkin verran "ajatteluaikaa", jotta se voi tehdä pidempiä päätelmiä samoista tiedoista. Esimerkiksi ChatGPT:n o1-mallilla. Mutta ehkä jopa harjoitusaikaa pitäisi pidentää. Ehkä lapsen kaltaisen upean tekoälyn saavuttaminen vaatii vuosikymmenten koulutusta kaikkialta kerätyistä tiedoista. Kerätty ja siirretty hitaasti tiivistetyksi tekoälymalliksi muutamassa palvelimessa. Sam Altman saattaa tarvita biljoonaa valtion dollaria tällaiseen suunnitelmaan. Valitettavasti niitä ei todennäköisesti ole helppo saada. DOGE ei ehkä pysty pelaamaan häntä (jos xAI kärsii samoista ongelmista). Samaan aikaan Bitcoin kasvaa edelleen Kuten yllä olevasta kuvasta näkyy, hyvin harvat ihmiset käyttävät Bitcoinia. Se on kuitenkin . jo 90 000 dollaria tiedot osoittavat, että itse asiassa vain 400 000 ihmistä käyttää Bitcoinia päivittäin. Ja vain 106 miljoonaa omistaa Bitcoinia. Bitbon Vertaile tätä 314 miljoonaa ihmistä, jotka ovat käyttäneet tekoälytyökaluja mukaan. Pelkästään ChatGPT:llä . Todennäköisesti enemmän kuin koko Bitcoin-lohkoketju yhteensä! Statistan tietojen on miljoonia käyttäjiä päivässä Mitä muuta? Tekoäly keräsi suurimman osan näistä käyttäjistä alle vuodessa. Tämä tuntuu väärältä. Bitcoinin kasvu kesti vuosia. Ihmiset hikoilivat, menettivät DCA:ta, uskoivat. Ehkä se on siinä. ChatGPT on kasvanut liian nopeasti. Nyt se on hidastunut ja kaikki ovat happamia. Anteeksi, töitä on vielä tehtävänä. AGI:ta ei tule olemaan niin helppo ymmärtää, ja GPT-tieteilijöiden pitäisi oppia hillitsemään Bitcoineja. Talvi tulee ja menee, mutta juuri nyt on aika maksaa piiputtajalle.
