LLM Data Drift LLM Data Drift -ohjelma Heuristinen ennustaminen näyttää olevan kolmannen osapuolen sääntöjen hallinnassa. Mutta käytännössä tämä hallinto ei ole mallille ominaista – kehittäjät asettavat sen ulkoisesti maltillisuuskerroksilla, jälkikäsittelyn suodattimilla tai hienosäätösäännöillä, jotka toimivat kuin kolmannen osapuolen rajoitukset muutoin rajoittamattomassa ennustinjärjestelmässä. Tämä on hienoa, mutta se ei auta merkittävästi parantamaan mallin tarkkuutta tai luomaan konteksti-tietoisia malleja, jotka eivät räjähtäisi parametrien määrässä. Useimmat LLM: t (suuret kielimallit - ChatGPT, Claude, Gemini, Grok jne.) eivät hallusinoi perinteisessä merkityksessä - ne liukuvat. Ja tämä liuku ei ole melua; se on rakenteellinen vika, joka perustuu siihen, miten autoregressiiviset mallit ennustavat tokeneja: yksi askel kerrallaan, joka perustuu vain välittömään menneisyyteen. Yksi kokeilu, jonka tein, ja voit tehdä sen itse, on ottaa satunnainen lause, esim. "Predictive AI epsilon, diabeettinen kissa, perus yksinkertainen radio, joten sanakirja" Ja jos sinulla on annettu AI, toista tuotto ja ota se vaihtoehtoiseen LLM: hen toisen passin jälkeen ja katso, kuinka paljon se sopii alkuperäiseen. Teoriassa LLM: n pitäisi pystyä kopioimaan lause täydellisesti. Käytännössä saat drift-puntuaation liikkeet, sanat muuttuvat ja pääoman muutokset. Ja kun nämä pienet virheet tulevat tulokseen, seuraava malli ennustaa virheellisestä versiosta, mikä pahentaa virhettä ja vahvistaa hallusinaatiota. Painotetun kerroksen käyttöönotto, joka tarkistaa poikkeaman alkuperäiseen syöttöön nähden, mahdollistaisi seuraavan elementin/tokenin kontekstuaalisen ennustamisen. Periaatteessa, koska LLM: n ennusteet on lukittu mihin tahansa tokeneihin, se voi Tuntuu siltä, että siellä on jonkinlainen varjostin paikoillaan, mutta todella malli toimii ilman todellista kontekstia - enemmän kuin orakli arvaamalla seuraavaa tapahtumaa tietämättä nykyisyyttä tai menneisyyttä. Katso myös Ulkoinen maltillisuus, RLHF (Reinforcement Learning from Human Feedback) ja turvallisuuden hienosäätö vähentävät haitallisia tai ulkopuolisia virtauksia – ja se on arvokasta. He eivät anna mallin muistia lähtökohdasta - alkuperäisestä käyttäjän syötöstä - jokaisessa token-vaiheessa. Uskollisuustarkistusten siirtäminen malliin, joka on synnynnäinen rajoitus sukupolven aikana, tekisi LLM: stä kontekstuaalisen suunnittelun, ei vain jälkikäsittelyn mukaisen. Tämä käyttäytyminen osoittaa melko dramaattisen tarpeen: ulkoinen auditointi – ei vain huomiota viimeiseen tokeniin, vaan aktiivinen vertailu alkuperäiseen syöttöön mallin sisällä. Siinä tulee uskollisuuden rajoittama hienostuminen. Sen sijaan, että päästettäisiin vaeltamaan, asetamme korjauslinjan: verrataan jokaista uutta luonnosta paitsi edelliseen, mutta takaisin alkuperäiseen lähteeseen. Käsittele aikaisempia tuloksia aiempina hypoteeseina, punnitse niiden tasapaino ja vedä järjestelmä takaisin vakaaseen pohjaan. Alustavat testit osoittavat, että tällainen kerros rajoittaa sitä takaisin alkuperäiseen syöttökontekstiin. Zeno’s Paradox & Tokens Zeno väitti, että liike tulee mahdottomaksi, jos rikot sen loputtomaan sarjaan pienempiä kausaalisia vaiheita - jokainen vaihe viittaa vain siihen, joka välittömästi edeltää sitä. Autoregressiiviset kielimallit putoavat samanlaiseen ansaan: jokainen tunniste luodaan "seuraavana pienenä askeleena", joka riippuu vain välittömästi edeltävästä tekstin fragmentista.Tämä ratkaistaan kuvankäsittelyssä muuttamalla tensoria säilyttäen esimerkiksi 10 kuvaa tai koko kuvien tai kehysten joukon välttääkseen vilkkuvan ongelman, joka vaivasi kuvankäsittelyä AI: lla aiempina vuosina. Hänen mallinsa ei koskaan palaa lähtökohtaan, ei koskaan perustele itseään alkuperäiseen syöttöön, eikä siksi koskaan ankkuroidu uudelleen sen polkuun. Kuten Zeno-juoksija, joka etenee puoliksi ja ei koskaan saavuta päätepistettä, malli etenee token per token ilman, että koskaan palautetaan, missä alku todella oli. Se olisi kuin juoksija, joka juoksee maratonia tuntematta maratonin täyttä reittiä tai karttaa. Tämä rakenteellinen myopia on se, mikä mahdollistaa juoksun kerääntymisen, koska jokainen uusi ennuste perustuu hieman muuttuneeseen tilaan, ei todelliseen alkuperään. Tämä tekee LLM: n liukumisen paitsi kielelliseksi ongelmaksi myös syy-yhteydeksi: mallin tulevaisuus riippuu vääristyneestä nykyisyydestä, jota muovaa epätäydellinen menneisyys. Kun ketju alkaa liukua, jokainen myöhempi vaihe yhdistää virheen – täsmälleen kaskadimallin, jonka näet, kun siirryt tekstiä yhdestä LLM: stä toiseen. Ilman mekanismia, jolla lähestymistapojen ketju kaatuu säännöllisesti takaisin alkuperäiseen vertailukohtaansa, järjestelmä käyttäytyy kuin syyprosessi ilman absoluuttista kehystä. Uskollisuusrajoitettu hienostuminen on pohjimmiltaan ratkaisu tähän paradoksiin: mittaamalla jatkuvasti jokaista uutta hypoteesia alkuperäistä syöttöä vastaan, palautat kiinte Image Processing Vaikka tämä virtaus on perustavanlaatuinen ominaisuus autoregressiivisten tekstimallien, et näe samaa juoksevaa käyttäytymistä kuvan parantamisjärjestelmissä - ja syy on rakenteellinen. kuvankäsittelymallit eivät tuota pikseleitä kerrallaan perustuen omiin aiempiin arvailuihinsa; jokainen vaihe näkee koko kehyksen samanaikaisesti ja muuttaa sen täydellisenä signaalina. Denoisers, upscalers, ja deblockers toimivat täyden tilan yhteydessä, tuottaen tuoreen, itsenäisen edustuksen jokaisella passilla. Ei ole vastaavaa "next-token-ennustusta", ei riippuvuutta hauraasta ketjusta aiempien tuotosten, eikä siksi pienien virheiden yhdistämistä suuremmiksi. Jotta saavutettaisiin vertailukelpoinen luotettavuus, kielimallit edellyttävät mekanismia, joka palauttaa toiminnallisesti täyden kontekstin maadoituksen: hienosäätövaihe, joka jatkuvasti vertailee kunkin uuden hypoteesin takaisin alkuperäiseen syöttöön, sen sijaan, että luotettaisiin edelliseen token-virtaan ainoana totuuden lähteenä. LLM-virtauksen juuret eivät ole hallusinaatioita tai satunnaisuutta – se on rakenteellinen seuraus, kun käsitellään kielen tuotantoa mikroskooppisten syy-askeleiden ketjuna. Kuten Zeno-paradoksi, jossa liike muuttuu epäjohdonmukaiseksi, kun sitä vähennetään loputtomasti pienempiin lisäyksiin, autoregressiiviset mallit edistävät merkkiä merkkiä kohti palaamatta koskaan alkuperäiseen viitepisteeseen. Jokainen askel riippuu edellisen hieman vääristyneestä tuloksesta, ja ilman globaalia kehystä järjestelmä väistämättä liukuu pois lähteestä. Vastaavanlaisen vakauden saavuttaminen kielimalleissa edellyttää todennäköisesti vastaavanlaisen globaalin viittauksen palauttamista. Gap-Driven Self-Refinement tai kuvaillut Fidelity-rajoitettu hienosäätely tekee juuri niin: se mittaa jatkuvasti jokaisen uuden hypoteesin alkuperäistä syöttöä vastaan ja käyttää aiempia luonnoksia painotettuina ankkurina, mikä estää pieniä virheitä yhdistelemästä. Further Reading 
 
 
 GIER: Gap-Driven Self-Refinement suurille kielimalleille Multi-fidelity fysiikka rajoitti hermoverkkoja dynaamisille järjestelmille

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Read My Stories

Tämä ääni on tuotettu tarinan alkuperäisellä kielellä!

Zeno: n paradoksi ja AI-tokenisaation ongelma

About Author

KOMMENTIT

RIPUTA TAGSIA

TÄMÄ ARTIKKELI ESITETTIIN

Related Stories

Dear Public Relations Manager, Here’s How to Use HackerNoon for Your Clients

Spaghetti

Hurry! Just One Month Left to Win Up to $2,000 in the #blockchain Writing Contest

Noonies Interview with Stefano Pavone, the Retrogaming Reporter

Dear Public Relations Manager, Here’s How to Use HackerNoon for Your Clients

Spaghetti

Hurry! Just One Month Left to Win Up to $2,000 in the #blockchain Writing Contest

Noonies Interview with Stefano Pavone, the Retrogaming Reporter

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps