LLM Data Drift ЛЛМ Дата Дрифт Хеуристичка предвиђања изгледају да се регулишу правилима треће стране. Али у пракси, то управљање није урођено моделу - то је наметнуто споља од стране програмера кроз слојеве модерације, филтере за пост-процесирање или фино подешавање правила која делују као ограничења треће стране на иначе неограниченом мотору за предвиђање. Ово је у реду, али то не помаже значајно да се побољша тачност модела или да се створе модели који буду свесни контекста који неће експлодирати у броју параметара. Већина ЛЛМ-а (Велики језички модели - ЦхатГПТ, Цлоод, Близанци, Грок, итд.) не халуцинирају у традиционалном смислу - они дрифт. И то дрифт није бука; то је структурни недостатак који се баци у то како ауторегресивни модели предвиђају токене: један корак у једном тренутку, заснован само на непосредној прошлости. Експеримент који сам покренуо, и можете то учинити сами, је да узмете случајну реченицу, на пример, "Предвиђајући АИ епсилон, дијабетична мачка, главни једноставан радио на, тако речник" И имати одређену АИ поновите излаз, и однесите га на алтернативни ЛЛМ за други пролаз, и видите колико се усклађује са оригиналом. У теорији, ЛЛМ би требало да буде у стању да савршено копира реченицу.У пракси, добијате дрифт-покрете пунктуације, промене речи и промене капитализације.И када те мале грешке уђу у излаз, следећи модел предвиђа из погрешне верзије, погоршавајући грешку и појачавајући халуцинацију. Увођење тежег слоја, проверавање одступања од оригиналног уноса, омогућило би контекстуално свјесно предвиђање следећег елемента / токена. У основи, пошто су предвиђања ЛЛМ-а закључана на било који токен који је дошао раније, може Као да постоји нека врста страже на месту, али заиста модел ради без правог контекста - више као оракул који претпоставља следећи догађај без знања о садашњости или прошлости. Погледај Spoljna moderacija, RLHF (Reinforcement Learning from Human Feedback) i sigurnosno fino podešavanje smanjuju štetne ili off-topic driftove – i to je vredno. Они не дају меморију модела почетне тачке - оригинални кориснички унос - на сваком кораку токена. Пребацивање провера лојалности у модел, као родно ограничење током генерације, учинило би ЛЛМс контекстуалним по дизајну, а не само усклађеним након обраде. Ово понашање показује прилично драматичну потребу: спољну ревизију – не само пажњу на последњи токен, већ активну упоређивање са оригиналним уносом из унутар модела. То је место где долази до префињености ограничене верношћу. Уместо да дозволимо да се излази бјеже, наметнемо корекцију: упоредимо сваки нови нацрт не само са претходним, већ се враћамо на оригинални извор. Првобитни тестови показују да га такав слој ограничава назад у оригинални контекст уноса. Zeno’s Paradox & Tokens Zeno je tvrdio da pokret postaje nemoguć ako ga razbijete u beskrajnu seriju manjih kauzalnih koraka – svaki korak samo upućuje na onaj neposredno ispred njega. Ауторегресивни језички модели падају у сличну замку: сваки токен се генерише као "следећи мали корак", зависно само од непосредно претходног фрагмента текста.Ово се решава у обради слика модификовањем тензора док задржава, рецимо, 10 слика или читав сет слика или оквира како би се избегао проблем треперења који је мучио АИ обраду слика у ранијим годинама. Он модел никада не враћа на почетну тачку, никада се не заснива на оригиналном уносу, и стога никада не враћа своју трајекторију. Као Зено тркач који напредује на пола и никада не стиже до финалне линије, модел напредује токен по токену без икада поновног успостављања где је почетак заправо био. Било би као тркач који трчи маратон без знања пуне руте или мапе маратона. Ова структурна миопија је оно што омогућава да се дрифт акумулира, јер је свака нова предвиђања условљена на благо измењеном стању, а не на истинском пореклу. То чини ЛЛМ дрифт не само лингвистичким проблемом, већ узрочним: будућност модела зависи од искривљене садашњости, која је обликована несавршеном прошлошћу. Када ланац почне да клизи, сваки следећи корак комбинује грешку – управо каскадни образац који видите када пренесете текст са једног ЛЛМ-а на други. Без механизма да се ланац приближавања периодично сруши на своју првобитну референтну тачку, систем се понаша као узрочни процес без апсолутног оквира. Рефинирање ограничено верношћу је у суштини решење овог парадокса: континуираним мерењем сваке нове хипотезе против оригиналног уноса, поново уводите фиксну истину која разбија Image Processing Иако је овај дрифт фундаментално својство ауторегресивних текстуалних модела, не видите исто понашање у системима за побољшање слике – а разлог је структурни. Не постоји еквивалент „следеће прогнозе токена“, нема зависности од крхког ланца претходних излаза, и стога нема компоновања малих грешака у веће.Да би се постигла упоредива поузданост, језички модели захтевају механизам који функционално враћа потпуно контекстуално уземљење: корак рафинирања који континуирано упоређује сваку нову хипотезу са оригиналним уносом, а не ослањајући се на претходни ток токена као једини извор истине. Корен Дрива ЛЛМ-а није халуцинација или случајност – то је структурна последица третирања генерисања језика као ланца микроскопских узрочних корака. Као и Зеноов парадокс, где покрет постаје кохерентан када се смањује на бескрајно мање повећања, ауторегресивни модели напредују токен по токену без икада враћања на првобитну референтну тачку. Сваки корак зависи од благо искривљеног излаза претходног, а без глобалног оквира, систем неизбежно одлази од извора. Постизање сличне стабилности у језичким моделима вероватно захтева враћање еквивалентне глобалне референце. Gap-Driven Self-Refinement или нацртани Fidelity-constrained refinement ради управо то: континуирано мери сваку нову хипотезу против оригиналног уноса и користи претходне нацрте као важене анкере, спречавајући мале грешке од компонује. Further Reading 
 
 
 ГИЕР: Гасп-диригент само-рафинирање за велике језичке моделе Физика мулти-верности ограничила неуронске мреже за динамичке системе

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Read My Stories

Овај аудио је произведен на оригиналном језику приче!

Зеново парадокс и проблем АИ токенизације

About Author

КОМЕНТАРИ

ХАНГ ТАГС

ОВАЈ ЧЛАНАК ЈЕ ПРЕДСТАВЉЕН У

Related Stories

Building the Cloud Future: Sreedevi Velagala's Trek in AWS Architecture

Leadership Success Story: Srinath Muralinathan's Transformative Projects at Amazon

Sravana Kumar Reddy Yeruva’s Fusion Transformation Sets a New Standard in ERP Excellence

Scaling Web Testing with Automation: Srikanth Srinivas’s Digital Strategy Breakthrough

Building the Cloud Future: Sreedevi Velagala's Trek in AWS Architecture

Leadership Success Story: Srinath Muralinathan's Transformative Projects at Amazon

Sravana Kumar Reddy Yeruva’s Fusion Transformation Sets a New Standard in ERP Excellence

Scaling Web Testing with Automation: Srikanth Srinivas’s Digital Strategy Breakthrough

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps