LLM Data Drift LLM දත්ත Drift Heuristic අනාවැකි තුන්වන පාර්ශවයේ නීති මගින් පාලනය කර ඇති බව පෙනේ. එහෙත්, ක්රියාත්මකව, මෙම පාලන ආකෘතියට ස්වභාවික නොවේ – එය මැදිරීම් පටිපාටිය, post-processing ෆයිල්ටර්, හෝ තුන්වන පාර්ශවයේ සීමාවන් ලෙස ක්රියාත්මක වන සුපිරි සැකසුම් නීති හරහා සංවර්ධකයින් විසින් පිටතට බලපානු ඇත. මෙය හොඳයි, නමුත් එය ප්රථම සත්යතාවය සහ ප්රතිමාණ ගණනය කිරීමේ දී පිපිරුමක් නොලැබෙන පරිගණකයක් නිර්මාණය කිරීම සඳහා ආකෘති නිවැරදිතාවය වැඩි දියුණු කිරීමට හා නිවැරදිතාවය තබා ගැනීම සඳහා පසුපසින් ප්රතිවිපාක යන්ත්රයට සමාන කිරීම පහසු වනු ඇත. බොහෝ LLMs (Large Language Models - ChatGPT, Claude, Gemini, Grok, ආදිය) සම්ප් රදායික අර්ථයෙන් හූනාවක් නොකරයි - ඔවුන් දුවන්නේ. සහ එම දුවන්නේ ශබ්දයක් නොවේ; එය ස්වයංක්රීය ප්රතිරෝධී ආකෘති ටොක්න් අනාවැකි කරන්නේ කෙසේද යන්න පිළිබඳ ව්යුහික දෝෂයක් වේ: එක් වරක් එක් පියවරක්, සෘජුවම අතීතය මත පදනම්ව. මම ක්රියාත්මක වූ අත්හදා බැලීමක්, ඔබ විසින් කළ හැකි, උදාහරණයක් ලෙස, 'පරික්ෂාකාරී AI epsilon, සයිබේටික පූසෙක්, baseline simple radio to a, thus the dictionary' සහ ලබා දී ඇති AI ප්රතිඵල නැවත නැවත, සහ එය දෙවන පරාසයක් සඳහා විකල්ප LLM වෙත ගෙන, එය මූලික සමග කොපමණ අනුකූල වේද බලන්න. Theoretically, a LLM should be able to copy a sentence perfectly.In practice, you get drift—punctuation moves, words change, and capitalization shifts.And once those tiny errors enter the output, the next model predicts from the faulty version, compounding the error and amplifying the hallucination.එකෙන් පසුව, ඔබට වචනය පරිවර්තනය කිරීමට හැකි වනු ඇත. උදාහරණයක් ලෙස, මූලික ඇතුලත් කිරීමෙන් පරාසය පරීක්ෂා කිරීමෙන් බරපතල පරාසය ඉදිරිපත් කිරීම, ඊළඟ ඉලක්කය / ටෝකන් පිළිබඳ සබැඳි අවබෝධය පිළිබඳ අනාවැකි ලබා දෙයි. මූලික වශයෙන්, LLM හි අනාවැකි ඕනෑම ටෝකන් පෙර පැමිණ ඇති නිසා, එය විය හැක කෙසේ වෙතත්, සැබෑවටම මෙම ආකෘතිය සැබෑ සබැඳියකින් තොරව ක්රියාත්මක වේ - ඊළඟ සිදුවීම හෝ අතීතය නොදන්නා පරිදි ඊළඟ සිදුවීම අනාවැකි කිරීමට වඩාත් සමාන ය. එය ඊළඟ පැහැදිළි වැරැද්දක් වළක්වා ගත හැකිය, නමුත් තවමත් වළක්වා ගත හැකිය. බලන්න අභ්යන්තර moderation, RLHF (Reinforcement Learning from Human Feedback), සහ ආරක්ෂක සුරක්ෂිත කිරීම හානිදායක හෝ off-topic drift අඩු කරයි - සහ එය වටිනා වේ. ඔවුන් සෑම තක්සේරු පියවරකදී ආරම්භක ස්ථානය - මුල් පරිශීලක ප්රවේශය -ගේ ආකෘති මතකය ලබා දෙන්නේ නැත. ආකෘතිය වෙත සැබෑත්වය පරීක්ෂා කිරීම, පරම්පරාව තුළ ස්වභාවික සීමාවක් ලෙස, LLMs සැලසුම් අනුව පරිගණක අවබෝධයක් ඇති කරයි, පර්යේෂණ පසු අනුකූලතාවය පමණක් නොවේ. මෙම හැසිරීම ඉතා ප්රදර්ශනීය අවශ් යතාවයක් පෙන්වයි: පිටත විනිශ්චය – අවසාන ටෝකන් වෙත අවධානය යොමු කිරීම පමණක් නොව, ආකෘතිය ඇතුළත ඇති මුල් ආදායම සමඟ ක්රියාකාරී සමාලෝචන.එතකොට විශ්වාසභංගය සීමා කර ඇති සාර්ථකත්වය ඇතුළත් වේ.අපි ආදායම් අවුල් කිරීමට ඉඩ නොදෙන්න වෙනුවට, අපි නිවැරදි කිරීම් පුවරුවක් සකස් කරමු: සෑම නව ව් යාපෘතියකට පමණක් නොව, මුල් මූලාශ්රය වෙත නැවත සමාලෝචනය කරන්න.අපේ පෙර ආදායම් ප්රදර්ශන ලෙස සැලකිලිමත් වන්න, ඔවුන්ගේ අනුකූලතාවය බරපතළ කරමු, සහ පද්ධතිය නැවත ස්ථාවර මූලික සත් යය වෙත යොමු කරන්න. ආරම්භක පරීක්ෂණ පෙන්වා දෙන්නේ එවැනි මට්ටම එය මූලික ඇතුලත් කොන්දේසි වෙත නැවත සීමා කරයි. Zeno’s Paradox & Tokens මෙම දෝෂය තේරුම් ගැනීම සඳහා එක් ක්රමයක් Zeno ගේ අසාර්ථකත්වය හරහා වේ.Zeno පවසයි ක්රියාකාරීත්වය නොලැබෙනු ඇත, ඔබ එය කුඩා හේතු පියවර කිහිපයක් සීමා කළහොත් - සෑම පියවරක්ම එය ඉදිරියෙහි ඇති පියවරට පමණක් සබැඳෙයි. ස්වයංක්රීය භාෂා ආකෘති සමාන පිපිරීමක් ඇතුළත් වේ: සෑම ටෝකන් "පළමු කුඩා පියවරක්" ලෙස නිර්මාණය කරනු ලැබේ, සැබැවින්ම සැබැවින්ම ඉදිරියෙහි ඇති ලද පින්තූර ප්රමාණය මත රඳා පවතී.This is resolved in image processing by modifying the tensor while retaining, say, 10 of the images or the entire set of images or frames to avoid the flashing problem that plagued image processing AI in earlier years. ඔහුගේ ආකෘතිය කිසිවිටෙකත් ආරම්භක ස්ථානයට ආපසු නොයන්නේය, කිසිවිටෙකත් මූලික ආදායම තුළ ස්ථාවර නොකරන්නේය, එබැවින් කිසිවිටෙකත් එහි ප්රවේශය නැවත සකස් නොකරන්නේය. සෙනෝගේ ක්රීඩකයෙකු මෙන්, ඔහු භාගයක් ඉදිරියට යනවා සහ අවසාන මාර්ගය වෙත කිසිවිටෙකත් ළඟා නොවන්නේය, ආකෘතිය කිසිවිටෙකත් ආරම්භය සැබවින්ම කොතැන සිට නැවත ස්ථාපනය නොකරන්නේය. එය මරාටොන් ගමන් කරන ක්රීඩකයෙකුගේ සම්පූර්ණ මාර්ගය හෝ මාර්ගය නොදන්නා මෙන් වනු ඇත. එය භාෂා ප්රශ්නයක් පමණක් නොව, හේතු ප්රශ්නයක් බවට පත් කරයි: ආකෘතියේ අනාගතය අසාමාන්ය අතීතය විසින් හැදෑරෙන අසාමාන්ය අනාගතය මත රඳා පවතී. සෑදීමේ ආරම්භය වන විට, සෑම ඊළඟ පියවරක්ම වැරැද්ද සංකේත කරයි - ඔබ එක් LLM සිට අනෙකා වෙත ලිඛිතව ප්රකාශ කරන විට ඔබ දකින කැස්කඩර් ආකෘතියයි. ආකෘති සංකේතය නැවත ආරම්භක ප්රවේශ ප්රවේශ ප්රවේශ ප්රවේශය දක්වා කාලීනව කඩා වැටීමට යන්ත් රයක් නොමැතිව, පද්ධතිය අසාමාන්ය සංකේතයක් නොමැතිව ක්රියාකාරීව ක්රියාත්මක කරයි. විශ්වාසය සීමා කර ඇති Image Processing මෙම දෝෂය ස්වයංක්රීය පෙළ ආකෘතිවල මූලික ලක්ෂණයක් වන අතර, ඔබ රූප වැඩිදියුණු කිරීමේ පද්ධතිවල එකම පැනවීමේ හැසිරීම නොපෙනේ - ඒ හේතුව ව්යුහගතයයි. Denoisers, upscalers, and unblockers operate on full spatial context, producing a fresh, self-contained representation at each pass.There is no equivalent to “next-token prediction,” no dependence on a fragile chain of previous outputs, and therefore no compounding of small errors into larger ones.To comparable reliability, language models require a mechanism that functionally restores full-context grounding: a refinement step that continuously compares each new hypothesis back to the original input, rather than relying on the previous token stream as its only source of truth. LLM ඩ්රෙෆ්ට්ගේ මූලාශ්රය හුවමාරු කිරීම හෝ අසාමාන්යතාවය නොවේ – එය භාෂා නිෂ්පාදනය microscopic causal steps සඟරාවක් ලෙස ප්රතිකාර කිරීමේ ව්යුහගත ප්රතිඵලයකි.Zeno ගේ අසාමාන්යතාවය මෙන්, ක්රියාකාරීත්වය අසාමාන්ය වන විට අවම වශයෙන් කුඩා ප්රමාණයට අඩු කරන විට, autoregressive ආකෘති සංකේතය සංකේතය දක්වා ඉදිරියට පැමිණ කිසිවිටෙකත් මූලික ප්රවේශ ප්රශ්නය වෙත ආපසු පැමිණ නැත. සෑම පියවරක්ම පහුගිය පියවරේ පහසුවෙන් වෙනස් වූ ප්රතිඵල මත රඳා පවතී, සහ ගෝලීය රාමුවක් නොමැතිව, පද්ධතිය අනිවාර්යයෙන්ම මූලාශ් රයෙන් ඈත් වේ. භාෂා ආකෘතිවල සමාන ස්ථාවරත්වය සාර්ථක කර ගැනීමෙන් සමාන ගෝලීය ප්රවේශයක් නැවත ලබා ගැනීමට අවශ්ය විය හැකිය. Gap-Driven Self-Refinement හෝ Fidelity-constrained-refinement ක්රියා කරයි: එය දිගින් දිගටම මුල් ආදායම මත සෑම නව ප්රවේශයක් මිනීමැරුම් කරයි සහ පෙර ව්යාපෘති බරපතල ඇන්කර්ස් ලෙස භාවිතා කරයි, කුඩා වැරදි සංකීර්ණ කිරීමෙන් බාධා කරයි. Further Reading 
 
 
 GIER: විශාල භාෂා ආකෘති සඳහා Gap-Driven Self-Refinement Multi-fidelity physics constrained neural networks for dynamic systems ඩිනාමික පද්ධති සඳහා සීමාකාරී මානසික ජාල

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Read My Stories

මෙම ශ්‍රව්‍යය කතාවේ මුල් භාෂාවෙන් නිෂ්පාදනය කර ඇත!

Zeno's Paradox සහ AI Tokenization පිළිබඳ ගැටලුව

About Author

අදහස්

ටැග් එල්ලන්න

මෙම ලිපිය ඉදිරිපත් කරන ලදී

Related Stories

Startups of The Year: Meet the Programming Industry

Verified Writers

Seamless Sign-ups on the Move: Unlock Access as You Take Action!

Meet the HackerNoon Top Writers - Wes Huber's Journey In Tech

Startups of The Year: Meet the Programming Industry

Verified Writers

Seamless Sign-ups on the Move: Unlock Access as You Take Action!

Meet the HackerNoon Top Writers - Wes Huber's Journey In Tech

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps