LLM Data Drift LLM Drift נתונים תחזית heuristic נראית להיות נשלטת על ידי כללים של צד שלישי. אבל בפועל, זה ממשל אינו מקורי למודל - זה נדרש חיצוני על ידי המפתחים באמצעות שכבות מודרנות, מסננים לאחר עיבוד, או כללים התאמה מעולה אשר פועלים כמו מגבלות של צד שלישי על מנוע תחזית ללא הגבלות אחרת. זה בסדר, אבל זה לא עוזר באופן משמעותי לשפר את הדיוק של המודל או ליצור מודלים מודעים למקשרים שלא יתפוצצו בספירת פרמטרים. רוב LLMs (מודלים לשפות גדולות - ChatGPT, קלוד, Gemini, Grok, וכו ') לא לחלופין במובן המסורתי - הם דליפים. וזה דליפה היא לא רעש; זה פגם מבנה מבושל איך מודלים אוטוריגרסיביים לחזות טוקינים: צעד אחר צעד, המבוסס רק על העבר הקרוב. ניסוי שעשיתי, ואתה יכול לעשות את זה בעצמך, הוא לקחת משפט אקראי, לדוגמה, 'Predictive AI epsilon, חתול סוכרת, עקבו אחרי רדיו פשוט, כך המילון' ויש AI נתון לחזור על היציאה, ולקחת אותו LLM חלופי עבור העברה שנייה, ולראות כמה זה מתאים עם המקורי. בתיאוריה, LLM צריך להיות מסוגל להעתיק משפט בצורה מושלמת. בפועל, אתה מקבל דלף - תנועות נקודה, מילים משתנות, ושינויי קפיטליזציה. הצגת שכבת משקל, בדיקת ההפרעה נגד ההכנסה המקורית, תאפשר תחזית מודעת לקשר של האלמנט הבא / טוקן. בעיקרון, מכיוון שההנחות של LLM נסגרות לכל הכתמים שהגיעו קודם לכן, זה יכול כמו שיש סוג של מגן במקום, אבל באמת המודל פועל ללא הקשר האמיתי - יותר כמו אורקל לנחש את האירוע הבא מבלי לדעת את ההווה או העבר. צפו מודרניזציה חיצונית, RLHF (Reinforcement Learning from Human Feedback), ו- Safety Fine-tuning מפחיתים מזיקים או מחוץ לנושא – וזה יקר, אבל הם פועלים מחוץ לבלוטת התחזית, כמו חגורה ברכב ללא מראה אחורי. הם לא נותנים את זיכרון המודל של נקודת ההתחלה - ההכנסה המקורית של המשתמש - בכל שלב של הטוקן.העברת בדיקות נאמנות למודל, כמגבלת מקורית במהלך הדור, תהפוך את LLMs מודעים לקשר על ידי עיצוב, לא רק תואם על ידי לאחר עיבוד.זה לא כל כך הרבה על החלפת שכבות אבטחה - זה על לשדרג את המנוע כך דליפה לא מצטבר במקום הראשון. התנהגות זו מראה צורך דרמטי למדי: ביקורת חיצונית – לא רק תשומת לב לטוקן האחרון, אלא השוואה פעילה עם ההכנסה המקורית מהתבנית.זה המקום שבו מתבצע פיתוח המוגבל על-ידי נאמנות.במקום לתת לתוצאות להסתובב, אנו מגדירים מעגל תיקון: השוואת כל פרויקט חדש לא רק עם הקודם, אלא בחזרה למקור המקורי.תייחס לתוצאות הקודמות כאל ההשערות הקודמות, שוקל את ההתאמה שלהם, ומחזיר את המערכת לאמת יציבה. מבחנים ראשוניים מראים כי שכבה כזו מחייבת אותו בחזרה לקשר הכניסה המקורי. Zeno’s Paradox & Tokens זנו טען כי התנועה הופכת בלתי אפשרית אם אתה מחלק אותה לסדרה אינסופית של צעדים גורמיים קטנים יותר - כל צעד מתייחס רק לאותו מיד לפניו. מודלים של שפות אוטוריגרסיביות נופלים למלכודת דומה: כל טוקן נוצר כ"השלב הקטן הבא", תלוי רק בקטע הקודם של הטקסט. דוגמה זו לעולם לא חוזרת לנקודת ההתחלה, לעולם לא מבוססת על עצמה בהכנסה המקורית, ולכן לעולם לא מחזירה את מסלולה. כמו מרוץ זנו שמתקדם במחצית ומעולם לא מגיע לקו הסיום, הדוגמה מתקדמת טוקן אחר טוקן מבלי להחזיר איפה התחלה באמת הייתה. זה יהיה כמו מרוץ המרתון מבלי לדעת את המסלול המלא או את המפה של המרתון. זה הופך את תנועת LLM לא רק לבעיה הלשונית, אלא בעיה גורלית: עתידו של המודל תלוי בהווה מעוותת, שנוצרה על ידי עבר לא מושלם. ברגע שהשרשרת מתחילה להתרחץ, כל שלב הבא משלב את השגיאה – בדיוק הדפוס הקסדני שאתה רואה כאשר אתה מעביר טקסט מאחד LLM לשני. ללא מנגנון כדי להתמוטט באופן תקופתי את שרשרת הגישות חזרה לנקודת התייחסות המקורית שלה, המערכת מתנהגת כמו תהליך גורלי ללא מסגרת מוחלטת. פיתוי המוגבל על ידי נאמנות הוא בעצם פתרון לפתגם זה: על ידי מדידה מתמשכת של כל היפותזה החדשה נגד ההכנסה המקורית, אתה מציב מחדש אמת קבועה Image Processing בעוד התנועה הזאת היא תכונה בסיסית של מודלים טקסטים רגרסיביים, אתה לא רואה את אותו התנהגות ריצה במערכות שיפור תמונה - והסיבה היא מבנית. מודלים עיבוד תמונה לא ליצור פיקסלים אחד בכל פעם בהתבסס על ההערות הקודמות שלהם; כל שלב רואה את כל המסגרת בו זמנית ומשנה אותו כסימן מלא. Denoisers, upscalers, and deblocker operate on full spatial context, producing a fresh, self-contained representation at each pass.There is no equivalent to “next-token prediction,” no dependence on a fragile chain of previous outputs, and therefore no compounding of small errors into larger ones.To comparable reliability, שפות מודלים דורשים מנגנון שמחזיר באופן פונקציונלי את הקרקע של הקשר המלא: שלב פיתוח שמשווה כל היפותזה החדשה כל הזמן בחזרה לתוך ההכנסה המקורית, במקום להסתמך על זרם ה-token הקודם כמקור האמת היחיד שלה. השורש של תנועת LLM הוא לא הלוצינציה או אקראיות – זהו התוצאה המבנית של הטיפול ביצירת שפה כמו שרשרת של צעדים גורמיים מיקרוסקופיים.כמו הפרדוקס של זנו, שבו תנועה הופכת לא קבועה כאשר מופחתת להגדלים קטנים אינסופיים, מודלים אוטרוגרסיביים מתקדמים טוקן אחר טוקן מבלי לחזור לעולם לנקודת התייחסות המקורית. כל שלב תלוי בתוצאת הנגועה של הקודמת, ובלי מסגרת גלובלית, המערכת בהכרח מתרחקת מהמקור.מודלים מעובדי תמונה מונעים מצב כישלון זה כי כל עבר מעריך את כל האות בבת אחת, מחדש את התוצרת בהקשר המלא. כדי להשיג יציבות דומה במודלים לשוניים, ייתכן שיהיה צורך לשחזר תקנה גלובלית שווה ערך. ריכוז עצמי המונע על-ידי הפער או הריכוז המוגבל על-ידי Fidelity מתואר עושה בדיוק את זה: הוא ממדיד כל תיאוריה חדשה בהתמדה מול ההכנסה המקורית ומשתמש בפרויקטים קודמים כנקודות משקל, ומונע שגיאות קטנות מלהיות מורכבות. Further Reading 
 
 
 GIER: Gap-Driven Self-Refinement עבור מודלים שפות גדולות פיזיקה מרובה-אמינות מגבילה רשתות עצבים למערכות דינמיות

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Read My Stories

האודיו הזה מופק בשפת המקור של הסיפור!

הפרדוקס של זנו ואת הבעיה של טוקניזציה AI

About Author

הערות

תלו תגים

מאמר זה הוצג ב

Related Stories

The TechBeat: To Focus or Not Focus: How to Find the Right Product-Market Fit (3/8/2024)

100 Days of AI, Day 13: How Instruction Finetuning Improves a Pre-trained LLM

Fortunate Son From Our Neighborhood

100 Days of AI, Day 12: How to Quickly Demo Your Gen AI Experiments to Get Feedback

The TechBeat: To Focus or Not Focus: How to Find the Right Product-Market Fit (3/8/2024)

100 Days of AI, Day 13: How Instruction Finetuning Improves a Pre-trained LLM

Fortunate Son From Our Neighborhood

100 Days of AI, Day 12: How to Quickly Demo Your Gen AI Experiments to Get Feedback

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps