תחום האינטליגנציה המלאכותית חווה גידול חסר תקדים של חדשנות, אך הדיון הציבורי נשאר לעתים קרובות קבוע במודלים לשפות גדולות (LLMs). ו המדען הראשי של ה-AI ב-Meta, צילם את שכבות ההתקדמות הנוכחית של ה-AI, ומגלה חזון שמתרחש הרבה מעבר לתחזית טוקן.הבנות של LeCun מתמודדות עם חוכמה קונבנציונלית, ומדגימות את המעבר למערכות שמבינות באמת, חושבות ואינטראקציה עם העולם הפיזי המורכב שלנו. ביל דאלי יאן לייקון מעבר לגבולות השפה יאן ליקון מודה בפומבי שהוא לא כל כך מעוניין ב-LLMs יותר. . not so interested in LLMs anymore בעוד שהם ממשיכים לשפר בחלקיקים באמצעות יותר נתונים, חישוב, וייצור נתונים סינתטיים, LeCun רואה אותם כ"דרך פשוטה להסתכל על שיקול דעת". הבנת העולם הפיזי: כיצד מכונות יכולות לתפוס את הניואנסים של הפיזיקה והאינטראקציה בעולם האמיתי? זיכרון קבוע: פיתוח מערכות AI עם יכולת זיכרון לטווח ארוך, נגיש. שיקול דעת: מעבר לצורות הנוכחיות, לעתים קרובות בסיסיות, של שיקול דעת ב LLMs לשיטות מתוחכמות יותר, אינטואיטיביות. תכנון: מאפשר AI לתכנן רצפים של פעולות כדי להשיג מטרות ספציפיות, דומה לתהליכים קוגניטיביים אנושיים. LeCun מציע כי הקהילה הטכנולוגית, בעוד כרגע מתמקדת LLMs, סביר להניח להתלהב על אלה "מאמרים אקדמיים חשוכים" בתוך חמש שנים. האתגר של העולם האמיתי: מדוע טוקי נופלים קצרים הגבלת היסוד של LLMs הנוכחיים, על פי LeCun, היא הגישה המבוססת על טוקן שלהם. טוקנים, בדרך כלל מייצגים קבוצה קצרה של אפשרויות (סביב 100,000 עבור LLMs), מתאימים היטב עבור נתונים דיסקרטיים כמו שפה. בני האדם רוכשים "מודלים עולמיים" בחודשים הראשונים של החיים, ומאפשרים לנו להבין סיבה ותוצאה - למשל, כיצד דחיפת בקבוק מלמעלה עלולה להפוך אותו, בעוד דחיפתו מלמטה עלולה לגרום לו לזלזל. ניסיונות להכשיר מערכות להבין את העולם על ידי תחזית נתונים ממדים גבוהים, קבועים כגון וידאו ברמת פיקסל נכשלו במידה רבה. מערכות כאלה ממלאות את המשאבים שלהם מנסים להמציא פרטים בלתי צפויים, מה שמוביל ל"בזבוז מוחלט של משאבים". אפילו טכניקות למידה בשליטה עצמית שעובדות על ידי שיקום תמונות מהגירסאות מושחתות לא עשו את זה כמו ארכיטקטורות חלופיות. Joint Embedding Predictive Architectures (JAPA): העתיד של מודלים עולמיים התשובה לאתגר זה, טוען LeCun, נמצאת ב Joint Embedding Predictive Architectures (JAPA). שלא כמו מודלים גנרטורים המנסים לשחזר ברמת פיקסלים, JAPA מתמקדת בלימוד "הייצוגים האספקטוריים" של נתונים. How JAPA Works: חתיכת כניסה (לדוגמה, חתיכת וידאו או תמונה) מתבצעת באמצעות מקודד כדי לייצר ייצוג abstract. גרסה ממשיכה או משנה של ההכנסה פועלת גם באמצעות קודר. לאחר מכן המערכת מנסה לבצע תחזיות בתוך "מרחב ייצוג" זה (מרחב מאובטח), ולא בחלל ההכנסה האדומה. גישה זו מונעת את הבעיה של התמוטטות שבה מערכות עשויות להתעלם מההכנסה ולייצר דוגמאות קבועות שאינן אינפורמטיביות, מכשול שנמשך שנים להתגבר עליו. עבור מערכות סוכנות שיכולות לחשוב ולתכנן, JAPA מציעה מנגנון רב עוצמה.דמיינו מונח שיכול, על ידי התבוננות במצב הנוכחי של העולם, לחזות את "המצב הבא של העולם בהתחשב בכך שאולי אעשה פעולה שאני מדמיין לקחת". JAPA for Reasoning and Planning: LeCun משווה זאת באופן חזק ל"מערכות הגיון אגרסיביות" הנוכחיות שמייצרות מספר עצום של רצפים של טוקן ולאחר מכן משתמשים ברשת נוירלית שנייה כדי לבחור את הטוב ביותר. הוא משווה זאת ל"כתיבת תוכנית מבלי לדעת איך לכתוב תוכנית" - שיטה "חסרת תקווה לחלוטין" לכל דבר מעבר לקווים קצרים, שכן היא מתרחבת באופן אקספוננציאלי עם אורך. דוגמה מעשית לפוטנציאל של JAPA היא הפרויקט VJA (Video Joint Embedding Predictive Architecture), שעדיין בפיתוח ב-Meta.המערכת VJA, מאומנת על קטעי וידאו קצרים כדי לחזות ייצוגים של קטעי וידאו מלאים מהגירסאות המסומנות, מוכיחה את היכולת לזהות אם וידאו הוא "אפשרי פיזית או לא". הדרך אל אינטליגנציה מכונה מתקדמת (AMI) LeCun מעדיף את המונח Advanced Machine Intelligence (AMI) לעומת Artificial General Intelligence (AGI), מתייחס לטבע המומחה ביותר של האינטליגנציה האנושית. עם AI ברמה אנושית פוטנציאל להגיע בתוך עשור או כך. עם AI ברמה אנושית פוטנציאל להגיע בתוך עשור או כך. עם זאת, הוא מזהיר מפני הדפוס ההיסטורי של אופטימיות יתר ב- AI, שבו כל פרדיגמה חדשה מוכרזת כדרך לאינטליגנציה ברמה האנושית בתוך עשור. LLMs מאומנים על כמויות עצומות של טקסט (למשל, 30 טריליון טוקינים, שווה ערך ל -400,000 שנים של קריאה). לעומת זאת, ילד בן 4 מעבד כמות שווה ערך של נתונים באמצעות ראייה בתוך 16,000 שעות בלבד, מה שמראה את היעילות העצומה של למידה חזותית. המפתח לפתוח את AMI, על פי LeCun, הוא לגלות את "התרופה הטובה ביותר" להכשרת ארכיטקטורות JAPA בקנה מידה.כמו שזה לקח זמן להבין את השילוב הנכון של טריקים הנדסיים, לא ליניאריות וחדשנות כמו ResNet (הכתבה המוזכרת ביותר במדע בעשור האחרון) כדי להכשיר באופן יעיל רשתות נוירליות עמוקות וטרנספורמרים, פריצת דרך דומה נדרשת עבור JAPA. השפעת ה-AI: מהצלת חיים לכלי הפרודוקטיביות למרות ההתמקדות על פרדיגמות עתידיות, LeCun מדגיש את ההשפעה החיובית העצומה של AI כבר יש: מדע ורפואה: AI משנה את עיצוב התרופות, התכווצויות חלבון והבנה של מנגנונים חיים.בדימוי רפואי, מערכות למידה עמוקה מכינות מראש מומיוגרמות עבור גידולים, ו- AI מקצרת את זמני סריקת MRI על ידי ארבעה גורמים על ידי שחזור תמונות ברזולוציה גבוהה ממידע קטן יותר. תעשיית הרכב: מערכות סיוע לנהג ומערכות חירום אוטומטיות, כעת חובה באירופה, מפחיתות את התנגשויות ב-40%, מצילות חיים. הפרודוקטיביות והיצירתיות: AI אינה מחליפה אנשים, אלא משמשת כ"כלי כוח" שהופכים אנשים ליותר פרודוקטיביים ויצירתיים, בין אם כעוזרים בקוד, ברפואה או במאמצים אמנותיים. הצורך ב"דיוק ואמינות" ביישומים כגון נהיגה אוטונומית (היכן שגיאות יכולות להיות קטלניות) הופך את פיתוח ופיתוח מערכות ה-AI לקשים יותר ממה שרוב האנשים חשבו".זהו המקום שבו ה-AI לעיתים קרובות נכשל – לא בטכניקה הבסיסית או בדמוסים, אלא באינטגרציה אמין במערכות קיימות. לגבי "הצד האפל" של ה- AI, כגון deepfakes וחדשות מזויפות, LeCun מבטא אופטימיות מפתיעה. הניסיון של מטה מראה כי, למרות הזמינות של LLMs, הם לא ראו "עלייה גדולה בתוכן הדורש מפורסם ברשתות חברתיות, או לפחות לא בצורה מכוערת". הוא מספר את "גלקטיקה" הפרק, שבו ה- open-source LLM של מטה לספרות מדעית נפגשה עם "vitriol" ונלקחה בגלל פחד, רק עבור ChatGPT להיחגג שבועות מאוחר יותר. LeCun מאמין כי "האמצעי נגד התעללות הוא רק טוב יותר AI" - עם מערכות חשיבה משותפת, יכולת הגיון, ואת היכולת להעריך את האמינות שלהם. התפקיד הכרחי של קוד פתוח ושיתוף פעולה עולמי עיקרון הליבה של הפילוסופיה של LeCun הוא הצורך המוחלט של פלטפורמות AI קוד פתוח. הוא מדגיש כי "רעיונות טובים מגיעים מהאינטראקציה של הרבה אנשים והחלפת רעיונות". המחויבות של Meta לקוד פתוח, דוגמה על ידי PyTorch ו- LLaMA, מובילה על ידי האמונה כי היא מקדמת מערכת אקולוגית משגשגת של סטארט-אפים ומאפשרת למספר הגדול ביותר של אנשים חכמים לתרום לבניית פונקציונליות חיוניות. Why Open Source AI is Crucial for the Future: מגוון של עוזרי AI: בעתיד שבו AI מתווך כמעט כל אינטראקציה דיגיטלית (לדוגמה, משקפיים חכמים), מעטה אחת של חברות לא יכולה לספק את מגוון העוזרים הדרושים. מודל העתיד כולל מודלים של קרן קוד פתוחים מאומנים בצורה מפוזרת, עם מרכזי נתונים הגלובליים לגשת לחלקים של נתונים כדי להכשיר "מודל קונסנזוס". Fine-Tuning על נתונים קנייניים: מודלים קוד פתוחים כמו LLaMA מאפשרים לחברות להוריד ולהתאים אותם על הנתונים הקנייניים שלהם מבלי להעלות אותם, תומכים ביישומים אנכיים מיוחדים ומודלים עסקיים סטארט-אפ. LeCun מדגישה כי לחברות שההכנסות שלהם אינן קשורות אך ורק לשירותי ה-AI (כמו מודל הפרסום של Meta) יש פחות להפסיד ויותר להרוויח מהפתיחת המודלים שלהם, בניגוד לחברות כמו Google שעלולות לראות זאת כאיום לעסקי החיפוש המרכזיים שלהם. ה-Hardware: Fueling the Next AI Revolution בעוד GPUs ראו התקדמות מדהימה (5,000 עד 10,000 פעמים עלייה ביכולות מ Kepler ל Blackwell), עלות חישובית של הגיון בחלל האפסטרטגי אומר "אנחנו הולכים להזדקק לכל התחרות שאנחנו יכולים לקבל" בחומרה. LeCun הוא בספק לגבי חומרה נוירומורפית, מחשוב אופטי, ומחשוב קוונטי עבור משימות כלליות של AI בעתיד הקרוב. הוא מציין כי תעשיית החצי המובילים הדיגיטליים נמצאת ב"מינימום מקומי עמוק" כזה כי טכנולוגיות חלופיות מתמודדות עם אתגר מונומנטלי לתפוס. עם זאת, הוא רואה הבטחה ב- Processor-in-Memory (PIM) או בטכנולוגיות מעבד וזיכרון אנלוגיות / דיגיטליות עבור תרחישים ספציפיים של "חשבונאות קצה", כגון עיבוד חזותי בעל כוח נמוך במשקפיים חכמים. כדי לדחוס אותו לפני שליחתו לקרום החזותי, הוכיח כי shuffling נתונים, לא חישוב עצמו, לעתים קרובות צורכים את רוב האנרגיה. על ה- Sensor העתיד: צוות של אנשים וירטואליים אינטליגנטיים בסופו של דבר, LeCun רואה עתיד שבו מערכות AI יהיו "כלי כוח" שמגדילים את היכולות האנושיות ולא מחליפים אותן.הקשר שלנו עם AI העתידי יהיה אחד של פיקוח; אנחנו נהיה "בוסים" שלהם, עם "צוות של אנשים וירטואליים סופר-אינטליגנטיים שעובדים עבורנו".העתיד המשותף הזה, המונע על ידי מחקר פתוח ופלטפורמות קוד פתוח, ישפיע על תרומות של כולם ברחבי העולם, מה שמוביל למגוון רחב של עוזרי AI שמשפרים את חיי היומיום שלנו. למעשה, העתיד של ה-AI הוא לא יחידת תיבת שחורה מונוליטית שמופיעה פתאום, אלא תהליך שיתוף פעולה, איטרטיבי, כמו בניית עיר גדולה ומורכבת, שבה כל בונה, אדריכל ומהנדס תורם את המומחיות הייחודית שלהם לתוכנית משותפת, מה שמוביל למטרופולין תוסס ומגוונים של אינטליגנציה מכונית מתקדמת.
