כאשר OpenAI השיקה את ChatGPT בסוף 2022, זה עורר גם עונג וגם דאגה. AI גנרטיבי הוכיח פוטנציאל מדהים - יצירת מאמרים, פתרון בעיות קידוד ואפילו יצירת אמנות. אבל זה גם עורר אזעקות בקרב אנשי איכות הסביבה, חוקרים וטכנולוגים. הדאגה הכי גדולה? צריכת האנרגיה המסיבית הנדרשת כדי להכשיר ולהפעיל מודלים של שפה גדולה (LLM), מעוררת שאלות לגבי קיימותם ארוכת הטווח. ככל ש-LLM ממשיכים לעצב מחדש תעשיות כמו חינוך ושירותי בריאות, אי אפשר להתעלם מההשפעה שלהם. מאמר זה מעלה שאלה חשובה: האם המערכות החכמות הללו יכולות לייעל את עצמן כדי להפחית את צריכת החשמל ולמזער את טביעת הרגל הסביבתית שלהן? ואם כן, כיצד זה עשוי לשנות את נוף הבינה המלאכותית? אנו נפרק את אתגרי האנרגיה של תכניות LLM, מאימון להסקת מסקנות, ונחקור אסטרטגיות חדשניות לכוונון עצמי שיכולות להפוך את הבינה המלאכותית לבר-קיימא יותר. הבנת אתגר האנרגיה של AI אימון מול מסקנות ההכשרה של גוגל במודלים גדולים של שפה כמו GPT-4 או PaLM דורשת כמות עצומה של משאבי חישוב. לדוגמה, אימון GPT-3 לקח אלפי GPUs פועלים במשך שבועות, וצרכו אנרגיה כמו מאות משקי בית בארה"ב בשנה. טביעת הרגל הפחמנית תלויה בתמהיל האנרגיה המניע את מרכזי הנתונים. גם לאחר האימון, שלב ההסקה - שבו מודלים מטפלים במשימות בעולם האמיתי - מוסיף לשימוש באנרגיה. למרות שהאנרגיה הנדרשת עבור שאילתה בודדת היא קטנה, כאשר אנו לוקחים בחשבון שיש מיליארדי אינטראקציות כאלה המתרחשות על פני פלטפורמות שונות מדי יום, היא הופכת לבעיה משמעותית. מדוע לימודי תואר שני צורכים כל כך הרבה אנרגיה? ה-LLM של היום רגישים לפרמטרים; יש להם מיליארדי או אפילו טריליונים של פרמטרים שדורשים הרבה משאבים לעיבוד, עדכון ואחסון. גודל דגם: השימוש בשבבים מבוססי סיליקון מוגבל על ידי יכולות העיבוד שלהם ולפיכך הצורך באשכולות של GPUs או TPUs כדי להגדיל את השימוש באנרגיה באופן אקספוננציאלי. אילוצי חומרה: מרכזי נתונים התומכים בעומסי עבודה חישוביים גבוהים הם חמים ומערכות הקירור יכולות לצרוך עד 40% מהחשמל אם הן אינן חסכוניות באנרגיה. צורכי קירור: אגרה סביבתית וכלכלית העלויות מבחינת איכות הסביבה כוללות את פליטת הפחמן וכן את צריכת המים בקירור בעוד שההוצאות התפעוליות מהוות בעיה עבור חברות ה-AI הקטנות יותר. העלויות השנתיות עשויות להגיע למיליארדים, מה שהופך את הקיימות לנושא חשוב לא רק סביבתי אלא גם כלכלי. פירוט צריכת אנרגיה של דגם AI כדי להבין כיצד LLMs צורכים אנרגיה, בואו נפרט אותה: מבצע AI צריכת אנרגיה (%) שלב ההדרכה 60% מסקנות (שאילתות פועלות) 25% קירור מרכז נתונים 10% פעולות חומרה 5% שלב האימון נותר התורם הגדול ביותר לצריכת החשמל. נקודת המוצא העיקרית: אסטרטגיות לאופטימיזציה עצמית חוקרים בוחנים כיצד LLMs יכולים לייעל את השימוש באנרגיה שלהם, תוך שילוב של עבודת תוכנה עם שינויים בחומרה. גיזום מודל וקונטיזציה פרמטרים מיותרים המשפיעים על הדיוק במידה מוגבלת מוסרים, וכתוצאה מכך הקטנת גודל הדגם מבלי לפגוע ברמת הדיוק. גיזום: זה מפחית את הדיוק (למשל, מ-32 סיביות ל-8 סיביות) של הנתונים, מה שמפחית את דרישות הזיכרון והחישוב. קוונטיזציה: קוונטיזציה וגיזום שימושיים אך כאשר משתמשים בהם עם לולאות משוב שבהן מודל מסוגל לקבוע אילו חלקים הם חיוניים ואילו חלקים ניתן לכימות אז זה הופך להיות יעיל למדי. זהו תחום חדש, אבל הפוטנציאל קיים ברשתות אופטימיזציה עצמית. היסק דינמי (חישוב מותנה) הרעיון של חישוב מותנה מאפשר למודלים להשתמש רק באותם נוירונים או שכבות שרלוונטיים למשימה נתונה. לדוגמה, גישת Mixture-of-Experts (MoE) של גוגל מחלקת את הרשת לתת-רשתות מיוחדות המשפרות את ההדרכה והפחתת צריכת האנרגיה על ידי הגבלת מספר הפרמטרים הפעילים. למידת חיזוק לכיוונון למידת חיזוק יכולה לייעל פרמטרים כמו קצב למידה וגודל אצווה, איזון דיוק וצריכת אנרגיה כדי להבטיח שהמודלים פועלים ביעילות. אופטימיזציה מרובת מטרות בנוסף לאופטימיזציה לדיוק, LLMs יכולים גם לבצע אופטימיזציה למטרות אחרות: דיוק, חביון וצריכת חשמל, באמצעות כלים כגון Google Vizier או Ray Tune. לאחרונה, התייעלות אנרגטית הפכה ליעד מכריע במסגרות אלו. חידושי חומרה ועיצוב משותף של AI שבבים למטרות מיוחדות לשיפור היעילות בביצוע משימות AI. מעגלים משולבים ספציפיים ליישום (ASICs): שבבים בהשראת המוח, עדיין בפיתוח כדי למזער את צריכת החשמל בעת ביצוע חישובי רשת עצבית נמצאים בפיתוח. מחשוב נוירומורפי: חישוב באמצעות אור יכול להתגבר על מגבלות המערכת האלקטרונית כדי להקטין את צריכת החשמל של המערכת. מחשוב אופטי: מערכות בינה מלאכותית שנוצרו באמצעות תכנון משותף של חומרה עם תוכנה מאפשרות התאמה בו-זמנית של אלגוריתמי תוכנה ומשאבי חומרה. השוואת טכניקות אופטימיזציית אנרגיה בינה מלאכותית טֶכנִיקָה הפחתת אנרגיה (%) הטבה עיקרית דגם גיזום 30% מפחית פרמטרים מיותרים של דגם קוונטיזציה 40% מוריד את הדיוק החישובי חישוב מותנה (MoE) 25% מפעיל רק את הדגם הדרוש למידת חיזוק 15% מתאים באופן דינמי את צריכת החשמל מחשוב נוירומורפי 50% מחקה יעילות מוחית עיצוב משותף של חומרה (ASIC, שבבים אופטיים) 35% מפתחת חומרה ספציפית ל-AI ליעילות מירבית מודלים עתידיים של AI כנראה ישלבו מספר טכניקות כדי להשיג הפחתת אנרגיה כוללת של 60-70%. אתגרים למיטוב עצמי של AI : תכונות מסוימות, כגון גיזום וכימות, עשויות לפגוע מעט ברמת הדיוק. פשרות דיוק אנחנו עדיין פועלים תחת ההנחה של הסתמכות על שבבי סיליקון לא יעילים. מגבלות תשתית של מרכז נתונים: אין כיום תקן אוניברסלי למעקב אחר יעילות אנרגטית. פערי ביצועי אנרגיה: כללי קיימות קפדניים עשויים לכפות על אימוץ מודלים יעילים. רגולציה ממשלתית: השלכות עתידיות LLMs לאופטימיזציה עצמית יכולים להפחית את צריכת האנרגיה ב-20% או יותר עבור מיליארדי שאילתות, מה שיוביל לחיסכון עצום בעלויות ובפליטה. זה עולה בקנה אחד עם יעדי אפס נטו העולמיים ומשפיע על מספר מגזרים: : לימודי LLM חסכוניים באנרגיה יכולים להגביר את החשיפה בשירות לקוחות ובניתוח. ארגונים : יוזמות קוד פתוח כמו Hugging Face עשויות להאיץ את החדשנות. מחקר : תקנים לשקיפות אנרגטית יכולים לדחוף אופטימיזציה עצמית כנורמה. מדיניות מַסְקָנָה LLMs הביאו רמה חדשה של תחכום בעיבוד השפה, אך בעיית צריכת האנרגיה שלהם היא דאגה גדולה. עם זאת, אותו מודיעין שהוליד את המודלים הללו מספק את הפתרון. טכניקות כמו גיזום, קוונטיזציה, חישוב מותנה ותכנון משותף של חומרה מצביעות על כך שניתן לתכנן LLMs המנהלים את צריכת האנרגיה שלהם בעצמם. ככל שהמחקר מתקדם, הסוגיה הופכת פחותה האם AI בר קיימא אפשרי ויותר של כמה מהר תעשיית הטכנולוגיה יכולה להתאחד כדי להשיג זאת - מבלי לוותר על חדשנות למען הסביבה. הפניות בראון, T., et al. (2020). "מודלים של שפה הם לומדים מעטים". , 33, 1877-1901. (מקור היפותטי לנתוני אימון GPT-3.) התקדמות במערכות עיבוד מידע עצבי Strubell, E., Ganesh, A., & McCallum, A. (2019). "שיקולי אנרגיה ומדיניות ללמידה עמוקה ב-NLP." , 3645-3650. (מקור המחשה על עלויות האנרגיה של AI.) הליכים של האסיפה השנתית ה-57 של ACL Fedus, W., et al. (2021). "Switch Transformers: קנה מידה לטריליון דגמי פרמטרים עם דלילות פשוטה ויעילה." . (בסיס לדיון בתמהיל של מומחים.) arXiv preprint arXiv:2101.03961 Patterson, D., et al. (2021). "פליטת פחמן והדרכה ברשת עצבית גדולה." . (מקור להערכות אנרגיית אימון.) arXiv preprint arXiv:2104.10350 מחקר של גוגל. (2023). "ויזיר: שירות לאופטימיזציה של Black-Box." . (הפניה לכלי המחשה.) בלוג בינה מלאכותית של גוגל
