משבר האנרגיה של AI ודחיפה חדשה ליעילות

זה לא סוד שנתקלנו במכשול אדיר בפני העתיד שלנו המופעל על ידי AI: צריכת האנרגיה המדהימה של הדגמים הנוכחיים שלנו.

מנהיגי התעשייה מתאמצים למצוא תשובות קצרות טווח כדי להבטיח שהם לא יחמיצו את הגל, עם מאמצים שאפתניים כמו הפתיחה המחודשת של מיקרוסופט של כורים גרעיניים באי Three Mile ו גוגל עובדת על פרויקטים גיאותרמיים "ראשונים מסוגו". .

ובעוד שזה מתרחש בשולחן של הילד הגדול, להקה של סטארט-אפים חדשים בונים על ההתקדמות שנעשתה בשנים האחרונות, וחושבים מחדש את היסודות כדי לראות אם יש פתרונות שיכולים לשמש כפתרון לטווח ארוך.

כזה שלא דורש מאות מיליוני דולרים בהשקעה בתשתית.

דרישות הכוח של AI הן פצצת זמן מתקתקת

הפעלת מודלים של שפה גדולים באיטרציה הנוכחית שלהם היא תהליך עתיר אנרגיה שמתקרב במהירות לרמות בלתי בנות קיימא. אימון דגם AI בודד יכול לפלוט פחמן כמו חמש מכוניות לאורך כל חייהן. זה לא רק דאגה סביבתית; זהו סיוט מדרגיות המאיים לדרדר את מהפכת הבינה המלאכותית לפני שהיא תעוף במלואה.

שקול את העובדות המפוכחות האלה:

• על פי הדיווחים, GPT-3, עם 175 מיליארד הפרמטרים שלו, דרש 1,287 MWh עבור ריצת אימון בודדת.
• טביעת הרגל הפחמנית של אימון מודל NLP גדול מוערכת בסביבות 626,000 פאונד של שווי ערך CO2.
• ככל שהדגמים גדלים, כך גם צריכת האנרגיה שלהם גדלה - לעתים קרובות בקצב סופר-ליניארי.

וכשהתעשייה דוחפת ליכולות AI מתקדמות יותר, צריכת האנרגיה הזו צפויה להרקיע שחקים. זו לא רק בעיה ברמה התפעולית אלא גם בתמונה הרחבה יותר, מכיוון שמנהיגי תעשייה כמו גוגל התחייבו להשיג פליטות פחמן אפס נטו באמצעות רכישת אשראי פחמן מחברות שעושות דברים כמו סתימת בארות נפט וגז יתומות - א. שוק שבו הביקוש כבר עולה בהרבה על ההיצע.

יעילות והפעלת פרמטרים מינימליים: כוכב הצפון החדש של חדשנות בינה מלאכותית

הפתרון עשוי להיות די פשוט: דגמים חכמים יותר, קטנים יותר ויעילים יותר שנבנו לסדרה של מטרות ספציפיות.

צמצום ההיקף, אם תרצו.

דוגמה אחת כזו היא מודל Aria בקוד פתוח שנבנה על ידי Rhymes , שמשתמש בהפעלת פרמטר מינימלית. בעוד שדגם Aria מתהדר בסך הכל של 25.3 מיליארד פרמטרים, הוא מפעיל רק 3.9 מיליארד בלבד עבור כל משימה נתונה. מודלים מסורתיים, מיינסטרים כמו GPT-3 מפעילים את כל הפרמטרים שלהם עבור כל משימה, ללא קשר למורכבות, בעוד הגישה של אריה היא כמו מנתח המשתמש רק במכשירים הדרושים להליך ספציפי. מנתחים רבים יגידו לך שהם לא צריכים לפרוס את כל הציוד של חדר הניתוח לכל ניתוח.

Rhyme פרסה זאת בפועל עם BeaGo, שהם מכנים "חיפוש AI חכם ומהיר יותר." בהתבסס על הבדיקות שלי, לא ניתן היה להבחין בין התוצאות של BeaGo לבין מוצרים מתחרים של Perplexity ומוצרים אחרים, עתירי אנרגיה וזמן רב.

אבל זה יותר מסתם צמצום ההיקף: הסטארט-אפ בנה מודל מולטי-מודאלי של תערובת מומחים של קוד פתוח שממיין ומנהל בצורה חכמה נתונים גדולים וארוכים בהקשר מכל הסוגים, כולל טקסט, וידאו ותמונות.

הפתרון של Rhymes עשוי להאיר את המסלול עבור AI בשנת 2025 ואילך, והכל ללא מאות מיליוני דולרים בהוצאות על תשתית.

התזכורת: חדשנות לא מפסיקה

בסופו של דבר, העבודה של חברות כמו Rhymes משמשת תזכורת לכך שעצם העובדה שמצאנו משהו שעובד , לא אומר שמשימת החידושים הסתיימה. בעוד שמיקרוסופט וגוגל פועלות עם דגמי השפה הגדולים הקיימים שלנו, פועלות לייצר ולהביא AI לשוק ההמוני, אחרים לא יכולים להפסיק לעבוד על בניית משהו אפילו טוב יותר.

אני מתרגש מהגישה מונעת הסטארט-אפ שאני רואה כאן בסוף 2024 - שילוב של יכולות מולטי-מודאליות, הפעלת פרמטרים סלקטיבית ושיתוף פעולה בקוד פתוח - מציעה מתווה כיצד נוכל להשיג חזון של בינה מלאכותית ששניהם פועלים ועובד עבור כדור הארץ.