זה לא סוד שנתקלנו במכשול אדיר בפני העתיד שלנו המופעל על ידי AI: צריכת האנרגיה המדהימה של הדגמים הנוכחיים שלנו.  מנהיגי התעשייה מתאמצים למצוא תשובות קצרות טווח כדי להבטיח שהם לא יחמיצו את הגל, עם מאמצים שאפתניים כמו  ו  .   הפתיחה המחודשת של מיקרוסופט של כורים גרעיניים באי Three Mile   גוגל עובדת על פרויקטים גיאותרמיים "ראשונים מסוגו".  ובעוד שזה מתרחש בשולחן של הילד הגדול, להקה של סטארט-אפים חדשים בונים על ההתקדמות שנעשתה בשנים האחרונות, וחושבים מחדש את היסודות כדי לראות אם יש פתרונות שיכולים לשמש כפתרון לטווח ארוך.  כזה   דורש מאות מיליוני דולרים בהשקעה בתשתית. שלא  דרישות הכוח של AI הן פצצת זמן מתקתקת  הפעלת מודלים של שפה גדולים באיטרציה הנוכחית שלהם היא תהליך עתיר אנרגיה שמתקרב במהירות לרמות בלתי בנות קיימא. אימון דגם AI בודד יכול לפלוט פחמן כמו חמש מכוניות לאורך כל חייהן. זה לא רק דאגה סביבתית; זהו סיוט מדרגיות המאיים לדרדר את מהפכת הבינה המלאכותית לפני שהיא תעוף במלואה.  שקול את העובדות המפוכחות האלה:  על פי הדיווחים, GPT-3, עם 175 מיליארד הפרמטרים שלו, דרש 1,287 MWh עבור ריצת אימון בודדת.  טביעת הרגל הפחמנית של אימון מודל NLP גדול מוערכת בסביבות 626,000 פאונד של שווי ערך CO2.  ככל שהדגמים גדלים, כך גם צריכת האנרגיה שלהם גדלה - לעתים קרובות בקצב סופר-ליניארי.  וכשהתעשייה דוחפת ליכולות AI מתקדמות יותר, צריכת האנרגיה הזו צפויה להרקיע שחקים. זו לא רק בעיה ברמה התפעולית אלא גם בתמונה הרחבה יותר, מכיוון שמנהיגי תעשייה כמו גוגל התחייבו להשיג פליטות פחמן אפס נטו באמצעות רכישת אשראי פחמן מחברות שעושות דברים כמו   - א. שוק שבו הביקוש כבר עולה בהרבה על ההיצע. סתימת בארות נפט וגז יתומות  יעילות והפעלת פרמטרים מינימליים: כוכב הצפון החדש של חדשנות בינה מלאכותית  הפתרון עשוי להיות די פשוט: דגמים חכמים יותר, קטנים יותר ויעילים יותר שנבנו לסדרה של מטרות ספציפיות.  צמצום ההיקף, אם תרצו.  דוגמה אחת כזו היא   , שמשתמש בהפעלת פרמטר מינימלית. בעוד שדגם Aria מתהדר בסך הכל של 25.3 מיליארד פרמטרים, הוא מפעיל רק 3.9 מיליארד בלבד עבור כל משימה נתונה. מודלים מסורתיים, מיינסטרים כמו GPT-3 מפעילים את כל הפרמטרים שלהם עבור כל משימה, ללא קשר למורכבות, בעוד הגישה של אריה היא כמו מנתח המשתמש רק במכשירים הדרושים להליך ספציפי. מנתחים רבים יגידו לך שהם לא צריכים לפרוס את כל הציוד של חדר הניתוח לכל ניתוח. מודל Aria בקוד פתוח שנבנה על ידי Rhymes  Rhyme פרסה זאת בפועל עם BeaGo, שהם מכנים "חיפוש AI חכם ומהיר יותר." בהתבסס על הבדיקות שלי, לא ניתן היה להבחין בין התוצאות של BeaGo לבין מוצרים מתחרים של Perplexity ומוצרים אחרים, עתירי אנרגיה וזמן רב.  אבל זה יותר מסתם צמצום ההיקף: הסטארט-אפ בנה מודל מולטי-מודאלי של תערובת מומחים של קוד פתוח שממיין ומנהל בצורה חכמה נתונים גדולים וארוכים בהקשר מכל הסוגים, כולל טקסט, וידאו ותמונות.  הפתרון של Rhymes עשוי להאיר את המסלול עבור AI בשנת 2025 ואילך, והכל ללא מאות מיליוני דולרים בהוצאות על תשתית.  התזכורת: חדשנות לא מפסיקה  בסופו של דבר, העבודה של חברות כמו Rhymes משמשת תזכורת לכך שעצם העובדה שמצאנו משהו   , לא אומר שמשימת החידושים הסתיימה. בעוד שמיקרוסופט וגוגל פועלות עם דגמי השפה הגדולים הקיימים שלנו, פועלות לייצר ולהביא AI לשוק ההמוני, אחרים לא יכולים להפסיק לעבוד על בניית משהו אפילו טוב יותר. שעובד  אני מתרגש מהגישה מונעת הסטארט-אפ שאני רואה כאן בסוף 2024 - שילוב של יכולות מולטי-מודאליות, הפעלת פרמטרים סלקטיבית ושיתוף פעולה בקוד פתוח - מציעה מתווה כיצד נוכל להשיג חזון של בינה מלאכותית ששניהם פועלים ועובד עבור כדור הארץ.

This story contains new, firsthand information uncovered by the writer.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

משבר האנרגיה של AI ודחיפה חדשה ליעילות

About Author

הערות

תלו תגים

מאמר זה הוצג ב

Related Stories

The TechBeat: Investigating Internet Freedom: Unseen Aspects of Our Online Existence (1/22/2024)

The TechBeat: Everything You Need to Know to Implement Generative AI for Your Enterprise (3/12/2024)

ברכות עונות מ-HackerNoon: Boost Stories עם תרגומים, דיבור לטקסט ועוד

The TechBeat: How to Implement a Merkle Tree in Solidity (10/26/2023)

The TechBeat: Investigating Internet Freedom: Unseen Aspects of Our Online Existence (1/22/2024)

The TechBeat: Everything You Need to Know to Implement Generative AI for Your Enterprise (3/12/2024)

ברכות עונות מ-HackerNoon: Boost Stories עם תרגומים, דיבור לטקסט ועוד

The TechBeat: How to Implement a Merkle Tree in Solidity (10/26/2023)

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps