Эра энергоэффективного искусственного интеллекта уже наступила: стоимость искусственного интеллекта

Искусственный интеллект — это интересно; новый технологический прорыв, который захватил нашу жизнь менее чем за год, с тех пор не прекратился.

Лично у меня есть некоторые проблемы с инструментами ИИ и тем, как они используются в данный момент. При этом я не могу отрицать, что они являются мощным инструментом, если их передать нужному человеку для выполнения правильной работы, но, как мы все знаем, с большой силой приходит и большая ответственность.

Среди волнений и полувыполненных обещаний — задумывались ли мы когда-нибудь о стоимости запуска 1,2,3 миллиардов моделей параметров в течение нескольких часов подряд, масштабируемых для нескольких экземпляров, для миллионов пользователей одновременно?

Я всегда был сторонником концепции «минимального веба» (в будущем я напишу статью об этой концепции; есть что сказать). Мы живем в эпоху, когда, с одной стороны, кажется, что все чрезвычайно обеспокоены здоровьем планеты (и не без причины). Но, с другой стороны, никто не задумывается, сколько Интернет в его нынешнем состоянии обходится нам с точки зрения сырой энергии. Эффективно ли это? Это зеленый? Отнюдь не.

Трафик и энергетика

Некоторое время назад я написал крошечный инструмент TUI, используя Perl ( webmeter ), который отслеживает мой интернет-трафик и суммирует длину пакетов, отправляемых и получаемых в байтах во время работы инструмента.

Просто открыв главную страницу Reddit, мой инструмент зарегистрировал колоссальные 5,85 мегабайта данных, передаваемых между моим интерфейсом и серверами Reddit.

Reddit как веб-сайт представляет собой комбинацию текста, изображений низкого и среднего качества и периодических видео. Кажется крайне необоснованным, что, просто открыв главную страницу Reddit, я передал столько данных по всей планете (автоматическое воспроизведение видео было отключено во время тестирования, этот результат исключает видеоконтент).

Главная страница Reddit, страница, которая могла бы содержать 10 килобайт контента, JavaScript и CSS (возможно, еще несколько килобайт для дополнительных изображений), требовала в 300 раз большую пропускную способность только для загрузки.

Для сравнения (учитывая, что высадка на Луну произошла не в голливудском подвале), размер программного обеспечения, написанного для миссии «Аполлон-11», составлял всего 72 килобайта.

Просто ради интереса представьте себе, что миллиарды людей открывают главную страницу Reddit все вместе, в любой момент и постоянно. Попробуйте подумать: какова прямая стоимость передачи данных? Какова вторичная стоимость? Сколько энергии мы тратим впустую, потребляя Интернет?

Эта концепция жила у меня в голове в течение прошлого года или около того, что и стало основной причиной, по которой я вообще собрал свой инструмент Perl. Одна мысль о «минимальной сети» привела к другой, и я понял, что мы настолько поглощены шумихой (или ненавистью), что игнорируем стоимость наших усилий по искусственному интеллекту.

Как мы можем рассчитать энергетическую стоимость ИИ как услуги (или, например, стабильной диффузии)?

Точно? Мы не можем. Не без знания того, как работают эти сервисы: какие процессоры или графические процессоры (или выделенные чипы) они используют. Сколько экземпляров они используют, какова их нагрузка, каково точное энергопотребление критического оборудования и т. д.?

Но мы можем прийти к довольно реалистичному (хотя и не столь точному) выводу, если приложим к этому усилия. Для этого примера я выбрал Fooocus, который является самым простым (и я считаю популярным) стабильным диффузионным графическим интерфейсом. Начнем с простого:

При использовании Fooocus моему старому графическому процессору (Quadro P2000) потребовалось около 10 минут для создания изображения. Согласно таблице производительности в репозитории Fooocus, мы знаем, что использование графического процессора Nvidia RTX 4XXX даст нам самый быстрый результат. Моя Quadro в чем-то сравнима с Nvidia GTX 1060, поэтому мы знаем, что с помощью графического процессора Nvidia GTX 1060 мы можем сгенерировать изображение примерно за 10 минут.

После некоторого поиска в Интернете я пришел к выводу, что наиболее часто используемым (корпоративным) графическим процессором для AI/ML является Nvidia A100 (до 400 Вт под нагрузкой).

Nvidia A100 — гораздо более мощный графический процессор, чем Nvidia GTX 1060; он также создан специально для искусственного интеллекта и машинного обучения. Поэтому предположим, что создание образа с помощью Nvidia A100 займет 5 секунд (если кто-то из читающих имеет точные данные об A100 и его производительности, поделитесь).

Используя формулу E = P * T, энергопотребление графического процессора Nvidia A100 под нагрузкой в течение 5 секунд стоит около 0,5 Втч.

Дополнение к этому примеру: Midjourney (или другие службы создания изображений AI) генерирует 4 изображения на каждое приглашение. Предположим, что служба использует массив Nvidia A100 для создания изображений, а это означает, что служба, вероятно, тратит около 2 ватт-часов энергии на каждое приглашение для каждого пользователя.

По состоянию на ноябрь 2023 года у Midjourney 2,5 миллиона DAU.

 2Wh x 2,500,000 Users x 24 Hours = 120,000,000Wh (per day, considering every DAU is executing a prompt per hour, in reality, it is much more than that). 120,000,000Wh = 120,000MWh

120 000 мегаватт-часов потенциально могут обеспечить электроэнергией более 100 000 домохозяйств в течение целого месяца.

По скромным оценкам, такие сервисы, как Midjourney, Dall-E, или даже самостоятельные решения, такие как Fooocus, тратят впустую не менее 50 миллионов ватт-часов в день каждый (учитывая, что их графические процессоры являются самыми современными и каждый DAU пользуется услугой по несколько часов каждый день).

Такое количество энергии потенциально могло бы обеспечивать питанием более 100 000 домохозяйств среднего размера в течение месяца в день.

Имейте в виду, что мы говорили только об услугах по созданию изображений; давайте не будем забывать обо всех других сервисах, таких как ChatGPT, Gemini, Bard и всех их версиях и вариантах. Список и траты можно продолжать.

Что нам делать?

Как нам, разработчикам, следует объединиться, чтобы решить эту возникающую проблему? Как мы можем принять меры, чтобы научить других ответственному использованию энергии? Хотелось бы услышать ваши мысли по поводу этой темы и возможных решений.

Также опубликовано здесь