에너지 비효율적인 AI 시대는 이미 도래했습니다: AI의 비용

인공 지능은 흥미롭습니다. 1년도 채 되지 않아 우리 삶을 휩쓴 새로운 기술 혁신은 그 이후로 멈추지 않았습니다.

개인적으로 AI 도구와 현재 사용되는 방식에 몇 가지 문제가 있습니다. 그렇기 때문에 올바른 일을 수행하기 위해 적합한 사람에게 주어지면 그것이 강력한 도구라는 점을 부인할 수 없습니다. 그러나 우리 모두 알고 있듯이 큰 힘에는 큰 책임이 따릅니다.

흥분과 반쯤 성취된 약속 속에서 우리는 수백만 명의 사용자를 위해 여러 인스턴스에 걸쳐 확장되고 동시에 12억 3천만 개의 매개변수 모델을 몇 시간 동안 실행하는 데 드는 비용에 대해 생각해 본 적이 있습니까?

나는 항상 "최소 웹" 개념을 옹호했습니다(앞으로 이 개념에 대한 기사를 쓸 예정입니다. 할 말이 많습니다). 우리는 한편으로는 모든 사람이 지구의 건강에 대해 극도로 우려하는 것처럼 보이는 시대에 살고 있습니다(그리고 그럴 만한 이유가 있습니다). 그러나 반면에 현재 상태의 인터넷이 원시 에너지 측면에서 우리에게 얼마나 많은 비용을 초래하는지 생각하는 사람은 아무도 없습니다. 효율적인가요? 녹색인가요? 그것과는 거리가 멀다.

교통 및 에너지

얼마 전 저는 Perl( webmeter )을 사용하여 인터넷 트래픽을 모니터링하고 도구가 실행되는 동안 보내고 받는 패킷의 바이트 길이를 집계하는 작은 TUI 도구를 작성했습니다.

Reddit의 첫 페이지를 여는 것만으로도 내 도구는 내 인터페이스와 Reddit 서버 간에 전송되는 무려 5.85MB의 데이터를 기록했습니다.

웹사이트로서의 Reddit은 텍스트, 중저품질 이미지, 가끔 제공되는 비디오의 조합입니다. Reddit의 첫 페이지를 여는 것만으로도 전 세계에 너무 많은 데이터를 전송했다는 것은 매우 불합리한 것 같습니다(테스트 중에 자동 재생 비디오가 꺼졌습니다. 이 결과에서는 비디오 콘텐츠가 제외되었습니다).

10킬로바이트의 콘텐츠, 자바스크립트 및 CSS(추가 이미지를 위해 몇 킬로바이트가 더 필요할 수 있음)로 마무리될 수 있는 Reddit의 첫 페이지는 로드하는 데만 300배의 대역폭이 필요했습니다.

이에 비해(달 착륙이 헐리우드 지하에서 일어나지 않았다는 점을 고려하면) 아폴로 11호 임무용으로 작성된 소프트웨어의 크기는 72KB에 불과했습니다.

그냥 시작하기 위해, 수십억 명의 사람들이 항상 함께, 매 순간, Reddit의 첫 페이지를 여는 것을 상상해보세요. 생각해 보십시오. 데이터 전송에 드는 직접 비용은 얼마입니까? 2차 비용은 얼마인가요? 인터넷을 소비하는 존재로서 우리는 얼마나 많은 에너지를 낭비하고 있습니까?

이 개념은 지난 1년 동안 내 마음 속에 자리잡고 있었으며 이것이 내가 처음에 Perl 도구를 함께 해킹한 주된 이유였습니다. 하나의 "최소 웹" 생각은 다른 생각으로 이어졌고, 나는 우리가 과대 광고(또는 증오)에 너무 사로잡혀 인공 지능 노력의 비용을 무시하고 있다는 것을 깨달았습니다.

서비스형 AI(예: 안정적인 확산)의 에너지 비용을 어떻게 계산할 수 있나요?

정확히? 우리는 할 수 없습니다. 이러한 서비스가 어떻게 작동하는지, 즉 어떤 CPU나 GPU(또는 전용 칩)를 사용하고 있는지 알 수 없습니다. 실행 중인 인스턴스 수, 로드는 얼마나 되는지, 중요한 하드웨어의 정확한 전력 소비량은 얼마나 됩니까?

그러나 우리가 마음을 먹으면 꽤 현실적인(비록 정확하지는 않지만) 결론에 도달할 수 있습니다. 나는 이 예에서 가장 간단하고 대중적이라고 생각하는 안정적인 확산 GUI인 Fooocus를 선택했습니다. 간단하게 시작해 보겠습니다.

Fooocus를 사용하면 기존 GPU(Quadro P2000)를 사용하여 이미지를 생성하는 데 약 10분이 걸렸습니다. Fooocus 저장소의 성능 표에 따르면 Nvidia RTX 4XXX GPU를 사용하면 가장 빠른 결과를 얻을 수 있다는 것을 알고 있습니다. 내 Quadro는 Nvidia GTX 1060과 다소 비슷하므로 Nvidia GTX 1060 GPU를 사용하면 약 10분 안에 이미지를 생성할 수 있다는 것을 알고 있습니다.

온라인으로 검색한 결과 AI/ML에 가장 일반적으로 사용되는(기업) GPU는 Nvidia A100(부하 시 최대 400W)이라는 결론을 내렸습니다.

Nvidia A100은 Nvidia GTX 1060보다 훨씬 더 강력한 GPU입니다. 또한 AI 및 ML을 위해 특별히 제작되었습니다. 따라서 Nvidia A100을 사용하여 이미지를 생성하는 데 5초가 걸린다고 가정해 보겠습니다. (이 글을 읽는 사람이 A100과 그 성능에 대한 정확한 데이터를 가지고 있다면 공유해 주세요.)

공식 E = P * T를 사용하면 부하가 걸린 상태에서 5초 동안 Nvidia A100 GPU 전력 소비는 약 0.5와트시가 됩니다.

이 예에 추가하면 Midjourney(또는 기타 AI 이미지 생성 서비스)는 프롬프트당 4개의 이미지를 생성합니다. 서비스가 Nvidia A100 배열을 사용하여 이미지를 생성한다고 가정해 보겠습니다. 이는 서비스가 각 사용자에 대해 각 프롬프트에 대해 약 2와트시 정도의 에너지를 낭비하고 있음을 의미합니다.

2023년 11월 기준 Midjourney의 DAU는 250만 명입니다.

 2Wh x 2,500,000 Users x 24 Hours = 120,000,000Wh (per day, considering every DAU is executing a prompt per hour, in reality, it is much more than that). 120,000,000Wh = 120,000MWh

120,000메가와트시는 잠재적으로 100,000가구 이상에 한 달 동안 전력을 공급할 수 있습니다.

Midjourney, Dall-E와 같은 서비스 또는 Fooocus와 같은 자체 호스팅 솔루션은 각각 하루에 최소 5천만 와트시를 낭비합니다(GPU가 최첨단이고 각 DAU를 고려). 매일 몇 시간 동안 서비스를 사용합니다).

이 양의 에너지는 잠재적으로 평균 규모의 100,000개 이상의 가구에 하루 한 달 동안 전력을 공급할 수 있습니다.

우리는 이미지 생성 서비스에 대해서만 이야기했다는 점을 기억하세요. ChatGPT, Gemini, Bard 및 모든 버전과 버전과 같은 다른 모든 서비스를 잊지 마십시오. 목록과 낭비는 계속됩니다.

우리는 무엇을 해야 합니까?

개발자로서 우리는 이 새로운 문제를 해결하기 위해 어떻게 함께 모여야 할까요? 책임감 있게 에너지를 사용하도록 다른 사람들을 교육하기 위한 조치를 어떻게 취할 수 있습니까? 이 주제와 가능한 해결 방법에 대한 귀하의 생각을 듣고 싶습니다.

여기에도 게시됨