Enerji Açısından Verimsiz Yapay Zeka Çağı Zaten Geldi: Yapay Zekanın Maliyeti

Yapay zeka heyecan verici; Bir yıldan kısa bir süre içinde hayatımızı ele geçiren yeni teknolojik atılım o zamandan beri durmadı.

Kişisel olarak yapay zeka araçlarıyla ve bunların şu anda nasıl kullanıldığıyla ilgili bazı sorunlarım var. Bununla birlikte, doğru işi yapması için doğru kişiye verildiğinde bunların çok güçlü bir araç olduğunu inkar edemem; ancak hepimizin bildiği gibi, büyük güç, büyük sorumluluk getirir.

Heyecan ve kısmen yerine getirilmiş sözler arasında, milyonlarca kullanıcı için birden fazla örnekte ölçeklendirilmiş 1,2,3 milyar parametre modelini saatlerce saatlerce çalıştırmanın maliyetini hiç düşündük mü?

Ben her zaman "minimal web" kavramının savunucusu oldum (ileride bu kavramla ilgili bir yazı yazacağım; söylenecek çok şey var). Bir yandan herkesin gezegenin sağlığı konusunda son derece endişeli göründüğü bir çağda yaşıyoruz (ve bunun iyi bir nedeni var). Ancak bir yandan da internetin bu haliyle bize ham enerji açısından ne kadara mal olduğunu kimse düşünmüyor. Verimli mi? Yeşil mi? Ne münasebet.

Trafik ve Enerji

Bir süre önce Perl ( webmeter ) kullanarak internet trafiğimi izleyen ve araç çalışırken gönderilen ve alınan paketlerin bayt uzunluğunu toplayan küçük bir TUI aracı yazdım.

Sadece Reddit'in ön sayfasını açarak, aracım arayüzüm ile Reddit sunucuları arasında aktarılan 5,85 megabaytlık devasa bir veriyi kaydetti.

Bir web sitesi olarak Reddit, metin, düşük ila orta kaliteli görseller ve ara sıra videoların birleşiminden oluşur. Sadece Reddit'in ön sayfasını açarak gezegenin her yerine bu kadar çok veri aktarmış olmam son derece mantıksız görünüyor (test sırasında otomatik oynatılan videolar kapalıydı, bu sonuç video içeriğini hariç tutuyor).

Reddit'in 10 kilobaytlık içerik, javascript ve CSS (ek resimler için birkaç kilobayt daha fazla) ile sonuçlanabilecek ön sayfasının yüklenmesi için bant genişliğinin 300 katına ihtiyaç vardı.

Karşılaştırıldığında (Ay'a inişin Hollywood'un bodrumunda gerçekleşmediği göz önüne alındığında), Apollo 11 görevi için yazılan yazılımın boyutu yalnızca 72 kilobayttı.

Sadece heyecan olsun diye, milyarlarca insanın Reddit'in ön sayfasını hep birlikte, her an, her zaman açtığını hayal edin. Deneyin ve düşünün: Verileri aktarmanın doğrudan maliyeti nedir? İkincil maliyet nedir? İnternet tüketen varlıklar olarak ne kadar enerji harcıyoruz?

Bu kavram yaklaşık bir yıldır aklımdaydı ve Perl aracımı bir araya getirmemin ana nedeni de buydu. Bir "minimal ağ" düşüncesi bir diğerine yol açtı ve abartılı reklam (ya da nefret) tarafından o kadar tüketildiğimizi ve yapay zeka çabalarımızın maliyetini görmezden geldiğimizi fark ettim.

Bir Hizmet Olarak Yapay Zekanın (veya Örneğin Kararlı Yayılımın) Enerji Maliyetini Nasıl Hesaplayabiliriz?

Kesinlikle mi? Yapamayız. Bu hizmetlerin nasıl çalıştığını bilmeden değil: hangi CPU'ları veya GPU'ları (veya özel çipleri) kullandıklarını. Kaç örnek çalışıyorlar, yükleri nedir, kritik donanımın tam güç tüketimi nedir, vb.

Ancak eğer kafamıza koyarsak oldukça gerçekçi (her ne kadar o kadar doğru olmasa da) bir sonuca varabiliriz. Bu örnek için piyasadaki en basit (ve popüler olduğuna inanıyorum) kararlı yayılma GUI'si olan Fooocus'u seçtim. Basit başlayalım:

Fooocus'u kullanarak eski zamanlayıcı GPU'mun (Quadro P2000) bir görüntü oluşturması yaklaşık 10 dakika sürdü. Fooocus'un deposundaki performans tablosuna göre Nvidia RTX 4XXX GPU kullanmanın bize en hızlı sonucu vereceğini biliyoruz. Benim Quadro'm bir bakıma Nvidia GTX 1060 ile karşılaştırılabilir, bu nedenle Nvidia GTX 1060 GPU kullanarak yaklaşık 10 dakikada bir görüntü oluşturabileceğimizi biliyoruz.

İnternette biraz araştırdıktan sonra, AI/ML için en yaygın kullanılan (kurumsal) GPU'nun Nvidia A100 (yük altında 400W'a kadar) olduğu sonucuna vardım.

Nvidia A100, Nvidia GTX 1060'tan çok daha güçlü bir GPU'dur; aynı zamanda AI ve ML için özel olarak tasarlanmıştır. Bu nedenle Nvidia A100 kullanarak görüntü oluşturmanın 5 saniye süreceğini varsayalım (bunu okuyanlar A100 ve performansı hakkında doğru verilere sahipse lütfen paylaşsınlar).

E = P * T formülü kullanıldığında, yük altında 5 saniye boyunca bir Nvidia A100 GPU güç tüketiminin maliyeti yaklaşık 0,5 watt-saattir.

Bu örneğe ek olarak: Midjourney (veya diğer AI görüntü oluşturma hizmetleri), istem başına 4 görüntü oluşturur. Hizmetin görüntüleri oluşturmak için bir dizi Nvidia A100 kullandığını varsayalım; bu, hizmetin muhtemelen her kullanıcı için her istem için yaklaşık 2 watt-saat enerji harcadığı anlamına gelir.

Kasım 2023 itibarıyla Midjourney'de 2,5 milyon DAU bulunmaktadır.

 2Wh x 2,500,000 Users x 24 Hours = 120,000,000Wh (per day, considering every DAU is executing a prompt per hour, in reality, it is much more than that). 120,000,000Wh = 120,000MWh

120.000 Megawatt saat potansiyel olarak bir ay boyunca 100.000'den fazla haneye enerji sağlayabilir.

Mütevazı bir şekilde, Midjourney, Dall-E gibi hizmetler ve hatta Fooocus gibi kendi kendine barındırılan çözümler, her biri (GPU'larının en son teknolojiye sahip olduğu ve her DAU'nun olduğu göz önüne alındığında) günde en az 50 milyon watt-saat israf ediyor. hizmeti her gün birkaç saat kullanır).

Bu miktardaki enerji potansiyel olarak bir ay boyunca günde 100.000'den fazla ortalama büyüklükteki haneye enerji sağlayabilir.

Sadece imaj oluşturma hizmetlerinden bahsettiğimizi unutmayın; ChatGPT, Gemini, Bard gibi diğer tüm hizmetleri ve bunların tüm versiyonlarını ve tatlarını unutmayalım. Liste ve israf uzayıp gidiyor.

Ne yapmalıyız?

Geliştiriciler olarak biz, ortaya çıkan bu sorunu çözmek için nasıl bir araya gelmeliyiz? Başkalarını enerjiyi sorumlu bir şekilde kullanma konusunda eğitmek için nasıl önlemler alabiliriz? Bu konu ve olası çözümleri hakkındaki düşüncelerinizi duymayı çok isterim.

Burada da yayınlandı