Kỷ nguyên AI sử dụng năng lượng kém đã đến: Chi phí của AI

Trí tuệ nhân tạo thật thú vị; bước đột phá công nghệ mới đã tiếp quản cuộc sống của chúng ta trong vòng chưa đầy một năm vẫn chưa dừng lại kể từ đó.

Cá nhân tôi gặp một số vấn đề với các công cụ AI và cách chúng đang được sử dụng vào thời điểm hiện tại. Với điều đó, tôi không thể phủ nhận rằng chúng là một công cụ đắc lực khi được giao cho đúng người để làm đúng công việc - nhưng như tất cả chúng ta đều biết, quyền lực lớn đi kèm với trách nhiệm lớn lao.

Giữa sự phấn khích và những lời hứa đã được thực hiện một nửa - chúng ta có bao giờ dừng lại để nghĩ về chi phí chạy 1,2,3 tỷ mô hình tham số trong nhiều giờ liên tục, được mở rộng trên nhiều phiên bản, cho hàng triệu người dùng, cùng một lúc không?

Tôi luôn là người ủng hộ khái niệm "web tối thiểu" (tôi sẽ viết một bài về khái niệm này trong tương lai; có rất nhiều điều để nói). Chúng ta đang sống trong thời đại mà một bên là mọi người dường như cực kỳ quan tâm đến sức khỏe của hành tinh (và vì lý do chính đáng). Tuy nhiên, mặt khác, không ai dừng lại để nghĩ rằng Internet ở tình trạng hiện tại đang khiến chúng ta tiêu tốn bao nhiêu năng lượng thô. Nó có hiệu quả không? Nó có màu xanh lá cây không? Cách xa nó.

Giao thông và Năng lượng

Cách đây không lâu, tôi đã viết một công cụ TUI nhỏ bằng Perl ( webmeter ), công cụ này theo dõi lưu lượng truy cập Internet của tôi và tổng hợp độ dài byte của các gói được gửi và nhận trong khi công cụ đang chạy.

Chỉ cần mở trang đầu của Reddit, công cụ của tôi đã ghi lại lượng dữ liệu khổng lồ 5,85 megabyte được truyền giữa giao diện của tôi và máy chủ của Reddit.

Reddit với tư cách là một trang web là sự kết hợp giữa văn bản, hình ảnh chất lượng thấp đến trung bình và thỉnh thoảng có video. Có vẻ cực kỳ vô lý khi chỉ bằng cách mở trang nhất của Reddit, tôi đã chuyển rất nhiều dữ liệu trên khắp hành tinh (video tự động phát đã bị tắt trong quá trình thử nghiệm, kết quả này không bao gồm nội dung video).

Trang đầu của Reddit, một trang lẽ ra có thể chứa 10 kilobyte nội dung, javascript và CSS (có thể thêm vài kilobyte cho hình ảnh bổ sung), cần băng thông gấp 300 lần chỉ để tải lên.

Để so sánh (vì cuộc đổ bộ lên mặt trăng không diễn ra ở tầng hầm ở Hollywood), phần mềm được viết cho sứ mệnh Apollo 11 chỉ có kích thước 72 kilobyte.

Để bắt đầu, hãy tưởng tượng hàng tỷ người cùng nhau mở trang nhất của Reddit vào mọi lúc, mọi nơi. Hãy thử suy nghĩ: chi phí trực tiếp của việc truyền dữ liệu là bao nhiêu? Chi phí thứ cấp là gì? Chúng ta đang lãng phí bao nhiêu năng lượng khi sử dụng internet?

Khái niệm này đã tồn tại trong tâm trí tôi khoảng một năm qua, đó là lý do chính khiến tôi hack công cụ Perl của mình ngay từ đầu. Ý nghĩ về "web tối thiểu" này dẫn đến ý nghĩ khác, và tôi nhận ra rằng chúng ta quá bị thu hút bởi sự cường điệu (hoặc căm ghét) đến mức chúng ta đang bỏ qua cái giá phải trả cho những nỗ lực trí tuệ nhân tạo của mình.

Làm thế nào chúng ta có thể tính toán chi phí năng lượng của AI dưới dạng dịch vụ (hoặc ví dụ như khuếch tán ổn định)?

Chính xác? Chúng tôi không thể. Không phải không biết các dịch vụ này hoạt động như thế nào: chúng đang sử dụng CPU hoặc GPU (hoặc chip chuyên dụng) nào. Họ đang chạy bao nhiêu phiên bản, tải của chúng là bao nhiêu, mức tiêu thụ điện năng chính xác của phần cứng quan trọng, v.v.?

Nhưng chúng ta có thể đi đến một kết luận khá thực tế (mặc dù không chính xác bằng) nếu chúng ta tập trung vào nó. Tôi đã chọn Fooocus cho ví dụ này, đây là GUI phổ biến ổn định đơn giản nhất (và tôi tin là phổ biến). Hãy bắt đầu đơn giản:

Khi sử dụng Fooocus, GPU hẹn giờ cũ của tôi (Quadro P2000) mất khoảng 10 phút để tạo ra hình ảnh. Theo bảng hiệu suất trên kho lưu trữ của Fooocus, chúng tôi biết rằng sử dụng GPU Nvidia RTX 4XXX sẽ cho kết quả nhanh nhất. Quadro của tôi có phần tương đương với Nvidia GTX 1060, do đó, chúng tôi biết rằng bằng cách sử dụng GPU Nvidia GTX 1060, chúng tôi có thể tạo ra một hình ảnh trong khoảng 10 phút.

Sau khi tìm kiếm trực tuyến, tôi kết luận rằng GPU (doanh nghiệp) được sử dụng phổ biến nhất cho AI/ML là Nvidia A100 (công suất tải lên tới 400W).

Nvidia A100 là GPU mạnh hơn rất nhiều so với Nvidia GTX 1060; nó cũng được xây dựng dành riêng cho AI và ML. Do đó, giả sử rằng việc tạo một hình ảnh bằng Nvidia A100 sẽ mất 5 giây (nếu ai đọc phần này có dữ liệu chính xác về A100 và hiệu suất của nó, vui lòng chia sẻ).

Sử dụng công thức E = P * T, mức tiêu thụ năng lượng của GPU Nvidia A100 khi tải trong 5 giây sẽ tiêu tốn khoảng 0,5 watt-giờ.

Thêm vào ví dụ này: Midjourney (hoặc các dịch vụ tạo hình ảnh AI khác) tạo ra 4 hình ảnh cho mỗi lời nhắc. Giả sử dịch vụ đang sử dụng một loạt Nvidia A100 để tạo hình ảnh, điều đó có nghĩa là dịch vụ có thể đang lãng phí khoảng 2 watt-giờ năng lượng cho mỗi lời nhắc cho mỗi người dùng.

Tính đến tháng 11 năm 2023, Midjourney có 2,5 triệu DAU.

 2Wh x 2,500,000 Users x 24 Hours = 120,000,000Wh (per day, considering every DAU is executing a prompt per hour, in reality, it is much more than that). 120,000,000Wh = 120,000MWh

120.000 Mega watt giờ có khả năng cung cấp năng lượng cho hơn 100.000 hộ gia đình trong cả tháng.

Nói một cách khiêm tốn, các dịch vụ như Midjourney, Dall-E hoặc thậm chí các giải pháp tự lưu trữ như Fooocus, mỗi dịch vụ lãng phí ít nhất 50 triệu watt-giờ mỗi ngày (vì GPU của họ là công nghệ tiên tiến và mỗi DAU sử dụng dịch vụ này trong vài giờ mỗi ngày).

Lượng năng lượng này có khả năng cung cấp năng lượng cho hơn 100.000 hộ gia đình có quy mô trung bình trong một tháng mỗi ngày.

Hãy nhớ rằng chúng ta chỉ nói về các dịch vụ tạo hình ảnh; đừng quên tất cả các dịch vụ khác, chẳng hạn như ChatGPT, Gemini, Bard, cũng như tất cả các phiên bản và hương vị của chúng. Danh sách và sự lãng phí vẫn tiếp tục.

Chúng ta nên làm gì?

Với tư cách là nhà phát triển, chúng ta nên cùng nhau giải quyết vấn đề mới nổi này như thế nào? Làm thế nào chúng ta có thể thực hiện các biện pháp để giáo dục người khác sử dụng năng lượng một cách có trách nhiệm? Tôi rất muốn nghe suy nghĩ của bạn về chủ đề này và các giải pháp khả thi.

Cũng được xuất bản ở đây