人工智能令人兴奋；不到一年的时间里，这项新技术突破就已占据了我们的生活，至今仍未停止。 就我个人而言，我对人工智能工具及其目前的使用方式有些疑问。尽管如此，我还是不能否认，如果交给合适的人去做合适的工作，人工智能工具确实是一种强大的工具 - 但众所周知，能力越大，责任越大。  在兴奋和半实现的承诺之中，我们有没有停下来想过，连续数小时运行 123 亿个参数模型的成本，这些模型跨越多个实例，同时为数百万用户服务？ 我一直是“最小网络”概念的倡导者（我将来会写一篇关于这个概念的文章；有很多话要说）。我们生活在这样一个时代：一方面，似乎每个人都非常关心地球的健康（这是有充分理由的）。然而另一方面，没有人停下来想想，就原始能源而言，互联网在目前的状态下耗费了我们多少能源。它高效吗？它环保吗？远非如此。 交通与能源 不久前，我用 Perl（   ）编写了一个小型 TUI 工具，它可以监控我的互联网流量并汇总工具运行时发送和接收的数据包的字节长度。 webmeter 只需打开 Reddit 首页，我的工具就会记录下我的界面和 Reddit 服务器之间传输的高达 5.85 兆字节的数据。   Reddit 作为一个网站，由文本、低质量到中等质量的图片和偶尔的视频组成。仅仅打开 Reddit 主页，我就向全球传输了如此多的数据，这似乎非常不合理（测试期间自动播放视频已关闭，此结果不包括视频内容）。  Reddit 的首页可能有 10 KB 的内容、javascript 和 CSS（可能还需要几 KB 用于附加图像），但仅仅加载就需要 300 倍的带宽。 相比之下（考虑到登月不是在好莱坞地下室进行的），为阿波罗 11 号任务编写的软件只有 72 千字节。 想象一下，数十亿人同时打开 Reddit 主页，每时每刻。试着想想：传输数据的直接成本是多少？二次成本是多少？作为互联网消费群体，我们浪费了多少能源？ 在过去一年左右的时间里，这个概念一直在我脑海中萦绕，这也是我最初开发 Perl 工具的主要原因。一个“最小化网络”的想法引发了另一个想法，我意识到我们被炒作（或仇恨）所困扰，以至于我们忽略了人工智能的努力的成本。 我们如何计算人工智能即服务（或稳定扩散）的能源成本？ 准确吗？我们做不到。如果不知道这些服务是如何运行的，我们就无法做到：它们使用的是哪种 CPU 或 GPU（或专用芯片）。它们运行了多少个实例，它们的负载是多少，关键硬件的确切功耗是多少，等等？ 但如果我们用心思考，我们可以得出一个相当现实（尽管不那么准确）的结论。我选择了 作为这个例子，它是目前最直接（我相信也是最流行的）的稳定扩散 GUI。让我们从简单的开始： Fooocus 使用 Fooocus，我的旧 GPU（Quadro P2000）大约需要 10 分钟才能生成一张图像。根据 Fooocus 存储库中的性能表，我们知道使用 Nvidia RTX 4XXX GPU 可以获得最快的结果。我的 Quadro 与 Nvidia GTX 1060 相当，因此，我们知道使用 Nvidia GTX 1060 GPU，我们可以在大约 10 分钟内生成一张图像。 经过网上搜索，我得出结论，AI/ML 最常用的（企业级）GPU 是 Nvidia A100（负载下高达 400W）。   Nvidia A100 是一款比 Nvidia GTX 1060 强大得多的 GPU；它也是专为 AI 和 ML 打造的。因此，我们假设使用 Nvidia A100 生成图像需要 5 秒（如果阅读本文的人有关于 A100 及其性能的准确数据，请分享）。 使用公式 E = P * T，Nvidia A100 GPU 在负载下 5 秒的功耗约为 0.5 瓦时。 在此示例中，Midjourney（或其他 AI 图像生成服务）每次提示生成 4 张图像。假设该服务使用一组 Nvidia A100 来生成图像，这意味着该服务可能为每个用户每次提示浪费大约 2 瓦时的电能。 截至 2023 年 11 月，Midjourney 的 DAU 为 250 万。   2Wh x 2,500,000 Users x 24 Hours = 120,000,000Wh (per day, considering every DAU is executing a prompt per hour, in reality, it is much more than that). 120,000,000Wh = 120,000MWh  120,000 兆瓦时的电力可以为超过 100,000 户家庭供电一个月。 谦虚地说，诸如 Midjourney、Dall-E 之类的服务，甚至是 Fooocus 之类的自托管解决方案，每天至少浪费 5000 万瓦时的电力（考虑到他们的 GPU 是最先进的，并且每个 DAU 每天使用该服务几个小时）。 这些能量每天可以为超过 100,000 个普通家庭供电一个月。 请记住，我们只讨论了图像生成服务；我们不要忘记所有其他服务，例如 ChatGPT、Gemini、Bard 及其所有版本和风格。清单和浪费还在继续。 我们应该做什么？ 作为开发商，我们该如何齐心协力解决这一新问题？我们如何采取措施教育他人负责任地使用能源？我很想听听你对这个话题及其可能的解决方案的看法。 也发布 在这里

Read My Stories

該音頻是用故事的原始語言製作的！

能源效率低下的人工智能时代已经到来：人工智能的成本

About Author

註釋

標籤

这篇文章刊登在

Related Stories

架构师指南：构建 AI/ML 数据湖参考架构

Claude Sonnet 3.5 系统提示泄漏：法医分析

扬帆起航：利用数据湖开发生产级 RAG 应用程序

Floki 的 Valhalla 成为印度环斯里兰卡赛事联合赞助商

架构师指南：构建 AI/ML 数据湖参考架构

Claude Sonnet 3.5 系统提示泄漏：法医分析

扬帆起航：利用数据湖开发生产级 RAG 应用程序

Floki 的 Valhalla 成为印度环斯里兰卡赛事联合赞助商

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps