paint-brush
拥挤的人工智能领域仍有空间容纳更多天才经过@glaze
新歷史

拥挤的人工智能领域仍有空间容纳更多天才

经过 Glaze11m2024/07/15
Read on Terminal Reader

太長; 讀書

这项研究旨在揭示与该领域开发人员相关的 AI 关键领域。它探索了 Web3 与 AI 技术融合的潜在机会。这项研究由 Upshot 的 Zhenyang、Ashehot、Neuronets 的 Fran、Valence 的 Matt 和 Pond 的 Dylan 进行。
featured image - 拥挤的人工智能领域仍有空间容纳更多天才
Glaze HackerNoon profile picture
0-item

感谢 Upshot 的 Zhenyang、Giza 的 Fran、Neuronets 的 Ashely、Valence 的 Matt 和 Pond 的 Dylan 提供的宝贵意见和反馈。

这项研究旨在揭示与该领域开发人员相关的人工智能关键领域,并探索 Web3 和人工智能技术融合中潜在的蓬勃发展的机会。

总结

以人工智能为中心的去中心化应用程序 (DApps) 的最新进展突出了几种工具和概念:

  • 去中心化的 OpenAI 访问、GPU 网络:人工智能的广泛和快速增长,加上其巨大的应用潜力,使其成为比比特币挖矿曾经更热门的领域。这种增长是由对多样化 GPU 模型及其战略地理分布的需求所支撑的。
  • 推理和代理网络:虽然这些网络共享类似的基础设施,但它们的重点有所不同。推理网络主要面向经验丰富的开发人员,用于部署模型,而对于非 LLM 模型,不一定需要高端 GPU。相反,更以 LLM 为中心的代理网络要求开发人员专注于快速工程和各种代理的集成,这必然需要使用高级 GPU。
  • 人工智能基础设施项目:这些项目不断发展,提供新功能并有望为未来应用提供增强的功能。
  • 加密原生项目:其中许多项目仍处于测试网阶段,面临稳定性问题、复杂的设置和有限的功能,同时需要时间来建立其安全性和隐私凭证。
  • 尚未发现的领域:假设 AI DApps 将对市场产生重大影响,那么有几个领域仍未得到充分探索,包括监控、RAG 相关基础设施、Web3 原生模型、具有加密原生 API 和数据的去中心化代理以及评估网络。
  • 垂直整合趋势:基础设施项目越来越多地致力于为 AI DApp 开发人员提供全面的一站式解决方案。
  • 混合未来预测:未来可能会将前端推理与链上计算相结合,以平衡成本考虑和可验证性。

Web3 x AI 简介

随着开发人员积极探索为加密领域量身定制的 AI 基础设施,Web3 与 AI 的融合正在加密领域引起人们的极大兴趣。其目标是为智能合约注入复杂的智能功能,需要对数据处理、模型精度、计算需求、部署复杂性和区块链集成给予细致的关注。


Web3 先驱设计的早期解决方案包括:

  • 增强型 GPU 网络
  • 专用加密数据和社区数据标签
  • 社区训练建模
  • 可验证的人工智能推理和训练过程
  • 综合代理店


尽管基础设施蓬勃发展,但 DApp 中实际的 AI 应用仍然有限。常见的教程只是触及表面,通常说明前端环境中的基本 OpenAI API 交互,而没有充分利用区块链独特的去中心化和可验证性。

随着形势的发展,我们预计未来几个月内许多加密原生 AI 基础设施将取得重大进展,从测试网过渡到全面运行状态。


在这种动态背景下,我们的探索将深入加密原生 AI 基础设施中可用的工具库,帮助开发人员为加密领域即将出现的类似于突破性的 GPT-3.5 时刻的进步做好准备。

RedPill:赋能去中心化 AI

利用 OpenAI 的强大模型(例如 GPT-4-vision、GPT-4-turbo 和 GPT-4o),对于那些旨在开发尖端 AI DApp 的人来说,具有显著的优势。这些强大的工具提供了在蓬勃发展的 AI x Web3 领域开拓高级应用程序和解决方案所需的基础功能。

将 OpenAI 集成到去中心化应用程序 (dApp) 中是开发人员的热门话题,他们可以从预言机或前端调用 OpenAI API。RedPill 是这种集成的先驱,因为它通过提供聚合 API 服务使顶级 AI 模型的访问变得民主化。该服务融合了各种 OpenAI API 贡献并将它们集中在一起,带来了诸多好处,例如更实惠、更快的速度和全面的全球访问,而没有 OpenAI 通常带来的限制。


加密货币开发人员经常面临的固有问题,例如每分钟代币数量 (TPM) 有限或由于地理边界而导致的模型访问受限,可能会导致重大障碍。RedPill 通过将开发人员的请求路由到其网络内的个人贡献者来解决这些问题,从而有效地绕过 OpenAI 的任何直接限制。下表概述了 RedPill 和 OpenAI 在功能和成本方面的明显差异:


红色药丸

OpenAI

可信平台管理

无限

对于大多数用户来说,30k - 450k

价格

每 1000 万个请求收取 5 美元,另加代币奖励

每 1000 万个请求 5 美元

RPM(每分钟请求数)

无限

对于大多数用户来说,500 - 5k


GPU 网络

除了使用 OpenAI API,开发人员还可以在去中心化的 GPU 网络上托管和运行他们的模型。io.net、Aethir 和 Akash 等流行平台使开发人员能够创建和管理他们的 GPU 集群,从而让他们能够部署最具影响力的模型——无论是专有模型还是开源模型。


这些去中心化的 GPU 网络利用来自个人贡献者或小型数据中心的计算能力,从而确保了多种机器规格、更多服务器位置和更低的成本。这种独特的结构支持开发人员在可控的预算内进行雄心勃勃的 AI 实验。然而,去中心化的特性可能导致功能、正常运行时间可靠性和数据隐私受限,如以下比较所示:


GPU 网络

集中式 GPU 提供商

SLA(正常运行时间)

多变的

99.99%+

集成和自动化 SDK

有限的

可用的

存储服务

有限的

全面(备份、文件、对象、块存储和恢复策略)

数据库服务

有限的

货源充足

身份和访问管理

有限的

可用的

防火墙

有限的

可用的

监控/管理/警报服务

有限的

可用的

遵守 GDPR、CCPA(数据隐私)

有限的

部分合规

最近,人们对 GPU 网络的兴趣激增,甚至超过了比特币挖矿热潮。一些关键因素促成了这一现象:


  • 多样化的受众:与主要吸引投机者的比特币挖矿不同,GPU 网络吸引了更广泛、更忠诚的人工智能开发者群体。
  • 灵活的硬件要求:AI 应用程序需要根据任务的复杂性而变化的 GPU 规格,这使得分散式网络因其靠近最终用户和低延迟问题而具有优势。
  • 先进技术:这些网络受益于区块链技术、虚拟化和计算集群的创新,从而提高了其效率和可扩展性。
  • 更高的收益潜力:与比特币挖矿的竞争性和局限性相比,基于 GPU 的 AI 计算的投资回报率可能要高得多。
  • 行业采用:大型采矿公司正在实现业务多元化,纳入特定于 AI 的 GPU 模型,以保持相关性并进入不断增长的市场。


随着人工智能和分散式计算格局的不断发展,RedPill 和分散式 GPU 网络等工具正在彻底改变开发人员克服传统障碍和开启人工智能开发新可能性的方式。

建议io.net提供直观的用户体验,特别适合 Web2 开发人员。如果您对服务水平协议 (SLA) 比较灵活, io.net可能是一个值得考虑的经济实惠的选择。

推理网络

推理网络是加密原生 AI 基础设施的支柱,旨在支持 AI 模型处理数据并做出智能预测或决策。未来,它将处理数十亿次 AI 推理操作。许多区块链层(第 1 层或第 2 层)已经为开发人员提供了直接在链上调用 AI 推理操作的能力。该市场的领导者包括 Ritual、Vanna 和Fetch.ai等平台。


这些网络根据多种因素而有所不同,包括性能(延迟、计算时间)、支持的模型、可验证性和价格(消费和推理成本)以及整体开发人员体验。

目标

理想情况下,开发人员应该能够将定制的 AI 推理功能无缝集成到任何应用程序中,并全面支持各种证明,并尽量减少集成工作量。


推理网络提供了开发人员所需的所有必要的基础设施元素,例如按需证明生成和验证、推理计算、推理中继、Web2 和 Web3 端点、一键模型部署、监控、跨链互操作性、集成同步和计划执行。



借助这些功能,开发人员可以轻松地将推理集成到他们的区块链项目中。例如,在开发去中心化金融 (DeFi) 交易机器人时,可以使用机器学习模型来识别交易对的买卖机会并在 Base DEX 上执行策略。


理想情况下,所有基础设施都应由云托管,这样开发人员就可以以 Torch 等流行格式上传和存储他们的模型策略。推理网络将负责 Web2 和 Web3 查询的模型存储和服务。


模型部署完成后,开发者可以通过 Web3 API 请求或直接通过智能合约触发模型推理。推理网络不断运行交易策略并将结果反馈给基础智能合约。如果管理大量社区资金,可能需要证明推理的准确性。收到推理结果后,智能合约会根据这些结果自动执行交易。


异步与同步

虽然异步执行理论上可以提供更好的性能,但它会使开发人员的体验复杂化。


在异步模型中,开发人员首先通过智能合约将他们的作业提交给推理网络。作业完成后,网络的智能合约将返回结果。这将编程分为两个阶段:调用推理和处理其结果。



这种分离可能会导致复杂性,尤其是在嵌套推理调用或大量逻辑处理时。



此外,异步模型很难与现有的智能合约集成,需要额外的编码、大量的错误处理和增加的依赖关系。

对于开发人员来说,同步通常更容易实现,但它带来了与延迟和区块链设计相关的挑战。例如,在处理快速变化的输入数据(如区块时间或市场价格)时,数据可能会在处理完成时过时。这种情况可能会导致智能合约执行回滚,尤其是在根据过时的价格执行交换等操作时。



Valence 通过专注于异步运行的 AI 基础设施来应对这些挑战。

现实

在当前情况下,大多数新的推理网络(如 Ritual Network)仍处于测试阶段,根据其公开文档,它们提供的功能有限。它们不提供用于链上 AI 计算的云基础设施,而是支持用于自托管 AI 计算的框架,随后将结果传递到区块链。


以下是运行 AIGC NFT 的典型架构:扩散模型生成 NFT 并将其上传到 Arweave。然后推理网络接收 Arweave 地址并继续在链上铸造 NFT。



该模型要求开发人员独立部署和托管大部分基础设施,包括管理具有定制服务逻辑的Ritual Node、稳定的扩散节点和NFT智能合约。


建议:当前的推理网络集成和部署自定义模型非常复杂。由于许多推理网络目前不提供可验证性,因此在前端部署 AI 可能是开发人员更直接的选择。对于那些需要可验证性的人来说,零知识机器学习提供商 Giza 提供了一个有前途的替代方案。

代理网络

代理网络简化了用户代理的定制。这些网络由能够执行任务并自动相互交互并与区块链交互的自主实体或智能合约组成。它们目前更专注于大型语言模型 (LLM),例如专为理解以太坊而设计的 GPT 聊天机器人。然而,这些聊天机器人目前的能力有限,限制了开发人员在其上构建复杂的应用程序。



展望未来,代理网络将通过为代理提供高级工具(包括外部 API 访问和执行功能)来增强其功能。开发人员将能够通过连接多个专门的代理(例如专注于协议设计、Solidity 开发、代码安全审查和合约部署的代理)来协调工作流程,并使用提示和上下文来促进合作。



代理网络的例子包括Flock.ai 、Myshell和Theoriq。


建议:由于当前的代理技术仍在发展且功能有限,开发人员可能会发现 Web2 领域中更成熟的编排工具(如 Langchain 或 Llamaindex)更能满足他们的需求。

代理网络与推理网络的区别

虽然代理网络和推理网络都旨在增强区块链的功能和交互,但它们的核心功能和运营重点却大不相同。代理网络旨在通过自主代理实现交互自动化并扩展智能合约的实用性。相比之下,推理网络主要关注集成和管理区块链上的 AI 驱动数据分析。每种网络都有独特的用途,针对区块链和 AI 集成的不同方面量身定制。

代理网络主要专注于大型语言模型 (LLM),并提供编排工具(例如 Langchain)以促进这些代理的集成。对于开发人员来说,这意味着无需从头开始开发自己的机器学习模型。相反,模型开发和部署的复杂性被推理网络抽象出来,使他们能够使用适当的工具和上下文简单地连接代理。在大多数情况下,最终用户直接与这些代理交互,从而简化了用户体验。


相反,推理网络构成了代理网络的运营主干,为开发人员提供较低级别的访问权限。与代理网络不同,推理网络不直接由最终用户使用。开发人员必须部署他们的模型(不限于 LLM),并且他们可以通过链下或链上点访问这些模型。


有趣的是,代理网络和推理网络在某些情况下开始融合,出现了同时提供代理和推理功能的垂直集成产品。这种集成是合乎逻辑的,因为这两种功能共享类似的基础设施主干。


推理网络和代理网络的比较:


推理网络

代理网络

目标客户

开发人员

最终用户/开发者

支持的型号

法学硕士、神经网络、传统机器学习模型

主要为法学硕士

基础设施

支持多种模型

主要支持热门的法学硕士

可定制性

广泛的模型适应性

可通过提示和工具进行配置

热门项目

礼仪、价钱

Flock、Myshell、Theoriq、Olas

下一代天才创新的空间

随着我们对模型开发流程的深入研究,web3 领域中出现了许多机遇:

  • 数据集:将区块链数据转换为可用于机器学习的数据集至关重要。Giza 等项目通过提供高质量的 DeFi 相关数据集取得了长足进步。然而,创建更能代表区块链交互的基于图形的数据集仍然是一个需要开发的领域。
  • 模型存储:对于大型模型,高效的存储、分发和版本控制至关重要。该领域的创新者包括 Filecoin、AR 和 0g。
  • 模型训练:去中心化和可验证的模型训练仍然是一个挑战。Gensyn、Bittensor 和 Flock 等实体正在取得重大进展。
  • 监控:有效的基础设施对于监控链下和链上的模型使用情况是必要的,可以帮助开发人员识别和纠正其模型中的问题或偏差。
  • RAG 基础设施:随着 Retriever 的增强,对私密、高效存储和计算的需求不断增加。Firstbatch 和 Bagel 就是满足这些需求的项目示例。
  • 专用 Web3 模型:定制模型对于特定的 Web3 用例至关重要,例如欺诈检测或价格预测。例如,Pond 正在开发面向区块链的图形神经网络 (GNN)。
  • 评估网络:代理的激增需要强大的评估机制。像 Neuronets 这样的平台在提供此类服务方面发挥着关键作用。
  • 共识:传统的权益证明 (PoS) 可能不适合面向 AI 的任务,因为它们太复杂了。例如,Bittensor 开发了一种共识模型,奖励贡献有价值的 AI 见解的节点。

未来展望

垂直整合的趋势显而易见,网络寻求从单一计算层提供全面、多功能的 ML 解决方案。这种方法有望为 Web3 ML 开发人员提供精简的一体化解决方案,推动 AI 和区块链技术的整合。

链上推理虽然提供了出色的可验证性,并能与智能合约等后端系统无缝集成,但成本高昂且速度缓慢。我设想未来采用一种混合方法。我们很可能会看到一种混合方法,即一些推理任务在链下、在前端执行,以提高效率,而关键的、以决策为中心的推理任务将继续在链上处理。这种模式已经在移动设备上得到实践。利用移动功能,较小的模型在本地运行以获得快速响应,而更复杂的计算则转移到云端,利用更大的语言模型 (LLM)。