paint-brush
Os lotados espaços de IA ainda têm espaço para mais um gêniopor@glaze
576 leituras
576 leituras

Os lotados espaços de IA ainda têm espaço para mais um gênio

por Glaze11m2024/07/15
Read on Terminal Reader

Muito longo; Para ler

Esta pesquisa busca desvendar áreas críticas da IA que são relevantes para os desenvolvedores da área. Explora as oportunidades potenciais na convergência das tecnologias Web3 e IA. A pesquisa foi conduzida por Zhenyang da Upshot, Ashehot, Fran da Neuronets, Matt da Valence e Dylan da Pond.
featured image - Os lotados espaços de IA ainda têm espaço para mais um gênio
Glaze HackerNoon profile picture
0-item

Obrigado pela valiosa contribuição e feedback de Zhenyang da Upshot, Fran da Giza, Ashely da Neuronets, Matt da Valence e Dylan da Pond.

Esta pesquisa procura desvendar áreas críticas da IA que são relevantes para os desenvolvedores da área e explorar as oportunidades potenciais crescentes na convergência das tecnologias Web3 e IA.

DR

Os avanços atuais em aplicativos descentralizados centrados em IA (DApps) destacam várias ferramentas e conceitos instrumentais:

  • Acesso OpenAI descentralizado, rede GPU: O crescimento expansivo e rápido da IA, juntamente com seu vasto potencial de aplicação, torna-o um setor significativamente mais aquecido do que a mineração de Bitcoin já foi. Este crescimento é sustentado pela necessidade de diversos modelos de GPU e pela sua distribuição geográfica estratégica.
  • Redes de Inferência e de Agentes: Embora essas redes compartilhem infraestrutura semelhante, seus pontos focais divergem. As redes de inferência atendem principalmente a desenvolvedores experientes para implantação de modelos, sem necessariamente exigir GPUs de ponta para modelos não LLM. Por outro lado, as redes de agentes, que são mais centradas no LLM, exigem que os desenvolvedores se concentrem na engenharia imediata e na integração de vários agentes, necessitando invariavelmente do uso de GPUs avançadas.
  • Projetos de infraestrutura de IA: Esses projetos continuam a evoluir, oferecendo novos recursos e prometendo funcionalidades aprimoradas para aplicações futuras.
  • Projetos cripto-nativos: muitos deles ainda estão na fase de testnet, enfrentando problemas de estabilidade, configurações complexas e funcionalidades limitadas, enquanto demoram para estabelecer suas credenciais de segurança e privacidade.
  • Áreas não descobertas: Supondo que os DApps de IA impactarão significativamente o mercado, várias áreas permanecem subexploradas, incluindo monitoramento, infraestrutura relacionada a RAG, modelos nativos Web3, agentes descentralizados com API e dados cripto-nativos e redes de avaliação.
  • Tendências de integração vertical: Os projetos de infraestrutura visam cada vez mais fornecer soluções abrangentes e completas para desenvolvedores de AI DApp.
  • Previsões futuras híbridas: O futuro provavelmente contém uma mistura de inferência de front-end junto com cálculos em cadeia, equilibrando considerações de custo com verificabilidade.

Introdução ao Web3 x IA

A fusão da Web3 e da IA está gerando imenso interesse na criptoesfera, à medida que os desenvolvedores exploram rigorosamente a infraestrutura de IA adaptada para o domínio criptográfico. O objetivo é imbuir os contratos inteligentes com funcionalidades de inteligência sofisticadas, exigindo atenção meticulosa ao tratamento de dados, precisão do modelo, necessidades computacionais, complexidades de implantação e integração de blockchain.


As primeiras soluções criadas pelos pioneiros da Web3 abrangem:

  • Redes GPU aprimoradas
  • Dados criptográficos dedicados e rotulagem de dados comunitários
  • Modelagem treinada pela comunidade
  • Processos verificáveis de inferência e treinamento de IA
  • Lojas de agentes abrangentes


Apesar da infraestrutura florescente, a aplicação real de IA em DApps permanece limitada. Tutoriais comuns apenas arranham a superfície, muitas vezes ilustrando interações básicas da API OpenAI em ambientes front-end, sem aproveitar totalmente as ofertas exclusivas de descentralização e verificabilidade do blockchain.

À medida que o cenário evolui, prevemos desenvolvimentos significativos com muitas infraestruturas de IA cripto-nativas passando de testnets para status operacional completo nos próximos meses.


Neste contexto dinâmico, nossa exploração se aprofundará no arsenal de ferramentas disponíveis na infraestrutura de IA cripto-nativa, preparando os desenvolvedores para avanços iminentes semelhantes aos momentos inovadores do GPT-3.5 no domínio da criptografia.

RedPill: Capacitando IA Descentralizada

Aproveitar os modelos robustos da OpenAI, como GPT-4-vision, GPT-4-turbo e GPT-4o, oferece vantagens atraentes para aqueles que desejam desenvolver DApps de IA de ponta. Essas ferramentas poderosas fornecem os recursos básicos necessários para ser pioneiro em aplicativos e soluções avançadas no crescente cenário AI x Web3.

A integração do OpenAI em aplicativos descentralizados (dApps) é um tema importante entre os desenvolvedores que podem chamar a API OpenAI de oráculos ou frontends. RedPill está na vanguarda dessa integração, pois democratiza o acesso aos principais modelos de IA, oferecendo um serviço API agregado. Este serviço reúne várias contribuições da API OpenAI e as apresenta sob o mesmo teto, trazendo benefícios como maior acessibilidade, melhor velocidade e acesso global abrangente sem as restrições normalmente impostas pela OpenAI.


Os problemas inerentes que os desenvolvedores de criptomoedas frequentemente enfrentam, como tokens por minuto limitados (TPM) ou acesso restrito ao modelo devido a limites geográficos, podem levar a obstáculos significativos. O RedPill aborda essas preocupações de frente, encaminhando as solicitações dos desenvolvedores para contribuidores individuais dentro de sua rede, contornando efetivamente quaisquer restrições diretas do OpenAI. A tabela abaixo descreve as grandes diferenças em capacidades e custos entre RedPill e OpenAI:


RedPill

OpenAI

TPM

Ilimitado

30k - 450k para a maioria dos usuários

Preço

US$ 5 por 10 milhões de solicitações mais incentivos simbólicos

US$ 5 por 10 milhões de solicitações

RPM (solicitações por minuto)

Ilimitado

500 - 5k para a maioria dos usuários


Rede GPU

Além de utilizar a API OpenAI, os desenvolvedores podem hospedar e executar seus modelos em redes GPU descentralizadas. Plataformas populares como io.net , Aethir e Akash permitem que os desenvolvedores criem e gerenciem seus clusters de GPU, permitindo-lhes implantar os modelos mais impactantes, sejam eles proprietários ou de código aberto.


Essas redes GPU descentralizadas aproveitam o poder computacional de colaboradores individuais ou pequenos data centers, o que garante uma variedade de especificações de máquinas, mais locais de servidores e custos mais baixos. Esta estrutura única apoia os desenvolvedores na condução de experimentos ambiciosos de IA dentro de um orçamento administrável. No entanto, a natureza descentralizada pode resultar em recursos limitados, confiabilidade de tempo de atividade e privacidade de dados, conforme mostrado na comparação a seguir:


Rede GPU

Provedor de GPU centralizado

SLA (tempo de atividade)

Variável

99,99%+

SDKs de integração e automação

Limitado

Disponível

Serviços de armazenamento

Limitado

Abrangente (estratégias de backup, arquivo, objeto, armazenamento em bloco e recuperação)

Serviços de banco de dados

Limitado

Amplamente disponível

Gerenciamento de identidade e acesso

Limitado

Disponível

Firewall

Limitado

Disponível

Serviços de monitoramento/gerenciamento/alerta

Limitado

Disponível

Conformidade com GDPR, CCPA (Privacidade de Dados)

Limitado

Conformidade parcial

O recente aumento no interesse em torno das redes GPU eclipsa até mesmo a mania da mineração de Bitcoin. Alguns fatores principais contribuem para esse fenômeno:


  • Público diversificado : Ao contrário da mineração de Bitcoin, que atraiu principalmente especuladores, as redes GPU atraem uma base mais ampla e leal de desenvolvedores de IA.
  • Requisitos de hardware flexíveis : os aplicativos de IA exigem especificações de GPU variadas com base na complexidade das tarefas, tornando as redes descentralizadas vantajosas devido à sua proximidade com os usuários finais e aos problemas de baixa latência.
  • Tecnologia Avançada : Essas redes se beneficiam de inovações na tecnologia blockchain, virtualização e clusters de computação, aumentando sua eficiência e escalabilidade.
  • Maior potencial de rendimento : O ROI em cálculos de IA alimentados por GPU pode ser significativamente maior em comparação com a natureza competitiva e limitada da mineração de Bitcoin.
  • Adoção pela indústria : As principais empresas de mineração estão diversificando suas operações para incluir modelos de GPU específicos para IA para permanecerem relevantes e entrarem no mercado em crescimento.


À medida que o cenário da IA e da computação descentralizada continua a evoluir, ferramentas como RedPill e redes GPU descentralizadas estão revolucionando a forma como os desenvolvedores superam as barreiras tradicionais e abrem novas possibilidades no desenvolvimento de IA.

Recomendação : io.net oferece uma experiência de usuário simples, especialmente adequada para desenvolvedores Web2. Se você for flexível com seus acordos de nível de serviço (SLAs), io.net pode ser uma opção econômica a ser considerada.

Rede de Inferência

Uma rede de inferência forma a espinha dorsal da infraestrutura de IA cripto-nativa, projetada para oferecer suporte a modelos de IA no processamento de dados e na tomada de previsões ou decisões inteligentes. No futuro, estará preparado para lidar com bilhões de operações de inferência de IA. Muitas camadas de blockchain (camada 1 ou camada 2) já fornecem aos desenvolvedores a capacidade de invocar operações de inferência de IA diretamente na cadeia. Os líderes neste mercado incluem plataformas como Ritual, Vanna e Fetch.ai .


Essas redes variam com base em vários fatores, incluindo desempenho (latência, tempo de computação), modelos suportados, verificabilidade e preço (custos de consumo e inferência), bem como a experiência geral do desenvolvedor.

Meta

Em um cenário ideal, os desenvolvedores deveriam ser capazes de integrar perfeitamente recursos personalizados de inferência de IA em qualquer aplicativo, com suporte abrangente para várias provas e esforço mínimo de integração.


A rede de inferência fornece todos os elementos de infraestrutura necessários que os desenvolvedores precisam, como geração e validação de provas sob demanda, computação de inferência, retransmissão de inferência, endpoints Web2 e Web3, implantação de modelo com um clique, monitoramento, interoperabilidade entre cadeias, sincronização de integração e execução programada.



Com esses recursos, os desenvolvedores podem integrar facilmente a inferência em seus projetos de blockchain. Por exemplo, ao desenvolver bots de negociação de finanças descentralizadas (DeFi), modelos de aprendizado de máquina podem ser empregados para identificar oportunidades de compra e venda de pares de negociação e executar estratégias em um Base DEX.


Idealmente, toda a infraestrutura seria hospedada na nuvem, permitindo que os desenvolvedores carregassem e armazenassem suas estratégias de modelo em formatos populares como o Torch. A rede de inferência lidaria tanto com o armazenamento quanto com o fornecimento de modelos para consultas Web2 e Web3.


Assim que a implantação do modelo for concluída, os desenvolvedores podem acionar a inferência do modelo por meio de solicitações de API Web3 ou diretamente por meio de contratos inteligentes. A rede de inferência executa continuamente estratégias de negociação e retroalimenta os resultados para contratos inteligentes fundamentais. Se estiver a gerir fundos comunitários substanciais, poderá ser necessário provar a precisão da inferência. Ao receber os resultados da inferência, os contratos inteligentes executam automaticamente negociações com base nesses resultados.


Assincronização vs Sincronização

Embora a execução assíncrona possa, teoricamente, oferecer melhor desempenho, ela pode complicar a experiência do desenvolvedor.


No modelo assíncrono, os desenvolvedores inicialmente enviam seus trabalhos à rede de inferência por meio de contratos inteligentes. Assim que o trabalho for concluído, o contrato inteligente da rede retorna o resultado. Isso divide a programação em duas fases: invocar a inferência e processar seus resultados.



Essa separação pode levar a complexidades, especialmente com chamadas de inferência aninhadas ou manipulação lógica extensa.



Além disso, pode ser difícil integrar modelos assíncronos com contratos inteligentes existentes, exigindo codificação adicional, tratamento extensivo de erros e dependências adicionais.

A sincronização geralmente é mais simples de ser implementada pelos desenvolvedores, mas apresenta desafios relacionados à latência e ao design do blockchain. Por exemplo, ao lidar com dados de entrada que mudam rapidamente, como tempo de bloqueio ou preços de mercado, os dados podem ficar desatualizados quando o processamento for concluído. Este cenário pode causar a reversão de execuções de contratos inteligentes, principalmente ao realizar operações como swap com base em preços desatualizados.



A Valence está enfrentando esses desafios concentrando-se na infraestrutura de IA que opera de forma assíncrona.

Realidade

No cenário atual, a maioria das novas redes de inferência como a Ritual Network ainda estão em fase de testes e oferecem funcionalidade limitada de acordo com sua documentação pública. Em vez de fornecer uma infraestrutura em nuvem para cálculos de IA on-chain, eles suportam uma estrutura para auto-hospedagem de cálculos de IA e subsequentemente retransmissão dos resultados para o blockchain.


Aqui está uma arquitetura típica usada para executar um AIGC NFT: O modelo de difusão gera o NFT e o carrega no Arweave. A rede de inferência então recebe o endereço Arweave e prossegue com a cunhagem do NFT on-chain.



Este modelo exige que os desenvolvedores implantem e hospedem a maior parte da infraestrutura de forma independente, o que inclui o gerenciamento de Ritual Nodes com lógica de serviço personalizada, nós de difusão estáveis e contratos inteligentes NFT.


Recomendação : As redes de inferência atuais são complexas para integrar e implantar modelos personalizados. Como muitos não oferecem verificabilidade nesta fase, a implantação de IA no frontend pode ser uma opção mais simples para os desenvolvedores. Para aqueles que exigem verificabilidade, o provedor de Aprendizado de Máquina Zero Knowledge, Giza, oferece uma alternativa promissora.

Rede de Agentes

As redes de agentes simplificam a personalização de agentes para os usuários. Essas redes consistem em entidades autônomas ou contratos inteligentes capazes de executar tarefas e interagir entre si e com o blockchain de forma autônoma. Atualmente, eles estão mais focados em grandes modelos de linguagem (LLMs), como chatbots GPT projetados especificamente para entender o Ethereum. No entanto, estes chatbots estão atualmente limitados nas suas capacidades, restringindo os desenvolvedores de construir aplicações complexas sobre eles.



Olhando para o futuro, as redes de agentes estão preparadas para aprimorar suas capacidades, fornecendo aos agentes ferramentas avançadas, incluindo acesso externo à API e funcionalidades de execução. Os desenvolvedores poderão orquestrar fluxos de trabalho conectando vários agentes especializados – como aqueles focados em design de protocolo, desenvolvimento de Solidity, revisões de segurança de código e implantação de contratos – usando prompts e contextos para facilitar a cooperação.



Exemplos de redes de agentes incluem Flock.ai , Myshell e Theoriq.


Recomendação : Como as tecnologias de agente atuais ainda estão evoluindo e possuem funcionalidades limitadas, os desenvolvedores podem achar ferramentas de orquestração mais maduras, como Langchain ou Llamaindex no espaço Web2, mais eficazes para suas necessidades.

Diferença entre Rede de Agentes e Rede de Inferência

Embora tanto as redes de agentes quanto as redes de inferência sirvam para aprimorar as capacidades e interações no blockchain, suas funções principais e foco operacional diferem bastante. As redes de agentes são voltadas para automatizar interações e expandir a utilidade de contratos inteligentes por meio de agentes autônomos. Em contraste, as redes de inferência estão principalmente preocupadas com a integração e o gerenciamento de análises de dados orientadas por IA no blockchain. Cada um serve a um propósito único, adaptado a diferentes aspectos do blockchain e da integração de IA.

As redes de agentes concentram-se principalmente em grandes modelos de linguagem (LLMs) e fornecem ferramentas de orquestração, como Langchain, para facilitar a integração desses agentes. Para os desenvolvedores, isso significa que não há necessidade de desenvolver seus próprios modelos de aprendizado de máquina do zero. Em vez disso, a complexidade do desenvolvimento e implantação do modelo é abstraída pela rede de inferência, permitindo-lhes simplesmente conectar agentes usando ferramentas e contextos apropriados. Na maioria dos casos, os usuários finais interagem diretamente com esses agentes, simplificando a experiência do usuário.


Por outro lado, a rede de inferência forma a espinha dorsal operacional da rede de agentes, concedendo aos desenvolvedores acesso de nível inferior. Ao contrário das redes de agentes, as redes de inferência não são utilizadas diretamente pelos usuários finais. Os desenvolvedores devem implantar seus modelos – que não estão limitados a LLMs – e podem acessar esses modelos por meio de pontos offchain ou onchain.


Curiosamente, as redes de agentes e as redes de inferência estão começando a convergir em alguns casos, com o surgimento de produtos verticalmente integrados que oferecem funcionalidades de agente e de inferência. Esta integração é lógica, pois ambas as funções partilham uma estrutura de infraestrutura semelhante.


Comparação de redes de inferência e de agentes:


Rede de Inferência

Rede de Agentes

Clientes alvo

Desenvolvedores

Usuários finais/desenvolvedores

Modelos Suportados

LLMs, redes neurais, modelos tradicionais de ML

Principalmente LLMs

A infraestrutura

Suporta diversos modelos

Suporta principalmente LLMs populares

Personalização

Ampla adaptabilidade do modelo

Configurável por meio de prompts e ferramentas

Projetos populares

Ritual, Valência

Rebanho, Myshell, Theoriq, Olas

Espaço para inovações do próximo gênio

À medida que nos aprofundamos no pipeline de desenvolvimento do modelo, surgem inúmeras oportunidades nos campos da web3:

  • Conjuntos de dados : transformar dados de blockchain em conjuntos de dados prontos para ML é crucial. Projetos como o Gizé estão progredindo ao fornecer conjuntos de dados de alta qualidade relacionados ao DeFi. No entanto, a criação de conjuntos de dados baseados em gráficos, que representam mais adequadamente as interações blockchain, ainda é uma área que precisa de desenvolvimento.
  • Armazenamento de modelo : para modelos grandes, armazenamento, distribuição e controle de versão eficientes são essenciais. Os inovadores neste espaço incluem Filecoin, AR e 0g.
  • Treinamento de modelos : O treinamento de modelos descentralizados e verificáveis continua sendo um desafio. Entidades como Gensyn, Bittensor e Flock estão fazendo avanços significativos.
  • Monitoramento : Uma infraestrutura eficaz é necessária para monitorar o uso do modelo fora e dentro da cadeia, ajudando os desenvolvedores a identificar e corrigir problemas ou preconceitos em seus modelos.
  • Infraestrutura RAG : Com a geração aumentada pelo Retriever, a demanda por armazenamento e computação privados e eficientes aumenta. Firstbatch e Bagel são exemplos de projetos que atendem a essas necessidades.
  • Modelos Web3 dedicados : modelos personalizados são essenciais para casos de uso específicos da Web3, como detecção de fraudes ou previsões de preços. Por exemplo, Pond está desenvolvendo redes neurais gráficas orientadas para blockchain (GNNs).
  • Redes de Avaliação : A proliferação de agentes necessita de mecanismos de avaliação robustos. Plataformas como a Neuronets são fundamentais no fornecimento de tais serviços.
  • Consenso : A Prova de Participação (PoS) tradicional pode não ser adequada para tarefas orientadas para IA devido à sua complexidade. A Bittensor, por exemplo, desenvolveu um modelo de consenso que recompensa os nós por contribuírem com insights valiosos de IA.

Perspectiva futura

A tendência para a integração vertical é evidente, onde as redes procuram fornecer soluções de ML abrangentes e multifuncionais a partir de uma única camada computacional. Esta abordagem promete uma solução simplificada e completa para desenvolvedores de ML Web3, impulsionando a integração de tecnologias de IA e blockchain.

A inferência na cadeia, embora ofereça verificabilidade excepcional e integração perfeita com sistemas de back-end, como contratos inteligentes, permanece cara e lenta. Prevejo uma abordagem híbrida no futuro. É provável que vejamos uma combinação em que algumas tarefas de inferência serão realizadas fora da cadeia, no frontend, para maior eficiência, enquanto tarefas de inferência críticas e centradas na decisão continuarão a ser realizadas na cadeia. Este paradigma já está em prática com dispositivos móveis. Aproveitando os recursos móveis, modelos menores são executados localmente para respostas rápidas, enquanto cálculos mais complexos são transferidos para a nuvem, aproveitando Modelos de Linguagem (LLMs) maiores.