paint-brush
혼잡한 AI 공간에는 아직 천재가 한 명 더 들어갈 여지가 있습니다~에 의해@glaze
580 판독값
580 판독값

혼잡한 AI 공간에는 아직 천재가 한 명 더 들어갈 여지가 있습니다

~에 의해 Glaze11m2024/07/15
Read on Terminal Reader

너무 오래; 읽다

이 연구는 해당 분야의 개발자와 관련된 AI의 중요한 영역을 밝히고자 합니다. Web3와 AI 기술의 융합에서 잠재적인 기회를 탐구합니다. 이 연구는 Upshot의 Zhenyang, Ashehot, Neuronets의 Fran, Valence의 Matt, Pond의 Dylan이 수행했습니다.
featured image - 혼잡한 AI 공간에는 아직 천재가 한 명 더 들어갈 여지가 있습니다
Glaze HackerNoon profile picture
0-item

Upshot의 Zhenyang, Giza의 Fran, Neuronets의 Ashely, Valence의 Matt, Pond의 Dylan의 소중한 의견과 피드백에 감사드립니다.

이 연구는 해당 분야의 개발자와 관련된 AI의 중요한 영역을 밝히고 Web3와 AI 기술의 융합에서 잠재적인 급성장 기회를 탐색하는 것을 목표로 합니다.

TL;DR

AI 중심 분산 애플리케이션(DApp)의 현재 발전은 몇 가지 도구 및 개념을 조명합니다.

  • 분산형 OpenAI 액세스, GPU 네트워크: AI의 광범위하고 빠른 성장은 광범위한 애플리케이션 잠재력과 결합되어 한때 비트코인 채굴보다 훨씬 더 뜨거운 분야가 되었습니다. 이러한 성장은 다양한 GPU 모델의 필요성과 전략적 지리적 분포에 의해 뒷받침됩니다.
  • 추론 및 에이전트 네트워크: 이러한 네트워크는 유사한 인프라를 공유하지만 초점이 다릅니다. 추론 네트워크는 주로 LLM이 아닌 모델에 고급 GPU를 요구하지 않고 모델 배포를 위해 숙련된 개발자를 대상으로 합니다. 반대로 LLM 중심의 에이전트 네트워크에서는 개발자가 신속한 엔지니어링과 다양한 에이전트의 통합에 집중해야 하므로 항상 고급 GPU를 사용해야 합니다.
  • AI 인프라 프로젝트: 이 프로젝트는 지속적으로 발전하여 미래 애플리케이션을 위한 새로운 기능과 향상된 기능을 제공합니다.
  • 암호화폐 기반 프로젝트: 이들 중 다수는 아직 테스트넷 단계에 있으며 안정성 문제, 복잡한 설정 및 제한된 기능에 직면해 있으며 보안 및 개인 정보 보호 자격 증명을 확립하는 데 시간이 걸립니다.
  • 발견되지 않은 영역: AI DApp이 시장에 큰 영향을 미칠 것이라고 가정하면 모니터링, RAG 관련 인프라, Web3 기본 모델, 암호화 기본 API 및 데이터를 갖춘 분산형 에이전트, 평가 네트워크를 포함한 여러 영역은 아직 탐구되지 않은 상태로 남아 있습니다.
  • 수직적 통합 동향: 인프라 프로젝트는 AI DApp 개발자를 위한 포괄적인 원스톱 솔루션을 제공하는 것을 점점 더 목표로 삼고 있습니다.
  • 하이브리드 미래 예측: 미래에는 온체인 계산과 함께 프런트엔드 추론이 혼합되어 비용 고려 사항과 검증 가능성의 균형이 유지될 가능성이 높습니다.

Web3 x AI 소개

Web3와 AI의 융합은 개발자들이 암호화폐 도메인에 맞춤화된 AI 인프라를 엄격하게 탐색함에 따라 암호화폐 분야에서 엄청난 관심을 불러일으키고 있습니다. 목표는 데이터 처리, 모델 정밀도, 계산 요구 사항, 배포 복잡성 및 블록체인 통합에 세심한 주의가 필요한 정교한 인텔리전스 기능을 스마트 계약에 부여하는 것입니다.


Web3 개척자들이 고안한 초기 솔루션에는 다음이 포함됩니다.

  • 향상된 GPU 네트워크
  • 전용 암호화 데이터 및 커뮤니티 데이터 라벨링
  • 커뮤니티 교육을 받은 모델링
  • 검증 가능한 AI 추론 및 훈련 프로세스
  • 종합 에이전트 매장


급성장하는 인프라에도 불구하고 DApp의 실제 AI 적용은 여전히 제한적입니다. 일반적인 튜토리얼은 블록체인의 고유한 분산화 및 검증 기능을 완전히 활용하지 않고 프런트엔드 환경 내에서 기본적인 OpenAI API 상호 작용을 설명하는 표면적인 부분만 설명합니다.

환경이 발전함에 따라 우리는 앞으로 몇 달 동안 테스트넷에서 전체 운영 상태로 전환되는 많은 암호화폐 기반 AI 인프라를 통해 상당한 발전을 기대합니다.


이러한 역동적인 맥락에서 우리의 탐구는 암호화 기반 AI 인프라에서 사용할 수 있는 도구 무기고를 조사하여 개발자가 암호화폐 영역의 획기적인 GPT-3.5 순간과 유사한 임박한 발전을 준비할 것입니다.

RedPill: 분산형 AI 강화

GPT-4-vision, GPT-4-turbo 및 GPT-4o와 같은 OpenAI의 강력한 모델을 활용하면 최첨단 AI DApp 개발을 목표로 하는 사람들에게 강력한 이점을 제공합니다. 이러한 강력한 도구는 급성장하는 AI x Web3 환경 내에서 고급 애플리케이션과 솔루션을 개척하는 데 필요한 기본 기능을 제공합니다.

OpenAI를 분산형 애플리케이션(dApp)에 통합하는 것은 오라클이나 프런트엔드에서 OpenAI API를 호출할 수 있는 개발자들 사이에서 인기 있는 주제입니다. RedPill은 집계된 API 서비스를 제공하여 최고의 AI 모델에 대한 액세스를 민주화하므로 이러한 통합의 최전선에 있습니다. 이 서비스는 다양한 OpenAI API 기여를 통합하여 한 지붕 아래에 제공함으로써 OpenAI에서 일반적으로 발생하는 제약 없이 경제성 향상, 속도 향상 및 포괄적인 글로벌 액세스와 같은 이점을 제공합니다.


제한된 TPM(분당 토큰) 또는 지리적 경계로 인한 제한된 모델 액세스와 같이 암호화폐 개발자가 자주 직면하는 본질적인 문제는 심각한 장애물로 이어질 수 있습니다. RedPill은 개발자의 요청을 네트워크 내의 개별 기여자에게 라우팅하여 OpenAI의 직접적인 제한을 효과적으로 우회함으로써 이러한 문제를 정면으로 해결합니다. 아래 표에는 RedPill과 OpenAI 간의 기능과 비용의 뚜렷한 차이점이 요약되어 있습니다.


레드필

오픈AI

TPM

제한 없는

대부분의 사용자는 30,000 - 450,000

가격

요청 1,000만 건당 5달러 및 토큰 인센티브

요청 1천만 건당 5달러

RPM(분당 요청)

제한 없는

대부분의 사용자는 500 - 5,000


GPU 네트워크

OpenAI API를 활용하는 것 외에도 개발자는 분산형 GPU 네트워크에서 모델을 호스팅하고 실행할 수 있습니다. io.net , Aethir 및 Akash와 같은 인기 있는 플랫폼을 통해 개발자는 GPU 클러스터를 생성 및 관리하여 독점 모델이든 오픈 소스 모델이든 가장 영향력 있는 모델을 배포할 수 있습니다.


이러한 분산형 GPU 네트워크는 개별 기여자 또는 소규모 데이터 센터의 컴퓨팅 성능을 활용하여 다양한 시스템 사양, 더 많은 서버 위치 및 저렴한 비용을 보장합니다. 이 독특한 구조는 개발자가 관리 가능한 예산 내에서 야심찬 AI 실험을 수행할 수 있도록 지원합니다. 그러나 분산형 특성으로 인해 다음 비교에서 볼 수 있듯이 기능이 제한되고 가동 시간 안정성 및 데이터 개인 정보 보호가 제한될 수 있습니다.


GPU 네트워크

중앙 집중식 GPU 제공업체

SLA(가동 시간)

변하기 쉬운

99.99%+

통합 및 자동화 SDK

제한된

사용 가능

보관 서비스

제한된

포괄적(백업, 파일, 객체, 블록 스토리지 및 복구 전략)

데이터베이스 서비스

제한된

폭넓게 활용 가능한

ID 및 액세스 관리

제한된

사용 가능

방화벽

제한된

사용 가능

모니터링/관리/경보 서비스

제한된

사용 가능

GDPR, CCPA(데이터 개인정보 보호) 준수

제한된

부분적인 준수

최근 GPU 네트워크에 대한 관심이 급증하면서 비트코인 채굴 열풍도 잠식되었습니다. 이 현상에 영향을 미치는 몇 가지 핵심 요소는 다음과 같습니다.


  • 다양한 대상 : 주로 투기꾼을 끌어 모은 비트코인 채굴과 달리 GPU 네트워크는 더 광범위하고 충성도가 높은 AI 개발자 기반에 어필합니다.
  • 유연한 하드웨어 요구 사항 : AI 애플리케이션은 작업의 복잡성에 따라 다양한 GPU 사양을 요구하므로 최종 사용자와의 근접성 및 낮은 대기 시간 문제로 인해 분산형 네트워크가 유리합니다.
  • 첨단 기술 : 이러한 네트워크는 블록체인 기술, 가상화 및 컴퓨팅 클러스터의 혁신을 활용하여 효율성과 확장성을 향상시킵니다.
  • 더 높은 수익률 잠재력 : GPU 기반 AI 계산의 ROI는 비트코인 채굴의 경쟁적이고 제한적인 특성에 비해 상당히 높을 수 있습니다.
  • 산업 채택 : 주요 광산 회사는 관련성을 유지하고 성장하는 시장에 진출하기 위해 AI 전용 GPU 모델을 포함하도록 운영을 다각화하고 있습니다.


AI 및 분산형 컴퓨팅 환경이 계속 발전함에 따라 RedPill 및 분산형 GPU 네트워크와 같은 도구는 개발자가 기존 장벽을 극복하고 AI 개발에서 새로운 가능성을 열어주는 방법에 혁명을 일으키고 있습니다.

권장 사항 : io.net은 특히 Web2 개발자에게 적합한 간단한 사용자 경험을 제공합니다. SLA(서비스 수준 계약)가 유연하다면 io.net이 예산 친화적인 옵션이 될 수 있습니다.

추론 네트워크

추론 네트워크는 데이터를 처리하고 지능적인 예측 또는 결정을 내리는 데 있어 AI 모델을 지원하도록 설계된 암호화 네이티브 AI 인프라의 백본을 형성합니다. 앞으로는 수십억 건의 AI 추론 작업을 처리할 준비가 되어 있습니다. 많은 블록체인 레이어(레이어 1 또는 레이어 2)는 이미 개발자가 체인에서 직접 AI 추론 작업을 호출할 수 있는 기능을 제공합니다. 이 시장의 리더로는 Ritual, Vanna 및 Fetch.ai 와 같은 플랫폼이 있습니다.


이러한 네트워크는 성능(지연 시간, 계산 시간), 지원되는 모델, 검증 가능성, 가격(소비 및 추론 비용)은 물론 전반적인 개발자 경험을 포함한 여러 요소에 따라 달라집니다.

목표

이상적인 시나리오에서 개발자는 다양한 증명에 대한 포괄적인 지원과 최소한의 통합 노력을 통해 맞춤형 AI 추론 기능을 모든 애플리케이션에 원활하게 통합할 수 있어야 합니다.


추론 네트워크는 주문형 증명 생성 및 검증, 추론 계산, 추론 릴레이, Web2 및 Web3 엔드포인트, 원클릭 모델 배포, 모니터링, 체인 간 상호 운용성, 통합 동기화 등 개발자에게 필요한 모든 필수 인프라 요소를 제공합니다. 예정된 실행.



이러한 기능을 통해 개발자는 추론을 블록체인 프로젝트에 쉽게 통합할 수 있습니다. 예를 들어, 탈중앙화 금융(DeFi) 거래 봇을 개발할 때 기계 학습 모델을 사용하여 거래 쌍의 매수 및 매도 기회를 식별하고 Base DEX에서 전략을 실행할 수 있습니다.


이상적으로는 모든 인프라가 클라우드에 호스팅되어 개발자가 Torch와 같은 널리 사용되는 형식으로 모델 전략을 업로드하고 저장할 수 있습니다. 추론 네트워크는 Web2 및 Web3 쿼리에 대한 모델의 저장과 제공을 모두 처리합니다.


모델 배포가 완료되면 개발자는 Web3 API 요청을 통해 또는 스마트 계약을 통해 직접 모델 추론을 실행할 수 있습니다. 추론 네트워크는 지속적으로 거래 전략을 실행하고 결과를 기본 스마트 계약에 다시 공급합니다. 상당한 규모의 커뮤니티 자금을 관리하는 경우 추론의 정확성을 입증하는 것이 필요할 수 있습니다. 추론 결과를 수신하면 스마트 계약은 해당 결과를 기반으로 자동으로 거래를 실행합니다.


비동기화와 동기화

비동기 실행은 이론적으로 더 나은 성능을 제공할 수 있지만 개발자 환경을 복잡하게 만들 수 있습니다.


비동기식 모델에서 개발자는 처음에 스마트 계약을 통해 추론 네트워크에 작업을 제출합니다. 작업이 완료되면 네트워크의 스마트 계약이 결과를 반환합니다. 이는 프로그래밍을 추론 호출과 결과 처리의 두 단계로 나눕니다.



이러한 분리는 특히 중첩된 추론 호출이나 광범위한 논리 처리의 경우 복잡성을 초래할 수 있습니다.



더욱이 비동기식 모델은 기존 스마트 계약과 통합하기 어려울 수 있으며 추가 코딩, 광범위한 오류 처리 및 추가 종속성이 필요할 수 있습니다.

동기화는 일반적으로 개발자가 구현하기가 더 간단하지만 대기 시간 및 블록체인 설계와 관련된 문제가 발생합니다. 예를 들어, 블록타임이나 시장 가격 등 급변하는 입력 데이터를 처리하는 경우 처리가 완료될 때쯤에는 해당 데이터가 오래된 데이터가 될 수 있습니다. 이 시나리오에서는 특히 오래된 가격을 기반으로 교환과 같은 작업을 수행할 때 스마트 계약 실행이 롤백될 수 있습니다.



Valence는 비동기식으로 작동하는 AI 인프라에 중점을 두어 이러한 과제를 해결하고 있습니다.

현실

현재 환경에서 Ritual Network와 같은 대부분의 새로운 추론 네트워크는 여전히 테스트 단계를 거치고 있으며 공개 문서에 따라 제한된 기능을 제공합니다. 온체인 AI 계산을 위한 클라우드 인프라를 제공하는 대신 자체 호스팅 AI 계산을 위한 프레임워크를 지원하고 결과를 블록체인에 전달합니다.


AIGC NFT를 실행하는 데 사용되는 일반적인 아키텍처는 다음과 같습니다. 확산 모델은 NFT를 생성하여 Arweave에 업로드합니다. 그런 다음 추론 네트워크는 Arweave 주소를 수신하고 온체인 NFT 발행을 진행합니다.



이 모델에서는 개발자가 맞춤형 서비스 로직, 안정적인 확산 노드 및 NFT 스마트 계약을 갖춘 의식 노드 관리를 포함하여 대부분의 인프라를 독립적으로 배포하고 호스팅해야 합니다.


권장 사항 : 현재 추론 네트워크는 사용자 정의 모델을 통합하고 배포하기가 복잡합니다. 많은 기업이 이 단계에서 검증 가능성을 제공하지 않기 때문에 프런트엔드에 AI를 배포하는 것이 개발자에게 더 간단한 옵션이 될 수 있습니다. 검증 가능성이 필요한 사람들을 위해 Zero Knowledge Machine Learning 제공업체인 Giza가 유망한 대안을 제공합니다.

에이전트 네트워크

에이전트 네트워크는 사용자를 위한 에이전트 사용자 정의를 단순화합니다. 이러한 네트워크는 작업을 실행하고 서로 및 블록체인과 자동으로 상호 작용할 수 있는 자율 엔터티 또는 스마트 계약으로 구성됩니다. 그들은 현재 이더리움을 이해하기 위해 특별히 설계된 GPT 챗봇과 같은 대규모 언어 모델(LLM)에 더 중점을 두고 있습니다. 그러나 이러한 챗봇은 현재 용량이 제한되어 있어 개발자가 그 위에 복잡한 애플리케이션을 구축하는 데 제한이 있습니다.



앞으로 에이전트 네트워크는 에이전트에 외부 API 액세스 및 실행 기능을 포함한 고급 도구를 제공하여 기능을 향상시킬 준비가 되어 있습니다. 개발자는 협력을 촉진하기 위한 프롬프트와 컨텍스트를 사용하여 프로토콜 설계, Solidity 개발, 코드 보안 검토 및 계약 배포에 중점을 둔 여러 전문 에이전트를 연결함으로써 워크플로를 조율할 수 있습니다.



에이전트 네트워크의 예로는 Flock.ai , Myshell 및 Theoriq이 있습니다.


권장 사항 : 현재 에이전트 기술은 계속 발전하고 있으며 기능이 제한되어 있으므로 개발자는 Web2 공간에서 Langchain 또는 Llamaindex와 같은 보다 성숙한 오케스트레이션 도구를 자신의 요구에 더 효과적으로 찾을 수 있습니다.

에이전트 네트워크와 추론 네트워크의 차이점

에이전트 네트워크와 추론 네트워크는 모두 블록체인의 기능과 상호 작용을 향상시키는 역할을 하지만 핵심 기능과 운영 초점은 크게 다릅니다. 에이전트 네트워크는 상호 작용을 자동화하고 자율 에이전트를 통해 스마트 계약의 유용성을 확장하는 데 맞춰져 있습니다. 이와 대조적으로 추론 네트워크는 주로 블록체인에서 AI 기반 데이터 분석을 통합하고 관리하는 데 관심이 있습니다. 각각은 블록체인 및 AI 통합의 다양한 측면에 맞춰진 고유한 목적을 제공합니다.

에이전트 네트워크는 주로 LLM(대형 언어 모델)에 중점을 두고 있으며 이러한 에이전트의 통합을 촉진하기 위해 Langchain과 같은 조정 도구를 제공합니다. 개발자의 경우 이는 처음부터 자체 기계 학습 모델을 개발할 필요가 없음을 의미합니다. 대신, 추론 네트워크를 통해 모델 개발 및 배포의 복잡성이 추상화되어 적절한 도구와 컨텍스트를 사용하여 에이전트를 간단히 연결할 수 있습니다. 대부분의 경우 최종 사용자는 이러한 에이전트와 직접 상호 작용하여 사용자 경험을 단순화합니다.


반대로 추론 네트워크는 에이전트 네트워크의 운영 백본을 형성하여 개발자에게 낮은 수준의 액세스 권한을 부여합니다. 에이전트 네트워크와 달리 추론 네트워크는 최종 사용자가 직접 활용하지 않습니다. 개발자는 LLM에 국한되지 않는 모델을 배포해야 하며 오프체인 또는 온체인 포인트를 통해 이러한 모델에 액세스할 수 있습니다.


흥미롭게도 에이전트 네트워크와 추론 네트워크는 에이전트와 추론 기능을 모두 제공하는 수직 통합 제품이 등장하면서 어떤 경우에는 수렴되기 시작했습니다. 두 기능 모두 유사한 인프라 백본을 공유하므로 이러한 통합은 논리적입니다.


추론과 에이전트 네트워크의 비교:


추론 네트워크

에이전트 네트워크

대상 고객

개발자

최종 사용자/개발자

지원되는 모델

LLM, 신경망, 기존 ML 모델

주로 LLM

하부 구조

다양한 모델 지원

주로 인기 있는 LLM을 지원합니다.

맞춤화 가능성

광범위한 모델 적응성

프롬프트 및 도구를 통해 구성 가능

인기 프로젝트

의식, 베일런스

무리, Myshell, Theoriq, Olas

차세대 천재 혁신을 위한 공간

모델 개발 파이프라인을 더 깊이 파고들면서 web3 분야에서 수많은 기회가 나타납니다.

  • 데이터 세트 : 블록체인 데이터를 ML 지원 데이터 세트로 변환하는 것이 중요합니다. Giza와 같은 프로젝트는 고품질 DeFi 관련 데이터 세트를 제공함으로써 발전을 이루고 있습니다. 그러나 블록체인 상호 작용을 보다 적절하게 나타내는 그래프 기반 데이터 세트의 생성은 여전히 개발이 필요한 영역입니다.
  • 모델 저장 : 대규모 모델의 경우 효율적인 저장, 배포, 버전 관리가 필수적입니다. 이 분야의 혁신가로는 Filecoin, AR 및 0g가 있습니다.
  • 모델 훈련 : 분산화되고 검증 가능한 모델 훈련은 여전히 어려운 과제입니다. Gensyn, Bittensor 및 Flock과 같은 기업은 상당한 발전을 이루고 있습니다.
  • 모니터링 : 오프체인 및 온체인 모델 사용을 모니터링하여 개발자가 모델의 문제나 편견을 식별하고 수정할 수 있도록 효과적인 인프라가 필요합니다.
  • RAG 인프라 : 리트리버 증강 생성을 통해 개인적이고 효율적인 스토리지 및 컴퓨팅에 대한 수요가 증가합니다. Firstbatch와 Bagel은 이러한 요구 사항을 해결하는 프로젝트의 예입니다.
  • 전용 Web3 모델 : 맞춤형 모델은 사기 탐지 또는 가격 예측과 같은 특정 Web3 사용 사례에 필수적입니다. 예를 들어 Pond는 블록체인 기반 그래프 신경망(GNN)을 개발하고 있습니다.
  • 평가 네트워크 : 에이전트의 확산에는 강력한 평가 메커니즘이 필요합니다. Neuronets와 같은 플랫폼은 이러한 서비스를 제공하는 데 중추적입니다.
  • 합의 : 기존 지분 증명(PoS)은 복잡성으로 인해 AI 기반 작업에 적합하지 않을 수 있습니다. 예를 들어 Bittensor는 귀중한 AI 통찰력을 제공한 노드에 보상하는 합의 모델을 개발했습니다.

미래 전망

네트워크가 단일 계산 계층에서 포괄적인 다기능 ML 솔루션을 제공하려고 하는 수직적 통합을 향한 추세는 분명합니다. 이 접근 방식은 Web3 ML 개발자를 위한 간소화된 올인원 솔루션을 약속하며 AI와 블록체인 기술의 통합을 촉진합니다.

온체인 추론은 뛰어난 검증 가능성과 스마트 계약과 같은 백엔드 시스템과의 원활한 통합을 제공하지만 여전히 비용이 많이 들고 느립니다. 나는 미래에 하이브리드 접근 방식을 구상하고 있습니다. 일부 추론 작업은 효율성을 위해 오프체인, 프런트엔드에서 수행되는 반면, 중요한 의사결정 중심 추론 작업은 계속해서 온체인에서 처리되는 혼합을 볼 수 있습니다. 이 패러다임은 이미 모바일 장치에서 실행되고 있습니다. 모바일 기능을 활용하여 더 작은 모델은 빠른 응답을 위해 로컬에서 실행되는 반면 더 복잡한 계산은 더 큰 언어 모델(LLM)을 활용하여 클라우드로 오프로드됩니다.