Uniswap V3의 지능형 유동성 프로비저닝을 위한 세부 프레임워크

Uniswap V3의 유동성 프로비저닝은 잘 정의된 효용 함수를 통해 확률론적 최적 제어 문제를 제시합니다. 이 기사에서는 에이전트 기반 모델링과 강화 학습을 결합하여 지능형 유동성 프로비저닝을 위한 혁신적인 프레임워크를 소개합니다. 우리의 프레임워크는 유동성 프로비저닝 전략을 최적화하기 위한 강력하고 적응력이 뛰어난 솔루션을 제공합니다. Uniswap V3 모델은 실제 시장 상황을 모방하는 반면, ABM(에이전트 기반 모델)은 Uniswap V3 풀과 에이전트 상호 작용을 시뮬레이션하기 위한 환경을 만듭니다. DDPG(Deep deterministic Policy Gradient)를 사용하여 훈련된 강화 학습 에이전트는 최적의 전략을 학습하여 DeFi 참여를 향상시키는 데 있어 머신러닝의 잠재력을 보여줍니다. 이 접근 방식은 유동성 공급자의 수익성과 CFMM 시장에 대한 이해를 향상시키는 것을 목표로 합니다.

콘텐츠 개요

• 소개
• 지능형 유동성 프로비저닝 프레임워크
• 지능형 유동성 프로비저닝 프레임워크의 구성요소
• 에이전트 기반 시뮬레이터
• 강화 학습 모델
• 제한 사항
• 미래의 일
• 결론
• 자원
• 참고자료

소개

시장 조성에 관한 이전 기사 [시장 조성 메커니즘 및 전략] 에서 우리는 전통적인 금융 시장에서 시장 조성의 메커니즘과 전략을 탐구했습니다. 이러한 통찰력을 바탕으로 이 기사에서는 Uniswap V3의 맥락에서 지능형 유동성 프로비저닝을 위한 혁신적인 프레임워크를 소개합니다. 이전 연구에서 언급했듯이, 우리의 목표는 특히 지능형 유동성 프로비저닝 프레임워크의 개발을 통해 분산형 금융( DeFi) 의 시장 역학 및 유동성 관리에 대한 이해를 확장하는 것이었습니다.

탈중앙화 금융(DeFi)은 전 세계 사람들이 접근할 수 있는 혁신적인 금융 상품과 서비스를 선보이며 눈부신 성장을 거듭해 왔습니다. 이러한 혁신의 선두에 있는 Uniswap V3는 집중된 유동성 기능으로 유동성 공급에 혁명을 일으켰습니다. 그러나 이러한 발전은 유동성 공급자에게 복잡한 의사 결정 문제를 야기합니다. 이 기사에서는 이러한 문제를 해결하기 위해 설계된 포괄적인 프레임워크를 소개하고 유동성 프로비저닝 전략을 연구하고 최적화하기 위한 시뮬레이션 환경을 제공합니다.

우리의 프레임워크는 Uniswap V3 모델, ABM(에이전트 기반 모델) 및 강화 학습 에이전트의 세 가지 주요 구성 요소로 구성됩니다. Uniswap V3 모델은 풀 표현을 제공하여 토큰 및 풀과의 배포 및 상호 작용을 가능하게 합니다. ABM은 에이전트 상호 작용과 시장 역학을 시뮬레이션하여 전략 평가를 위한 풍부한 환경을 조성함으로써 복잡성을 도입합니다. 이 환경에서 작동하는 강화 학습 에이전트는 유동성 프로비저닝에서 최적의 성능을 목표로 전략을 학습하고 조정하기 위해 심층 결정론적 정책 그라데이션 접근 방식을 채택합니다.

본 연구에서는 Uniswap V3 환경 내에서 유동성을 자율적으로 관리하고 최적화하기 위해 강화학습(RL)을 활용한 지능형 유동성 공급(ILP) 메커니즘을 개발하는 것을 목표로 합니다. 이 메커니즘은 CFMM 시장의 복잡한 역학에 적응하면서 유동성 공급자의 선호도에 따라 획득 수수료, 비영구적 손실 및 기타 지표를 고려하여 효용 기능을 극대화하려고 합니다.

지능형 유동성 프로비저닝 프레임워크

RL 프레임워크에서 유동성 공급 문제는 MDP(Markov Decision Process)로 공식화됩니다. MDP는 상태(State), 행동(Action), 보상(Reward)으로 구성됩니다.

• 상태: 상태는 자산 가격, 거래량 및 기타 관련 변수를 포함한 현재 시장 상황을 나타냅니다.

  
  

• 조치: 조치는 유동성 할당 조정, 포트폴리오 재조정 등과 같이 유동성 공급자가 내린 결정에 해당합니다.

  
  

• 보상: 보상은 유동성 공급자의 목적 함수, 선호도 및 제약 조건을 기반으로 결과의 바람직성을 정량화합니다. 보상은 바람직한 결과(예: 높은 수익)에 대해 긍정적일 수 있고 바람직하지 않은 결과(예: 높은 위험 또는 저성과)에 대해서는 부정적일 수 있습니다.

  
  

• 목적 함수: 목적 함수는 유동성 공급자가 원하는 결과를 나타내며, 이는 수익 극대화, 위험 최소화 또는 둘 사이의 특정 절충 달성과 같은 요소의 조합일 수 있습니다. 제약 조건에는 유동성 할당, 자본 활용, 위험 허용 수준 또는 유동성 공급자가 정의한 기타 제한 사항에 대한 제한이 포함될 수 있습니다.

  
  

RL 교육은 에이전트가 피드백을 기반으로 정책을 지속적으로 업데이트하는 반복 프로세스입니다. 에이전트는 경험을 통해 학습하고 시간이 지남에 따라 의사결정을 개선하여 점차적으로 최적의 유동성 공급 전략으로 수렴됩니다.

RL 에이전트가 훈련되면 과거 데이터 또는 시뮬레이션 환경을 사용하여 테스트하고 평가하여 유동성 공급자의 목적 함수 및 제약 조건에 대한 성능을 평가할 수 있습니다. 에이전트의 성과는 수익, 위험 측정 또는 기타 관련 성과 지표와 같은 지표를 사용하여 측정할 수 있습니다.

RL 알고리즘을 적용함으로써 유동성 공급 메커니즘은 변화하는 시장 상황에 학습하고 적응할 수 있으며, 최적의 유동성 공급 전략을 식별하고, 유동성 공급자가 지정한 제약 조건과 선호도의 균형을 맞출 수 있습니다. RL은 다양한 트레이드오프와 제약 조건을 자율적이고 동적으로 고려하여 유동성 공급자의 목적 기능을 최대화하는 솔루션을 찾는 메커니즘을 가능하게 합니다.

지능형 유동성 프로비저닝 프레임워크의 구성요소

프레임워크는 세 가지 주요 구성 요소로 구성됩니다.

UniswapV3 모델

Python으로 구현된 Uniswap V3 모델은 Uniswap V3 프로토콜에 대한 상세하고 기능적인 시뮬레이션을 제공하여 미묘한 메커니즘을 포착하고 사용자에게 프로토콜과 상호 작용하기 위한 포괄적인 도구 세트를 제공합니다. UniswapV3_Model 클래스는 토큰 및 풀 배포를 처리하고 풀을 초기화하며 풀 작업 및 풀 상태 검색을 위한 인터페이스를 제공합니다.

개요

Uniswap 모델은 Uniswap V3의 핵심 메커니즘을 캡슐화하는 지능형 유동성 프로비저닝 프레임워크의 기초 역할을 합니다. 브라우니를 사용하여 로컬 Ganache 환경에 배포된 Uniswap의 V3-Core에서 컴파일된 스마트 계약을 활용하여 현실적이고 대화형 시뮬레이션을 만듭니다.

계약서 편집 및 배포

이 프레임워크는 스마트 계약을 위한 Python 기반 개발 및 테스트 프레임워크인 Brownie와 통합되어 Uniswap V3 스마트 계약을 컴파일하고 배포합니다. 그런 다음 이러한 계약은 로컬 Ganache 환경에 배포되어 테스트 및 개발을 위한 샌드박스를 제공합니다. 이 설정을 통해 사용자는 실제 자산이나 네트워크 트랜잭션 없이도 Uniswap 환경과 상호 작용할 수 있어 안전하고 통제된 실험 공간을 조성할 수 있습니다.

에이전트 기반 시뮬레이터

Tokenspice 에이전트 기반 시뮬레이터는 Uniswap V3 환경을 시뮬레이션하는 데 사용되며 에이전트 정책은 Uniswap 시장 참여자의 역학을 통합하도록 정의됩니다. 동적 Uniswap 환경을 시뮬레이션하기 위해 다양한 유형의 에이전트가 사용됩니다.

소개

ABM(Tokenspice Agent-Based Model)은 Uniswap V3 생태계 내 개별 에이전트의 작업과 상호 작용을 시뮬레이션합니다. ABM은 다양한 참가자의 복잡한 행동을 모델링함으로써 Uniswap V3 동적 환경의 포괄적인 인터페이스를 제공하여 유동성 프로비저닝 전략의 분석 및 최적화를 가능하게 합니다.

에이전트 유형 및 동작

ABM에는 Uniswap V3 생태계 내에서 특정 역할을 나타내는 다양한 에이전트 유형이 포함되어 있습니다. 두 가지 주요 에이전트는 유동성 공급자 에이전트와 Swapper 에이전트로, 각각 Uniswap 풀과 상호 작용하여 유동성을 제공하고 토큰 스왑을 수행합니다. 이러한 에이전트의 동작은 agents_policies.py 파일에 정의된 정책에 따라 결정되며 해당 에이전트의 동작이 실제 전략 및 시장 상황과 일치하도록 보장합니다.

• 유동성 공급자 에이전트: 이 에이전트는 Uniswap 풀에서 유동성을 추가하고 제거합니다. 이는 시장의 현재 상태와 에이전트의 선호도에 따라 조치를 지시하는 일련의 정책을 따릅니다.

  
  

• Swapper 에이전트: Swapper 에이전트는 Uniswap 풀 내에서 토큰 스왑을 수행하여 가격 불일치 및 차익거래 기회를 활용합니다. 그 행동은 거래 수수료와 미끄러짐을 고려하여 거래의 잠재적 수익성을 평가하는 정책에 따라 결정됩니다.

시뮬레이션 구성 및 실행

netlist.py 파일은 ABM의 핵심이며 에이전트가 서로 및 Uniswap 풀과 상호 작용하는 방식을 구성합니다. 이는 에이전트, 정책 및 시뮬레이션 환경 간의 관계를 정의합니다.

SimEngine.py , SimStateBase.py 및 SimStrategyBase.py 모듈은 시뮬레이션 실행을 위한 기본 요소를 제공합니다. SimEngine은 시뮬레이션을 조율하고 시간 흐름과 에이전트 작업 실행을 관리합니다. SimStateBase는 에이전트 보유, 풀 상태 및 기타 관련 변수에 대한 데이터를 저장하여 시뮬레이션의 현재 상태를 유지합니다. SimStrategyBase는 시뮬레이션 전반에 걸쳐 에이전트 행동을 안내하는 중요한 전략을 정의합니다.

강화 학습 모델

소개

강화 학습(RL) 에이전트는 에이전트 기반 모델인 Uniswap 모델을 통해 Uniswap V3 생태계와 상호 작용하도록 설계된 지능형 유동성 프로비저닝 프레임워크의 중추적인 구성 요소입니다. 이 섹션에서는 학습에 사용되는 RL 에이전트, 해당 환경 및 DDPG(Deep Deterministic Policy Gradient) 알고리즘을 자세히 살펴봅니다.

RL 에이전트 환경

RL 에이전트는 DeFi 시장을 시뮬레이션하기 위해 Uniswap 모델 및 에이전트 기반 모델과 인터페이스하는 사용자 정의 환경인 DiscreteSimpleEnv 에서 작동합니다. 이 환경은 Uniswap 풀과 에이전트의 상호 작용을 촉진하여 유동성을 추가 및 제거하고 해당 작업의 결과를 관찰할 수 있도록 합니다. RL 에이전트는 Uniswap 모델 및 ABM과 상호 작용하여 Uniswap V3에서 실제 유동성 프로비저닝을 시뮬레이션합니다. ABM에 정의된 정책 및 시뮬레이션 구성을 사용하여 유동성을 추가하거나 제거하는 조치를 선택하여 현실적인 상호 작용을 보장합니다.

• 상태 공간: 환경의 상태 공간에는 현재 가격, 유동성, 수수료 증가와 같은 다양한 시장 지표가 포함됩니다. 이러한 매개변수는 정규화되어 각 단계마다 에이전트에 제공됩니다.

  
  

• 행동 공간: 에이전트의 행동 공간은 Uniswap 풀에 유동성을 추가하기 위한 가격 범위를 나타내는 연속 값으로 구성됩니다. 이러한 작업은 Uniswap 풀과의 상호 작용으로 변환되어 환경 상태에 영향을 미칩니다.

  
  

• 보상 기능: 보상 기능은 RL 에이전트 교육에 중요합니다. 수수료 수입, 비영구적 손실, 포트폴리오 가치 및 잠재적 페널티를 고려하여 에이전트의 학습 프로세스를 안내하는 스칼라 보상 신호를 제공합니다.

  
  

DDPG 에이전트

DDPG 에이전트는 심층 함수 근사치를 사용하는 모델이 없고 정책을 벗어난 행위자 비평가 알고리즘입니다. 고차원 상태 공간과 연속 행동 공간을 처리할 수 있어 Uniswap V3 환경에 매우 적합합니다.

• 행위자 네트워크: 이 네트워크는 주어진 상태에서 가장 믿을 수 있는 행동을 제공하는 역할을 담당합니다. 여기에는 유동성 추가를 위한 가격 경계를 나타내는 에이전트 환경에서 원하는 범위로 조정되는 가격 하한 및 가격 상한 에 대한 상대 값을 출력하는 시그모이드 출력 레이어가 있습니다.
• 비평가 네트워크(Critic Network): 이 네트워크는 행동 가치 함수를 평가하여 주어진 상태에서 행동을 취할 때 예상되는 수익을 추정합니다.
• 타겟 네트워크: DDPG는 배우와 평론가 모두를 위한 타겟 네트워크를 사용하며, 이는 훈련 안정화를 위해 천천히 업데이트됩니다.
• 경험 재생: 이 기술은 과거 경험의 재생 버퍼를 저장하는 데 사용됩니다. 이를 통해 에이전트는 다양한 샘플 세트에서 학습하고 관찰의 상관 관계를 끊고 학습을 원활하게 할 수 있습니다.

Uniswap 모델 및 ABM과의 상호 작용

RL 에이전트는 Uniswap 모델과 에이전트 기반 모델을 활용하여 Uniswap V3에서 실제 유동성 프로비저닝을 시뮬레이션합니다. DiscreteSimpleEnv 통해 Uniswap 풀과 상호 작용하여 유동성을 추가하거나 제거하는 작업을 수행합니다. 에이전트의 정책과 시뮬레이션 구성은 ABM 구성 요소에 정의되어 현실적이고 일관된 동적 환경을 보장합니다.

• 에이전트 훈련 및 평가: 에이전트는 각각 다른 시장 시나리오(다른 풀)를 나타내는 일련의 에피소드를 통해 훈련됩니다. 에이전트의 성과는 유동성 공급과 관련된 위험을 최소화하면서 수익을 극대화하는 능력을 기준으로 평가됩니다. 강화학습(RL) 에이전트의 성능 평가를 통해 지능형 유동성 프로비저닝 프레임워크의 효율성을 평가합니다.

  
  

• 환경 설정: RL 에이전트를 평가하기 위해 기본 환경인 DiscreteSimpleEnvEval 확장하는 특수 평가 환경인 DiscreteSimpleEnv 을 설정했습니다. 이 환경은 에이전트 정책 평가에 맞게 조정되었습니다.

  
  

• 기준 에이전트: 평가 설정에서 RL 에이전트의 성능을 기준 에이전트의 성능과 비교합니다. 기준 에이전트의 조치는 유동성 풀의 현재 상태에 의존하는 기준 정책에 의해 결정됩니다. 이 에이전트는 RL 에이전트의 성능을 평가하기 위한 참조점을 제공하는 것을 목표로 합니다.

결과

훈련

평가

제한 사항

• 풀 동기화: 현재 프레임워크는 풀의 실시간 동기화를 완전히 캡처하지 못하므로 실제 Uniswap V3 역학 모델링에 불일치가 발생할 수 있습니다. 향후 작업은 더 나은 풀 동기화를 위한 메커니즘을 통합하고 잠재적으로 틱/위치 데이터 또는 이벤트를 활용하여 현실성을 향상시키는 데 중점을 두어야 합니다.

  
  

• 순진한 에이전트 정책: 현재 프레임워크에 사용되는 에이전트 정책은 상대적으로 단순하고 순진합니다. 보다 정확한 시뮬레이션을 달성하려면 향후 반복에서는 보다 포괄적인 에이전트 정책을 정의하는 것을 목표로 해야 합니다. 이러한 정책은 노이즈 거래자, 정보가 있는 거래자, 소매 유동성 공급자 및 기관 유동성 공급자와 같은 다양한 유형의 Uniswap 에이전트를 모델링할 수 있습니다. 또는 과거 풀 데이터에 대해 훈련된 통계 모델을 통해 에이전트 정책에 보다 현실적인 행동을 알릴 수 있습니다.

  
  

• 희박한 관찰 공간: 에이전트에게 제공되는 관찰 공간에는 풀 상태에 대한 포괄적인 정보가 부족합니다. 의사 결정 기능을 개선하려면 에이전트가 풀 상태에 대한 보다 포괄적인 이해를 제공하는 엔지니어링 기능과 함께 틱 및 위치 데이터를 향후 개선 사항에 포함해야 합니다.

  
  

• 제한된 행동 공간: 에이전트의 행동 공간은 현재 고정된 유동성 금액과 제한된 가격 범위로 인해 제한되어 있습니다. 유동성 제공에 더 많은 유연성을 허용하고 단계당 여러 위치를 고려하기 위해 행동 공간을 확장하면 시뮬레이션의 충실도를 향상시킬 수 있습니다.

  
  

미래의 일

에이전트 환경:

1. 동기화된 풀: Uniswap V3 환경에서 보다 현실적인 역학을 생성하기 위해 틱/위치 데이터 또는 이벤트를 사용하여 풀을 동기화하는 메커니즘을 구현합니다.

   
   

2. 하이퍼파라미터 튜닝: 배우/비평가 네트워크 아키텍처, 알파, 베타, 타우, 배치 크기, 단계, 에피소드, 스케일링 매개변수(보상, 행동, 관찰 공간)

   
   

3. 포괄적인 에이전트 정책: 다양한 Uniswap 에이전트를 정확하게 모델링하는 보다 정교한 분석 정책을 정의하거나 과거 풀 데이터에 대해 훈련된 통계 모델을 활용하여 에이전트 행동을 알립니다.

   
   

4. 유익한 관찰 공간: 틱 및 위치 데이터와 에이전트에게 풀 상태에 대한 포괄적인 보기를 제공하는 엔지니어 기능을 포함하여 관찰 공간을 향상합니다.

   
   

5. 향상된 보상 기능: 더 넓은 범위의 요소를 설명하는 향상된 보상 기능을 개발하여 보다 효과적인 에이전트 교육을 제공합니다.

   
   

6. 다중 위치: 각 단계마다 고정 예산이 있는 하나의 위치 대신 시뮬레이션 시작 시 에이전트에 예산이 한 번 할당된 다음 후속 단계에서 이 예산을 최적으로 사용하는 방법을 배우는 보다 포괄적인 메커니즘을 구현합니다.

   
   

7. 기준 정책: RL 에이전트의 성능을 평가하기 위해 보다 포괄적인 기준 정책을 정의합니다.

에이전트 알고리즘

• 하이퍼파라미터 튜닝: 더 나은 훈련 성능을 위해 강화 학습 에이전트의 하이퍼파라미터를 더욱 구체화하고 최적화합니다.

  
  

• 다른 RL 에이전트를 사용한 실험: PPO(Proximal Policy Optimization) 또는 SAC(Soft Actor-Critic)와 같은 대체 RL 에이전트 모델을 탐색하여 특정 시나리오에서 이점을 제공하는지 확인합니다.

  
  

• MARL(다중 에이전트 RL): 여러 유동성 공급자 및 스와퍼 간의 상호 작용을 모델링하는 데 도움이 될 수 있는 다중 에이전트 강화 학습 기술의 적용을 조사합니다.

  
  

• 온라인 학습: 에이전트가 실시간으로 변화하는 시장 상황에 적응할 수 있도록 하는 온라인 학습 전략을 구현하여 보다 역동적이고 적응력이 뛰어난 유동성 프로비저닝 솔루션을 제공합니다.

결론

빠르게 진화하는 탈중앙화 금융(DeFi) 환경에서 유동성 프로비저닝은 효율적이고 안전한 거래를 가능하게 하는 데 중추적인 역할을 합니다. 혁신적인 집중 유동성 기능을 갖춘 Uniswap V3는 DeFi 유동성 관리에서 가능한 것의 경계를 넓혔습니다. 그러나 이 역동적인 생태계 내에서 유동성 공급 전략을 최적화하는 복잡성에는 혁신적인 솔루션이 필요합니다.

우리의 지능형 유동성 프로비저닝 프레임워크는 이러한 문제를 해결하는 데 있어서 중요한 진전을 나타냅니다. 에이전트 기반 모델링과 강화 학습을 결합하여 유동성 공급자와 시장 참여자를 위한 강력한 툴킷을 만들었습니다. 이 프레임워크는 획득 수수료, 비영구적 손실 완화 및 개인 선호도에 맞춘 기타 지표를 포함하는 효용 기능 극대화에 중점을 두고 유동성 프로비저닝 전략을 최적화하기 위한 강력하고 적응력 있는 솔루션을 제공합니다.

자원

참고자료

1. https://kth.diva-portal.org/smash/get/diva2:1695877/FULLTEXT01.pdf
2. https://arxiv.org/pdf/2305.15821.pdf
3. https://github.com/KodAgge/Reinforcement-Learning-for-Market-Making/tree/main
4. https://arxiv.org/ftp/arxiv/papers/2211/2211.01346.pdf
5. https://arxiv.org/pdf/2004.06985.pdf
6. https://ieeeexplore.ieee.org/stamp/stamp.jsp?arnumber=9682687
7. https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0277042
8. https://deliverypdf.ssrn.com/delivery.php?ID=1041190981020260141200720840141070070420680690030490201260880250871211151030070840280420130550350090000 54122074096068089064070102052026003014069082076098016080066026088066039027093020006122067093104092065070020126069068106118079 127088008098077106031120&EXT=pdf&INDEX=TRUE
9. https://medium.com/blockapex/market-making-mechanics-and-strategies-4daf2122121c
10. https://www.gauntlet.xyz/resources/uniswap-user-cohort-analytic
11. https://gov.uniswap.org/t/uniswap-incentive-design-analytic/21662
12. https://arxiv.org/pdf/2108.07806.pdf
13. https://www.researchgate.net/publication/341848292_Market_makers_activity_behavioural_and_agent_based_approach
14. https://fruct.org/publications/volume-29/fruct29/files/Struc.pdf
15. https://www.arxiv-vanity.com/papers/1911.03380/
16. https://insights.glassnode.com/the-week-onchain-week-31-2023/