양적 금융 거래를 자동화하기 위한 심층 강화 학습 프레임워크

링크 표

초록 및 서론 1편

2 관련 연구 및 2.1 심층 강화 학습 알고리즘

2.2 심층 강화 학습 라이브러리 및 2.3 금융 분야의 심층 강화 학습

3 제안된 FinRL 프레임워크 및 3.1 FinRL 프레임워크 개요

3.2 애플리케이션 계층

3.3 에이전트 계층

3.4 환경 계층

3.5 훈련-테스트-거래 파이프라인

4가지 실습 튜토리얼과 벤치마크 성능, 4.1 백테스팅 모듈

4.2 기본 전략 및 거래 지표

4.3 실습 튜토리얼

4.4 사용 사례 I: 주식 거래

4.5 사용 사례 II: 포트폴리오 할당 및 4.6 사용 사례 III: 암호화폐 거래

5 FinRL 생태계와 결론 및 참고자료

추상적인

심층 강화 학습(DRL)은 양적 금융 분야에서 경쟁력을 갖출 것으로 예상되었습니다. 그러나 오류가 발생하기 쉬운 프로그래밍과 힘든 디버깅으로 인해 퀀트 트레이더가 자동으로 시장에서 승리할 수 있는 에이전트, 즉 거래 위치, 가격 및 수량을 결정하는 에이전트를 얻으려면 가파른 개발 곡선이 있습니다. 본 논문에서는 양적 거래자가 가파른 학습 곡선을 극복하는 데 도움이 되는 전체 파이프라인으로 최초의 오픈 소스 프레임워크인 FinRL을 제시합니다. FinRL은 핵심 원칙, 풀스택 프레임워크, 사용자 정의, 재현성 및 실습 교육을 바탕으로 단순성, 적용성 및 확장성을 갖추고 있습니다.

모듈식 구조의 3계층 아키텍처로 구현된 FinRL은 미세 조정된 최첨단 DRL 알고리즘과 공통 보상 기능을 구현하는 동시에 디버깅 작업 부하를 완화합니다. 따라서 우리는 사용자가 높은 회전율로 전략 설계를 파이프라인할 수 있도록 돕습니다. 여러 수준의 시간 세분화에서 FinRL은 과거 데이터와 실시간 거래 API를 사용하여 다양한 시장을 교육 환경으로 시뮬레이션합니다. 확장성이 뛰어난 FinRL은 일련의 사용자 가져오기 인터페이스를 보유하고 시장 마찰, 시장 유동성 및 투자자의 위험 회피와 같은 거래 제약 조건을 통합합니다. 또한, 실무자의 디딤돌 역할을 하는 주식 매매, 포트폴리오 배분, 암호화폐 매매 등 일반적인 매매 업무를 단계별 튜토리얼로 제공합니다.

1. 소개

탐사(미지의 영역)와 활용(현재 지식)의 균형을 맞추는 심층 강화 학습(DRL)은 양적 금융 거래를 자동화하기 위한 유망한 접근 방식입니다[50][51][47][54][21][13 ]. DRL 알고리즘은 알 수 없는 환경과의 상호 작용을 통해 학습함으로써 동적 의사 결정 문제를 해결하는 데 강력하며 포트폴리오 확장성과 시장 모델 독립성이라는 두 가지 주요 이점을 제공합니다[6]. 정량 금융에서 알고리즘 거래는 본질적으로 매우 확률적이고 복잡한 금융 시장에서 거래할 위치, 가격 및 수량을 결정하는 역동적인 결정을 내리는 것입니다. 그림 1에서 볼 수 있듯이 많은 금융 요소를 통합하여 DRL 거래 에이전트는 자동으로 거래할 수 있는 다중 요소 모델을 구축하는데, 이는 인간 거래자가 달성하기 어렵습니다[4, 53]. 따라서 DRL은 양적금융 분야에서 경쟁력을 갖출 것으로 구상됐다.

많은 기존 연구에서 정량적 재무 업무에 DRL을 적용했습니다. 연구원과 업계 실무자 모두 DRL을 활용하여 거래 전략을 적극적으로 설계하고 있습니다. 심층 신경망은 특정 상태에서 특정 조치를 취할 때 예상되는 수익을 추정하는 데 매우 강력하기 때문입니다. Moody와 Saffell[33]은 주식 거래에 대한 정책 검색을 활용했습니다. Deng et al. [9]는 DRL이 기존 방법보다 더 많은 이익을 얻을 수 있음을 보여주었습니다. 더 많은 응용 분야에는 주식 거래[35, 47, 51, 54], 선물 계약[54], 대체 데이터(뉴스 감정)[22, 35], 고주파 거래[15], 청산 전략 분석[3] 및 헤징[ 6]. DRL은 자동화된 거래, 포트폴리오 할당, 시장 조성 등 암호화폐 시장에서도 활발히 활용되고 있습니다.

그러나 DRL 거래 전략을 설계하는 것은 쉽지 않습니다. 프로그래밍은 지루한 디버깅으로 인해 오류가 발생하기 쉽습니다. 개발 파이프라인에는 시장 데이터 전처리, 교육 환경 구축, 거래 상태 관리, 거래 성과 백테스트가 포함됩니다. 이러한 단계는 구현을 위한 표준이지만 특히 초보자에게는 시간이 많이 걸립니다. 따라서 연구원과 퀀트 트레이더가 가파른 학습 곡선을 극복할 수 있도록 돕는 오픈 소스 라이브러리에 대한 요구가 시급합니다.

본 논문에서는 연구자와 퀀트 트레이더가 높은 회전율로 전략을 반복할 수 있도록 자동으로 거래 전략 개발을 간소화하는 FinRL 프레임워크를 제시합니다. 사용자는 데이터 API 선택, DRL 알고리즘 등 구성을 지정하고 거래 결과의 성과를 분석합니다. 이를 달성하기 위해 FinRL은 3계층 프레임워크를 도입합니다. 하단에는 종가, 주가, 거래량, 기술지표 등 실제 과거 데이터를 활용해 금융시장을 시뮬레이션하는 환경 레이어가 있다. 중간에는 미세 조정된 DRL 알고리즘과 일반적인 보상 기능을 구현하는 에이전트 레이어가 있습니다. 에이전트는 상태 공간과 행동 공간에서 적절하게 정의된 보상 기능을 통해 환경과 상호 작용합니다. 최상위 계층에는 주식 거래, 포트폴리오 할당, 암호화폐 거래 등과 같은 여러 사용 사례를 보여주는 자동 거래 애플리케이션이 포함되어 있습니다. 우리는 디버깅 작업 부하를 완화하기 위한 기본 거래 전략을 제공합니다.

3계층 프레임워크에서 FinRL은 세 가지 기본 원칙으로 개발되었습니다.

• 풀스택 프레임워크. 시장 데이터 API, 데이터 전처리, DRL 알고리즘 및 자동화된 백테스팅을 포함하여 재무 중심 최적화를 갖춘 풀 스택 DRL 프레임워크를 제공합니다. 사용자는 이러한 개발 파이프라인을 투명하게 활용할 수 있습니다.

• 맞춤화. 최첨단 DRL 알고리즘을 포함하고 새로운 알고리즘 설계를 지원하여 개발 시 모듈성과 확장성을 유지합니다. DRL 알고리즘을 사용하면 간단한 구성으로 거래 전략을 구성할 수 있습니다.

• 재현성과 실습 교육. 사용자가 파이프라인을 살펴보고 사용 사례를 재현하는 데 도움이 되는 단계별 Jupyter 노트북 및 사용자 가이드와 같은 튜토리얼을 제공합니다.

이는 개발자가 높은 수준의 구성 및 사양을 통해 아이디어를 효율적으로 탐색하고 요청 시 자체 전략을 사용자 정의할 수 있는 통합 프레임워크로 이어집니다.

우리의 기여는 다음과 같이 요약됩니다.

• FinRL은 양적 금융에 DRL 알고리즘을 적용할 수 있는 큰 잠재력을 보여주는 최초의 오픈 소스 프레임워크입니다. 우리는 빠르게 성장하는 AI4Finance 커뮤니티의 씨앗이 되는 FinRL 프레임워크를 중심으로 생태계를 구축합니다.

• 애플리케이션 계층은 사용자가 FinRL을 자신의 거래 작업에 맞게 맞춤화할 수 있는 인터페이스를 제공합니다. 정량 거래자가 높은 회전율로 거래 전략을 반복할 수 있도록 자동 백테스팅 모듈과 성능 지표가 제공됩니다. 수익성 있는 거래 전략을 재현할 수 있으며 실습 튜토리얼이 초보자 친화적인 방식으로 제공됩니다. 빠르게 변화하는 시장에 맞춰 학습된 모델을 조정하는 것도 가능합니다.

• 에이전트 계층은 미세 조정된 하이퍼 매개변수를 사용하여 자금 조달에 적합한 최첨단 DRL 알고리즘을 제공합니다. 사용자는 새로운 DRL 알고리즘을 추가할 수 있습니다.

• 환경 계층에는 과거 데이터 API 모음뿐만 아니라 실시간 거래 API도 포함됩니다. 표준 OpenAI 체육관 스타일 환경으로 재구성됩니다[5]. 또한 시장 마찰을 통합하고 사용자가 거래 시간 세분화를 맞춤 설정할 수 있습니다.

본 논문의 나머지 부분은 다음과 같이 구성된다. 2절에서는 관련 작품을 검토한다. 섹션 3에서는 FinRL 프레임워크를 제시합니다. 섹션 4에서는 FinRL을 사용한 벤치마크 거래 작업을 보여줍니다. 우리는 5장에서 이 논문을 결론짓는다.