Marco de aprendizaje por refuerzo profundo para automatizar el comercio en finanzas cuantitativas

Tabla de enlaces

Resumen y 1 Introducción

2 trabajos relacionados y 2.1 algoritmos de aprendizaje por refuerzo profundo

2.2 Bibliotecas de aprendizaje por refuerzo profundo y 2.3 Aprendizaje por refuerzo profundo en finanzas

3 El marco FinRL propuesto y 3.1 Descripción general del marco FinRL

3.2 Capa de aplicación

3.3 Capa de agente

3.4 Capa Ambiental

3.5 Canal de capacitación-pruebas-negociación

4 tutoriales prácticos y rendimiento comparativo y módulo de backtesting 4.1

4.2 Estrategias de referencia y métricas comerciales

4.3 Tutoriales prácticos

4.4 Caso de uso I: Negociación de acciones

4.5 Caso de uso II: Asignación de cartera y 4.6 Caso de uso III: Comercio de criptomonedas

5 Ecosistema de FinRL y Conclusiones y Referencias

ABSTRACTO

Se ha previsto que el aprendizaje por refuerzo profundo (DRL) tenga una ventaja competitiva en las finanzas cuantitativas. Sin embargo, existe una pronunciada curva de desarrollo para que los traders cuantitativos obtengan un agente que automáticamente se posicione para ganar en el mercado, es decir, para decidir dónde comerciar, a qué precio y en qué cantidad, debido a la programación propensa a errores y a la ardua depuración. En este artículo, presentamos el primer marco de código abierto FinRL como un proceso completo para ayudar a los operadores cuantitativos a superar la pronunciada curva de aprendizaje. FinRL se presenta con simplicidad, aplicabilidad y extensibilidad según los principios clave, marco completo, personalización, reproducibilidad y tutoría práctica.

Incorporado como una arquitectura de tres capas con estructuras modulares, FinRL implementa algoritmos DRL de última generación y funciones de recompensa comunes, al tiempo que alivia las cargas de trabajo de depuración. Por lo tanto, ayudamos a los usuarios a canalizar el diseño de la estrategia con una alta tasa de rotación. En múltiples niveles de granularidad de tiempo, FinRL simula varios mercados como entornos de capacitación utilizando datos históricos y API comerciales en vivo. Al ser altamente extensible, FinRL reserva un conjunto de interfaces de importación de usuarios e incorpora restricciones comerciales como la fricción del mercado, la liquidez del mercado y la aversión al riesgo de los inversores. Además, como trampolín para los profesionales, las tareas comerciales típicas se proporcionan como tutoriales paso a paso, por ejemplo, negociación de acciones, asignación de carteras, negociación de criptomonedas, etc.

1. INTRODUCCIÓN

El aprendizaje por refuerzo profundo (DRL), que equilibra la exploración (de territorio inexplorado) y la explotación (del conocimiento actual), es un enfoque prometedor para automatizar el comercio en finanzas cuantitativas [50][51][47][54][21][13 ]. Los algoritmos DRL son poderosos para resolver problemas dinámicos de toma de decisiones mediante el aprendizaje a través de interacciones con un entorno desconocido y ofrecen dos ventajas principales: la escalabilidad de la cartera y la independencia del modelo de mercado [6]. En las finanzas cuantitativas, el comercio algorítmico consiste esencialmente en tomar decisiones dinámicas, es decir, decidir dónde comerciar, a qué precio y en qué cantidad, en un mercado financiero altamente estocástico y complejo. Al incorporar muchos factores financieros, como se muestra en la Fig. 1, un agente comercial DRL construye un modelo multifactor para comerciar automáticamente, lo cual es difícil de lograr para los comerciantes humanos [4, 53]. Por lo tanto, se ha previsto que DRL tenga una ventaja competitiva en las finanzas cuantitativas.

Muchos trabajos existentes han aplicado DRL en tareas financieras cuantitativas. Tanto los investigadores como los profesionales de la industria están diseñando activamente estrategias comerciales impulsadas por DRL, ya que las redes neuronales profundas son significativamente poderosas para estimar el rendimiento esperado de realizar una determinada acción en un estado. Moody y Saffell [33] utilizaron una búsqueda de políticas para la negociación de acciones; Deng et al. [9] demostró que DRL puede obtener más beneficios que los métodos convencionales. Más aplicaciones incluyen negociación de acciones [35, 47, 51, 54], contratos de futuros [54], datos alternativos (sentimientos noticiosos) [22, 35], negociación de alta frecuencia [15], análisis de estrategias de liquidación [3] y cobertura [ 6]. DRL también se está explorando activamente en el mercado de las criptomonedas, por ejemplo, en el comercio automatizado, la asignación de carteras y la creación de mercado.

Sin embargo, diseñar una estrategia comercial de DRL no es fácil. La programación es propensa a errores con una depuración tediosa. El proceso de desarrollo incluye el preprocesamiento de datos de mercado, la creación de un entorno de capacitación, la gestión de estados comerciales y pruebas retrospectivas del desempeño comercial. Estos pasos son estándar para su implementación pero aún requieren mucho tiempo, especialmente para los principiantes. Por lo tanto, existe una demanda urgente de una biblioteca de código abierto que ayude a los investigadores y comerciantes cuantitativos a superar la pronunciada curva de aprendizaje.

En este artículo, presentamos un marco FinRL que agiliza automáticamente el desarrollo de estrategias comerciales, para ayudar a los investigadores y comerciantes cuantitativos a iterar sus estrategias a una alta tasa de rotación. Los usuarios especifican las configuraciones, como seleccionar API de datos y algoritmos DRL, y analizan el rendimiento de los resultados comerciales. Para lograr esto, FinRL introduce un marco de tres capas. En la parte inferior hay una capa ambiental que simula los mercados financieros utilizando datos históricos reales, como el precio de cierre, acciones, volumen de operaciones e indicadores técnicos. En el medio está la capa de agente que implementa algoritmos DRL ajustados y funciones de recompensa comunes. El agente interactúa con el entorno a través de funciones de recompensa adecuadamente definidas en el espacio de estados y el espacio de acción. La capa superior incluye aplicaciones en comercio automatizado, donde demostramos varios casos de uso, a saber, comercio de acciones, asignación de cartera, comercio de criptomonedas, etc. Proporcionamos estrategias comerciales básicas para aliviar las cargas de trabajo de depuración.

Bajo el marco de tres capas, FinRL se desarrolla con tres principios fundamentales:

• Marco de trabajo completo. Proporcionar un marco DRL completo con optimizaciones orientadas a las finanzas, incluidas API de datos de mercado, preprocesamiento de datos, algoritmos DRL y pruebas retrospectivas automatizadas. Los usuarios pueden hacer uso de forma transparente de dicho canal de desarrollo.

• Personalización. Mantener la modularidad y la extensibilidad en el desarrollo mediante la inclusión de algoritmos DRL de última generación y el apoyo al diseño de nuevos algoritmos. Los algoritmos DRL se pueden utilizar para construir estrategias comerciales mediante configuraciones simples.

• Reproducibilidad y tutoría práctica. Proporcionar tutoriales, como cuadernos de Jupyter paso a paso y guías de usuario para ayudar a los usuarios a recorrer el proceso y reproducir los casos de uso.

Esto conduce a un marco unificado donde los desarrolladores pueden explorar ideas de manera eficiente a través de configuraciones y especificaciones de alto nivel, y personalizar sus propias estrategias a pedido.

Nuestras contribuciones se resumen a continuación:

• FinRL es el primer marco de código abierto que demuestra el gran potencial de aplicar algoritmos DRL en finanzas cuantitativas. Construimos un ecosistema en torno al marco FinRL, que genera la comunidad AI4Finance en rápido crecimiento.

• La capa de aplicación proporciona interfaces para que los usuarios personalicen FinRL según sus propias tareas comerciales. Se proporcionan un módulo de backtesting automatizado y métricas de rendimiento para ayudar a los operadores cuantitativos a iterar estrategias comerciales a una alta tasa de rotación. Las estrategias comerciales rentables son reproducibles y se proporcionan tutoriales prácticos para principiantes. También es posible ajustar los modelos entrenados a los mercados que cambian rápidamente.

• La capa de agente proporciona algoritmos DRL de última generación que se adaptan a las finanzas con hiperparámetros ajustados. Los usuarios pueden agregar nuevos algoritmos DRL.

• La capa de entorno incluye no sólo una colección de API de datos históricos, sino también API comerciales en vivo. Se reconfiguran en entornos estándar de estilo gimnasio OpenAI [5]. Además, incorpora fricciones del mercado y permite a los usuarios personalizar la granularidad del tiempo de negociación.

El resto de este documento está organizado de la siguiente manera. La sección 2 revisa trabajos relacionados. La sección 3 presenta el marco FinRL. La sección 4 demuestra las tareas comerciales de referencia utilizando FinRL. Concluimos este artículo en la Sección 5.