Структура глубокого обучения с подкреплением для автоматизации торговли в области количественных финансов

Таблица ссылок

Краткое содержание и 1 Введение

2 связанные работы и 2.1 Алгоритмы глубокого обучения с подкреплением

2.2 Библиотеки глубокого обучения с подкреплением и 2.3 Глубокое обучение с подкреплением в финансах

3 Предлагаемая структура FinRL и 3.1 Обзор структуры FinRL

3.2 Прикладной уровень

3.3 Агентский уровень

3.4 Уровень среды

3.5 Конвейер обучения-тестирования-торговли

4 практических руководства и модуль тестирования производительности 4.1.

4.2 Базовые стратегии и торговые показатели

4.3 Практические руководства

4.4 Вариант использования I: торговля акциями

4.5 Вариант использования II: Распределение портфеля и 4.6 Вариант использования III: Торговля криптовалютами

5 Экосистема FinRL, выводы и ссылки

АБСТРАКТНЫЙ

Предполагалось, что глубокое обучение с подкреплением (DRL) будет иметь конкурентное преимущество в количественном финансировании. Тем не менее, количественным трейдерам предстоит пройти крутой путь развития, чтобы получить агента, который автоматически позиционирует себя для победы на рынке, а именно решает, где торговать, по какой цене и в каком количестве, из-за подверженного ошибкам программирования и трудной отладки. В этой статье мы представляем первую платформу FinRL с открытым исходным кодом как полноценный конвейер, который поможет количественным трейдерам преодолеть крутую кривую обучения. FinRL отличается простотой, применимостью и расширяемостью в соответствии с ключевыми принципами, полнофункциональной структурой, возможностью настройки, воспроизводимости и практического обучения.

FinRL, воплощенная в виде трехуровневой архитектуры с модульными структурами, реализует точно настроенные современные алгоритмы DRL и общие функции вознаграждения, одновременно облегчая рабочую нагрузку по отладке. Таким образом, мы помогаем пользователям оптимизировать разработку стратегии с высокой скоростью оборота. На нескольких уровнях детализации времени FinRL моделирует различные рынки в качестве обучающих сред, используя исторические данные и API-интерфейсы для торговли в режиме реального времени. Будучи легко расширяемым, FinRL резервирует набор пользовательских интерфейсов для импорта и учитывает торговые ограничения, такие как рыночные трения, рыночная ликвидность и неприятие риска инвесторами. Более того, типичные торговые задачи, служащие трамплином для практиков, предоставляются в виде пошаговых руководств, например, торговля акциями, распределение портфеля, торговля криптовалютой и т. д.

1. ВВЕДЕНИЕ

Глубокое обучение с подкреплением (DRL), которое балансирует исследование (неизведанной территории) и использование (текущих знаний), является многообещающим подходом к автоматизации торговли в количественном финансировании [50][51][47][54][21][13] ]. Алгоритмы DRL эффективны в решении динамических задач принятия решений путем обучения посредством взаимодействия с неизвестной средой и предлагают два основных преимущества: масштабируемость портфеля и независимость рыночной модели [6]. В количественных финансах алгоритмическая торговля, по сути, заключается в принятии динамических решений, а именно: где торговать, по какой цене и в каком количестве на высокостохастическом и сложном финансовом рынке. Включая множество финансовых факторов, как показано на рис. 1, торговый агент DRL строит многофакторную модель для автоматической торговли, которую трейдерам-людям сложно реализовать [4, 53]. Таким образом, предполагалось, что DRL будет иметь конкурентное преимущество в количественном финансировании.

Многие существующие работы применяли DRL для решения количественных финансовых задач. И исследователи, и практики отрасли активно разрабатывают торговые стратегии, основанные на DRL, поскольку глубокие нейронные сети значительно эффективны при оценке ожидаемой доходности от выполнения определенного действия в определенном состоянии. Муди и Саффелл [33] использовали поиск политики для торговли акциями; Дэн и др. [9] показали, что DRL позволяет получить больше прибыли, чем традиционные методы. Другие приложения включают торговлю акциями [35, 47, 51, 54], фьючерсные контракты [54], альтернативные данные (новостные настроения) [22, 35], высокочастотную торговлю [15], анализ стратегии ликвидации [3] и хеджирование [ 6]. DRL также активно исследуется на рынке криптовалют, например, для автоматической торговли, распределения портфеля и создания рынков.

Однако разработать торговую стратегию DRL непросто. Программирование подвержено ошибкам и требует утомительной отладки. Процесс разработки включает предварительную обработку рыночных данных, создание среды обучения, управление состояниями торговли и тестирование эффективности торговли. Эти шаги являются стандартными для реализации, но требуют много времени, особенно для новичков. Поэтому существует острая потребность в библиотеке с открытым исходным кодом, которая поможет исследователям и количественным трейдерам преодолеть крутую кривую обучения.

В этой статье мы представляем структуру FinRL, которая автоматически оптимизирует разработку торговых стратегий, чтобы помочь исследователям и количественным трейдерам повторять свои стратегии с высокой скоростью оборота. Пользователи указывают конфигурации, такие как API выбора данных и алгоритмы DRL, и анализируют эффективность результатов торговли. Для достижения этой цели FinRL вводит трехуровневую структуру. Внизу находится слой среды, который моделирует финансовые рынки с использованием реальных исторических данных, таких как цена закрытия, акции, объем торгов и технические индикаторы. В середине находится уровень агентов, реализующий точно настроенные алгоритмы DRL и общие функции вознаграждения. Агент взаимодействует с окружающей средой посредством правильно определенных функций вознаграждения в пространстве состояний и пространстве действий. Верхний уровень включает приложения для автоматической торговли, где мы демонстрируем несколько вариантов использования, а именно торговлю акциями, распределение портфеля, торговлю криптовалютой и т. д. Мы предоставляем базовые торговые стратегии для облегчения рабочей нагрузки по отладке.

В рамках трехуровневой структуры FinRL разрабатывается с учетом трех основных принципов:

• Полнофункциональная структура. Предоставить полнофункциональную структуру DRL с оптимизацией, ориентированной на финансы, включая API рыночных данных, предварительную обработку данных, алгоритмы DRL и автоматическое тестирование на исторических данных. Пользователи могут прозрачно использовать такой конвейер разработки.

• Кастомизация. Поддерживать модульность и расширяемость при разработке, включая самые современные алгоритмы DRL и поддерживая разработку новых алгоритмов. Алгоритмы DRL можно использовать для построения торговых стратегий с помощью простых конфигураций.

• Воспроизводимость и практическое обучение. Предоставить учебные пособия, такие как пошаговые блокноты Jupyter и руководство пользователя, которые помогут пользователям пройти через конвейер и воспроизвести варианты использования.

Это приводит к созданию единой структуры, в которой разработчики могут эффективно исследовать идеи с помощью высокоуровневых конфигураций и спецификаций, а также настраивать свои собственные стратегии по запросу.

Наш вклад резюмируется следующим образом:

• FinRL — это первая платформа с открытым исходным кодом, демонстрирующая большой потенциал применения алгоритмов DRL в количественном финансировании. Мы строим экосистему вокруг платформы FinRL, которая формирует быстрорастущее сообщество AI4Finance.

• Прикладной уровень предоставляет пользователям интерфейсы для настройки FinRL под свои торговые задачи. Модуль автоматического тестирования на исторических данных и показатели производительности помогают количественным трейдерам повторять торговые стратегии с высокой скоростью оборота. Прибыльные торговые стратегии воспроизводимы, а практические руководства предоставляются в удобной для новичков форме. Также возможна адаптация обученных моделей к быстро меняющимся рынкам.

• Уровень агента предоставляет современные алгоритмы DRL, адаптированные для финансирования с помощью точно настроенных гиперпараметров. Пользователи могут добавлять новые алгоритмы DRL.

• Уровень среды включает в себя не только набор API-интерфейсов исторических данных, но и API-интерфейсы для реальной торговли. Они переконфигурируются в стандартные среды OpenAI в стиле тренажерного зала [5]. Более того, он учитывает рыночные трения и позволяет пользователям настраивать степень детализации времени торговли.

Остальная часть статьи организована следующим образом. В разделе 2 рассматриваются соответствующие работы. В разделе 3 представлена структура FinRL. В разделе 4 демонстрируются эталонные торговые задачи с использованием FinRL. Мы завершаем эту статью в разделе 5.