Авторы:  (1) Сяо-Ян Лю, Хунян Ян, Колумбийский университет (xl2427,hy2500@columbia.edu);  (2) Цзечао Гао, Университет Вирджинии (jg5ycn@virginia.edu);  (3) Кристина Дэн Ван (   ), Нью-Йоркский университет в Шанхае (christina.wang@nyu.edu). автор-корреспондент  Таблица ссылок   Краткое содержание и 1 Введение   2 связанные работы и 2.1 Алгоритмы глубокого обучения с подкреплением   2.2 Библиотеки глубокого обучения с подкреплением и 2.3 Глубокое обучение с подкреплением в финансах   3 Предлагаемая структура FinRL и 3.1 Обзор структуры FinRL   3.2 Прикладной уровень   3.3 Агентский уровень   3.4 Уровень среды   3.5 Конвейер обучения-тестирования-торговли   4 практических руководства и модуль тестирования производительности 4.1.   4.2 Базовые стратегии и торговые показатели   4.3 Практические руководства   4.4 Вариант использования I: торговля акциями   4.5 Вариант использования II: Распределение портфеля и 4.6 Вариант использования III: Торговля криптовалютами   5 Экосистема FinRL, выводы и ссылки  АБСТРАКТНЫЙ  Предполагалось, что глубокое обучение с подкреплением (DRL) будет иметь конкурентное преимущество в количественном финансировании. Тем не менее, количественным трейдерам предстоит пройти крутой путь развития, чтобы получить агента, который автоматически позиционирует себя для победы на рынке, а именно решает, где торговать, по какой цене и в каком количестве, из-за подверженного ошибкам программирования и трудной отладки. В этой статье мы представляем первую платформу FinRL с открытым исходным кодом как полноценный конвейер, который поможет количественным трейдерам преодолеть крутую кривую обучения. FinRL отличается простотой, применимостью и расширяемостью в соответствии с ключевыми принципами, полнофункциональной структурой, возможностью настройки, воспроизводимости и практического обучения.  FinRL, воплощенная в виде трехуровневой архитектуры с модульными структурами, реализует точно настроенные современные алгоритмы DRL и общие функции вознаграждения, одновременно облегчая рабочую нагрузку по отладке. Таким образом, мы помогаем пользователям оптимизировать разработку стратегии с высокой скоростью оборота. На нескольких уровнях детализации времени FinRL моделирует различные рынки в качестве обучающих сред, используя исторические данные и API-интерфейсы для торговли в режиме реального времени. Будучи легко расширяемым, FinRL резервирует набор пользовательских интерфейсов для импорта и учитывает торговые ограничения, такие как рыночные трения, рыночная ликвидность и неприятие риска инвесторами. Более того, типичные торговые задачи, служащие трамплином для практиков, предоставляются в виде пошаговых руководств, например, торговля акциями, распределение портфеля, торговля криптовалютой и т. д.  1. ВВЕДЕНИЕ  Глубокое обучение с подкреплением (DRL), которое балансирует исследование (неизведанной территории) и использование (текущих знаний), является многообещающим подходом к автоматизации торговли в количественном финансировании [50][51][47][54][21][13] ]. Алгоритмы DRL эффективны в решении динамических задач принятия решений путем обучения посредством взаимодействия с неизвестной средой и предлагают два основных преимущества: масштабируемость портфеля и независимость рыночной модели [6]. В количественных финансах алгоритмическая торговля, по сути, заключается в принятии динамических решений, а именно: где торговать, по какой цене и в каком количестве на высокостохастическом и сложном финансовом рынке. Включая множество финансовых факторов, как показано на рис. 1, торговый агент DRL строит многофакторную модель для автоматической торговли, которую трейдерам-людям сложно реализовать [4, 53]. Таким образом, предполагалось, что DRL будет иметь конкурентное преимущество в количественном финансировании.  Многие существующие работы применяли DRL для решения количественных финансовых задач. И исследователи, и практики отрасли активно разрабатывают торговые стратегии, основанные на DRL, поскольку глубокие нейронные сети значительно эффективны при оценке ожидаемой доходности от выполнения определенного действия в определенном состоянии. Муди и Саффелл [33] использовали поиск политики для торговли акциями; Дэн и др. [9] показали, что DRL позволяет получить больше прибыли, чем традиционные методы. Другие приложения включают торговлю акциями [35, 47, 51, 54], фьючерсные контракты [54], альтернативные данные (новостные настроения) [22, 35], высокочастотную торговлю [15], анализ стратегии ликвидации [3] и хеджирование [ 6]. DRL также активно исследуется на рынке криптовалют, например, для автоматической торговли, распределения портфеля и создания рынков.  Однако разработать торговую стратегию DRL непросто. Программирование подвержено ошибкам и требует утомительной отладки. Процесс разработки включает предварительную обработку рыночных данных, создание среды обучения, управление состояниями торговли и тестирование эффективности торговли. Эти шаги являются стандартными для реализации, но требуют много времени, особенно для новичков. Поэтому существует острая потребность в библиотеке с открытым исходным кодом, которая поможет исследователям и количественным трейдерам преодолеть крутую кривую обучения.  В этой статье мы представляем структуру FinRL, которая автоматически оптимизирует разработку торговых стратегий, чтобы помочь исследователям и количественным трейдерам повторять свои стратегии с высокой скоростью оборота. Пользователи указывают конфигурации, такие как API выбора данных и алгоритмы DRL, и анализируют эффективность результатов торговли. Для достижения этой цели FinRL вводит трехуровневую структуру. Внизу находится слой среды, который моделирует финансовые рынки с использованием реальных исторических данных, таких как цена закрытия, акции, объем торгов и технические индикаторы. В середине находится уровень агентов, реализующий точно настроенные алгоритмы DRL и общие функции вознаграждения. Агент взаимодействует с окружающей средой посредством правильно определенных функций вознаграждения в пространстве состояний и пространстве действий. Верхний уровень включает приложения для автоматической торговли, где мы демонстрируем несколько вариантов использования, а именно торговлю акциями, распределение портфеля, торговлю криптовалютой и т. д. Мы предоставляем базовые торговые стратегии для облегчения рабочей нагрузки по отладке.   В рамках трехуровневой структуры FinRL разрабатывается с учетом трех основных принципов:    Предоставить полнофункциональную структуру DRL с оптимизацией, ориентированной на финансы, включая API рыночных данных, предварительную обработку данных, алгоритмы DRL и автоматическое тестирование на исторических данных. Пользователи могут прозрачно использовать такой конвейер разработки. • Полнофункциональная структура.    Поддерживать модульность и расширяемость при разработке, включая самые современные алгоритмы DRL и поддерживая разработку новых алгоритмов. Алгоритмы DRL можно использовать для построения торговых стратегий с помощью простых конфигураций. • Кастомизация.    Предоставить учебные пособия, такие как пошаговые блокноты Jupyter и руководство пользователя, которые помогут пользователям пройти через конвейер и воспроизвести варианты использования. • Воспроизводимость и практическое обучение.  Это приводит к созданию единой структуры, в которой разработчики могут эффективно исследовать идеи с помощью высокоуровневых конфигураций и спецификаций, а также настраивать свои собственные стратегии по запросу.  Наш вклад резюмируется следующим образом:  • FinRL — это первая платформа с открытым исходным кодом, демонстрирующая большой потенциал применения алгоритмов DRL в количественном финансировании. Мы строим экосистему вокруг платформы FinRL, которая формирует быстрорастущее сообщество AI4Finance.  • Прикладной уровень предоставляет пользователям интерфейсы для настройки FinRL под свои торговые задачи. Модуль автоматического тестирования на исторических данных и показатели производительности помогают количественным трейдерам повторять торговые стратегии с высокой скоростью оборота. Прибыльные торговые стратегии воспроизводимы, а практические руководства предоставляются в удобной для новичков форме. Также возможна адаптация обученных моделей к быстро меняющимся рынкам.  • Уровень агента предоставляет современные алгоритмы DRL, адаптированные для финансирования с помощью точно настроенных гиперпараметров. Пользователи могут добавлять новые алгоритмы DRL.  • Уровень среды включает в себя не только набор API-интерфейсов исторических данных, но и API-интерфейсы для реальной торговли. Они переконфигурируются в стандартные среды OpenAI в стиле тренажерного зала [5]. Более того, он учитывает рыночные трения и позволяет пользователям настраивать степень детализации времени торговли.  Остальная часть статьи организована следующим образом. В разделе 2 рассматриваются соответствующие работы. В разделе 3 представлена структура FinRL. В разделе 4 демонстрируются эталонные торговые задачи с использованием FinRL. Мы завершаем эту статью в разделе 5.  Этот документ   под лицензией CC BY 4.0 DEED. доступен на arxiv

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

REINFORCEMENT . tech

Leading research and publication in advancing reinforcement machine learning, shaping intelligent systems & automation.

Reinforcement's blog

Этот звук создан на языке оригинала истории!

Структура глубокого обучения с подкреплением для автоматизации торговли в области количественных финансов

About Author

КОММЕНТАРИИ

БИРКИ

ЭТА СТАТЬЯ БЫЛА ПРЕДСТАВЛЕНА В

Related Stories

Модель Bitcoin UTXO, обеспечивающая работу уникальной экосистемы

Нажмите, чтобы заработать: Telegram может привлечь следующие 10 миллиардов пользователей криптовалюты до Соланы

Telegram: мост Крипто-острова на материк

Рост криптовалют: создание эффективных образов пользователей

Модель Bitcoin UTXO, обеспечивающая работу уникальной экосистемы

Нажмите, чтобы заработать: Telegram может привлечь следующие 10 миллиардов пользователей криптовалюты до Соланы

Telegram: мост Крипто-острова на материк

Рост криптовалют: создание эффективных образов пользователей

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps