क्वांटिटेटिव फाइनेंस में ट्रेडिंग को स्वचालित करने के लिए डीप रीइनफोर्समेंट लर्निंग फ्रेमवर्क

लिंक की तालिका

सार और 1 परिचय

2 संबंधित कार्य और 2.1 गहन सुदृढीकरण सीखने के एल्गोरिदम

2.2 गहन सुदृढीकरण सीखने की लाइब्रेरी और 2.3 वित्त में गहन सुदृढीकरण सीखना

3 प्रस्तावित फिनआरएल फ्रेमवर्क और 3.1 फिनआरएल फ्रेमवर्क का अवलोकन

3.2 अनुप्रयोग परत

3.3 एजेंट परत

3.4 पर्यावरण परत

3.5 प्रशिक्षण-परीक्षण-ट्रेडिंग पाइपलाइन

4 व्यावहारिक ट्यूटोरियल और बेंचमार्क प्रदर्शन और 4.1 बैकटेस्टिंग मॉड्यूल

4.2 आधारभूत रणनीतियाँ और ट्रेडिंग मेट्रिक्स

4.3 व्यावहारिक ट्यूटोरियल

4.4 उपयोग केस I: स्टॉक ट्रेडिंग

4.5 उपयोग केस II: पोर्टफोलियो आवंटन और 4.6 उपयोग केस III: क्रिप्टोकरेंसी ट्रेडिंग

5 फिनआरएल का पारिस्थितिकी तंत्र और निष्कर्ष, और संदर्भ

अमूर्त

डीप रीइन्फोर्समेंट लर्निंग (DRL) को क्वांटिटेटिव फाइनेंस में प्रतिस्पर्धात्मक बढ़त के लिए परिकल्पित किया गया है। हालाँकि, क्वांटिटेटिव ट्रेडर्स के लिए एक एजेंट प्राप्त करने के लिए एक कठिन विकास वक्र है जो बाजार में जीतने के लिए स्वचालित रूप से स्थिति बनाता है, अर्थात यह तय करना कि कहाँ व्यापार करना है, किस कीमत पर और कितनी मात्रा में, त्रुटि-प्रवण प्रोग्रामिंग और कठिन डिबगिंग के कारण। इस पेपर में, हम क्वांटिटेटिव ट्रेडर्स को कठिन सीखने की अवस्था को पार करने में मदद करने के लिए एक पूर्ण पाइपलाइन के रूप में पहला ओपन-सोर्स फ्रेमवर्क FinRL प्रस्तुत करते हैं। FinRL को प्रमुख सिद्धांतों, पूर्ण-स्टैक फ्रेमवर्क, अनुकूलन, पुनरुत्पादन और व्यावहारिक शिक्षण के तहत सरलता, प्रयोज्यता और विस्तारशीलता के साथ चित्रित किया गया है।

मॉड्यूलर संरचनाओं के साथ तीन-परत वास्तुकला के रूप में सन्निहित, FinRL अत्याधुनिक DRL एल्गोरिदम और सामान्य रिवॉर्ड फ़ंक्शन को लागू करता है, जबकि डिबगिंग कार्यभार को कम करता है। इस प्रकार, हम उपयोगकर्ताओं को उच्च टर्नओवर दर पर रणनीति डिज़ाइन को पाइपलाइन करने में मदद करते हैं। समय ग्रैन्युलैरिटी के कई स्तरों पर, FinRL ऐतिहासिक डेटा और लाइव ट्रेडिंग API का उपयोग करके प्रशिक्षण वातावरण के रूप में विभिन्न बाजारों का अनुकरण करता है। अत्यधिक विस्तार योग्य होने के कारण, FinRL उपयोगकर्ता-आयात इंटरफेस का एक सेट आरक्षित करता है और बाजार घर्षण, बाजार की तरलता और निवेशक के जोखिम-विमुखता जैसे व्यापारिक बाधाओं को शामिल करता है। इसके अलावा, चिकित्सकों के लिए कदम रखने वाले पत्थरों के रूप में कार्य करते हुए, विशिष्ट ट्रेडिंग कार्यों को चरण-दर-चरण ट्यूटोरियल के रूप में प्रदान किया जाता है, जैसे, स्टॉक ट्रेडिंग, पोर्टफोलियो आवंटन, क्रिप्टोक्यूरेंसी ट्रेडिंग, आदि।

1 परिचय

गहन सुदृढीकरण सीखना (डीआरएल), जो अन्वेषण (अज्ञात क्षेत्र का) और शोषण (वर्तमान ज्ञान का) को संतुलित करता है, मात्रात्मक वित्त में व्यापार को स्वचालित करने के लिए एक आशाजनक दृष्टिकोण है [50][51][47][54][21][13]। डीआरएल एल्गोरिदम अज्ञात वातावरण के साथ बातचीत के माध्यम से सीखकर गतिशील निर्णय लेने की समस्याओं को हल करने में शक्तिशाली हैं और पोर्टफोलियो स्केलेबिलिटी और मार्केट मॉडल स्वतंत्रता के दो प्रमुख फायदे प्रदान करते हैं [6]। मात्रात्मक वित्त में, एल्गोरिथम ट्रेडिंग अनिवार्य रूप से गतिशील निर्णय लेना है, अर्थात, यह तय करना कि अत्यधिक स्टोकेस्टिक और जटिल वित्तीय बाजार में कहां, किस कीमत पर और किस मात्रा में व्यापार करना है। कई वित्तीय कारकों को शामिल करते हुए, जैसा कि चित्र 1 में दिखाया गया है,

कई मौजूदा कार्यों ने मात्रात्मक वित्तीय कार्यों में DRL को लागू किया है। शोधकर्ता और उद्योग व्यवसायी दोनों ही DRL द्वारा संचालित ट्रेडिंग रणनीतियों को सक्रिय रूप से डिजाइन कर रहे हैं, क्योंकि डीप न्यूरल नेटवर्क किसी निश्चित अवस्था में एक निश्चित कार्रवाई करने के अपेक्षित रिटर्न का अनुमान लगाने में काफी शक्तिशाली हैं। मूडी और सैफेल [33] ने स्टॉक ट्रेडिंग के लिए एक नीति खोज का उपयोग किया; डेंग एट अल। [9] ने दिखाया कि DRL पारंपरिक तरीकों की तुलना में अधिक लाभ प्राप्त कर सकता है। अधिक अनुप्रयोगों में स्टॉक ट्रेडिंग [35, 47, 51, 54], वायदा अनुबंध [54], वैकल्पिक डेटा (समाचार भावना) [22, 35], उच्च आवृत्ति ट्रेडिंग [15], परिसमापन रणनीति विश्लेषण [3], और हेजिंग [6] शामिल हैं। DRL को क्रिप्टोक्यूरेंसी बाजार में भी सक्रिय रूप से खोजा जा रहा है, जैसे, स्वचालित ट्रेडिंग, पोर्टफोलियो आवंटन और मार्केट मेकिंग।

हालाँकि, DRL ट्रेडिंग रणनीति तैयार करना आसान नहीं है। प्रोग्रामिंग में त्रुटि-प्रवणता है और इसमें थकाऊ डिबगिंग है। विकास पाइपलाइन में बाजार डेटा को प्रीप्रोसेस करना, प्रशिक्षण वातावरण बनाना, ट्रेडिंग स्टेट्स को प्रबंधित करना और ट्रेडिंग प्रदर्शन का बैकटेस्टिंग शामिल है। ये चरण कार्यान्वयन के लिए मानक हैं, लेकिन फिर भी विशेष रूप से शुरुआती लोगों के लिए समय लेने वाले हैं। इसलिए, शोधकर्ताओं और मात्रात्मक व्यापारियों को कठिन सीखने की अवस्था से उबरने में मदद करने के लिए एक ओपन-सोर्स लाइब्रेरी की तत्काल मांग है।

इस पेपर में, हम एक FinRL फ्रेमवर्क प्रस्तुत करते हैं जो स्वचालित रूप से ट्रेडिंग रणनीतियों के विकास को सुव्यवस्थित करता है, ताकि शोधकर्ताओं और मात्रात्मक व्यापारियों को उच्च टर्नओवर दर पर अपनी रणनीतियों को दोहराने में मदद मिल सके। उपयोगकर्ता कॉन्फ़िगरेशन निर्दिष्ट करते हैं, जैसे डेटा API और DRL एल्गोरिदम चुनना, और ट्रेडिंग परिणामों के प्रदर्शन का विश्लेषण करना। इसे प्राप्त करने के लिए, FinRL एक तीन-परत फ्रेमवर्क पेश करता है। सबसे नीचे एक पर्यावरण परत है जो वास्तविक ऐतिहासिक डेटा, जैसे समापन मूल्य, शेयर, ट्रेडिंग वॉल्यूम और तकनीकी संकेतकों का उपयोग करके वित्तीय बाजारों का अनुकरण करती है। बीच में एजेंट परत है जो ठीक-ठाक DRL एल्गोरिदम और सामान्य इनाम कार्यों को लागू करती है। एजेंट राज्य स्थान और कार्रवाई स्थान पर ठीक से परिभाषित इनाम कार्यों के माध्यम से पर्यावरण के साथ बातचीत करता है। शीर्ष परत में स्वचालित ट्रेडिंग में अनुप्रयोग शामिल हैं, जहाँ हम कई उपयोग के मामलों का प्रदर्शन करते हैं, जैसे स्टॉक ट्रेडिंग, पोर्टफोलियो आवंटन, क्रिप्टोक्यूरेंसी ट्रेडिंग, आदि। हम डिबगिंग कार्यभार को कम करने के लिए बेसलाइन ट्रेडिंग रणनीतियाँ प्रदान करते हैं।

तीन-स्तरीय ढांचे के अंतर्गत, फिनआरएल को तीन प्राथमिक सिद्धांतों के साथ विकसित किया गया है:

• फुल-स्टैक फ्रेमवर्क। वित्त-उन्मुख अनुकूलन के साथ एक फुल-स्टैक डीआरएल फ्रेमवर्क प्रदान करना, जिसमें बाजार डेटा एपीआई, डेटा प्रीप्रोसेसिंग, डीआरएल एल्गोरिदम और स्वचालित बैकटेस्टिंग शामिल हैं। उपयोगकर्ता पारदर्शी रूप से ऐसी विकास पाइपलाइन का उपयोग कर सकते हैं।

• अनुकूलन। अत्याधुनिक DRL एल्गोरिदम को शामिल करके और नए एल्गोरिदम के डिज़ाइन का समर्थन करके विकास में मॉड्यूलरिटी और विस्तारशीलता बनाए रखना। DRL एल्गोरिदम का उपयोग सरल कॉन्फ़िगरेशन द्वारा ट्रेडिंग रणनीतियों के निर्माण के लिए किया जा सकता है।

• पुनरुत्पादकता और व्यावहारिक शिक्षण। उपयोगकर्ताओं को पाइपलाइन के माध्यम से चलने और उपयोग के मामलों को पुनरुत्पादित करने में मदद करने के लिए चरण-दर-चरण जुपिटर नोटबुक और उपयोगकर्ता मार्गदर्शिका जैसे ट्यूटोरियल प्रदान करना।

इससे एक एकीकृत ढांचा तैयार होता है, जहां डेवलपर्स उच्च-स्तरीय कॉन्फ़िगरेशन और विनिर्देशों के माध्यम से विचारों का कुशलतापूर्वक पता लगाने में सक्षम होते हैं, और अनुरोध पर अपनी स्वयं की रणनीतियों को अनुकूलित कर सकते हैं।

हमारे योगदान का सारांश इस प्रकार है:

• FinRL पहला ओपन-सोर्स फ्रेमवर्क है जो मात्रात्मक वित्त में DRL एल्गोरिदम को लागू करने की महान क्षमता को प्रदर्शित करता है। हम FinRL फ्रेमवर्क के इर्द-गिर्द एक पारिस्थितिकी तंत्र का निर्माण करते हैं, जो तेजी से बढ़ते AI4Finance समुदाय का आधार बनता है।

• एप्लीकेशन लेयर उपयोगकर्ताओं को FinRL को अपने खुद के ट्रेडिंग कार्यों के लिए अनुकूलित करने के लिए इंटरफेस प्रदान करता है। स्वचालित बैकटेस्टिंग मॉड्यूल और प्रदर्शन मीट्रिक मात्रात्मक व्यापारियों को उच्च टर्नओवर दर पर ट्रेडिंग रणनीतियों को दोहराने में मदद करने के लिए प्रदान किए जाते हैं। लाभदायक ट्रेडिंग रणनीतियाँ पुनरुत्पादनीय हैं और शुरुआती लोगों के अनुकूल तरीके से व्यावहारिक ट्यूटोरियल प्रदान किए जाते हैं। तेजी से बदलते बाजारों में प्रशिक्षित मॉडल को समायोजित करना भी संभव है।

• एजेंट लेयर अत्याधुनिक DRL एल्गोरिदम प्रदान करता है जो फ़ाइन-ट्यून्ड हाइपरपैरामीटर के साथ वित्त पोषण के लिए अनुकूलित होते हैं। उपयोगकर्ता नए DRL एल्गोरिदम जोड़ सकते हैं।

• पर्यावरण परत में न केवल ऐतिहासिक डेटा एपीआई का संग्रह शामिल है, बल्कि लाइव ट्रेडिंग एपीआई भी शामिल हैं। उन्हें मानक ओपनएआई जिम-शैली के वातावरण में फिर से कॉन्फ़िगर किया गया है [5]। इसके अलावा, यह बाजार घर्षण को शामिल करता है और उपयोगकर्ताओं को ट्रेडिंग समय ग्रैन्युलैरिटी को अनुकूलित करने की अनुमति देता है।

इस पेपर का शेष भाग इस प्रकार व्यवस्थित है। अनुभाग 2 संबंधित कार्यों की समीक्षा करता है। अनुभाग 3 में FinRL फ्रेमवर्क प्रस्तुत किया गया है। अनुभाग 4 में FinRL का उपयोग करके बेंचमार्क ट्रेडिंग कार्यों को प्रदर्शित किया गया है। हम इस पेपर को अनुभाग 5 में समाप्त करते हैं।