Sa parehong data science at financial trading, isa sa mga pinaka-persistent na mga pangangailangan ay pag-atake ang parehong balanse sa pagitan ng model complexity at predictive accuracy. Sa data science, overfitting ay dumating kapag ang isang modelo ay malaman hindi lamang ang mga tunay na pangunahing pattern sa mga data training ngunit din ang bulldozer - na nangangahulugan sa mababang generalization sa bagong, hindi nakikita na data. Halimbawa, ang mga trader ay maaaring tumataas sa overfitting kapag ang kanilang mga estratehiya ay magiging mabuti sa nakaraang mga kondisyon ng merkado, hindi makakapasok sa live trading. Malaman ang gastos ng overfitting - at kung paano upang i-evitate ito - ay maaaring makatulong sa mga trader upang bumuo ng mas mabuti, reliable na mga estratehiya Ano ang overfitting? Sa data science, ang overfitting ay dumating sa panahon ng proseso ng pagbuo ng modelo. Ang isang modelo na ay mas kompleksong - tulad ng isa na may higit sa maraming mga parameter o isa na nagtatrabaho sa pagkuha ng bawat minuto na mga fluktuasyon sa training set - ay nagsisimula na mag-memorize ang data kaysa sa pag-aaral ng pangunahing signal. Kapag ang isang modelo ay overfit, ito ay maaaring magandang nakikita sa historical data, ngunit ang kanyang predictive performance ay tumakbo kapag ginamit sa mga bagong datasets. Sa financial trading, ang konsepto ay analog. Ang mga negosyante ay karaniwang backtest strategies laban sa historical price data, refining rules at tuning mga parameters upang i-squeeze out mas mataas na mga return. Kung ang estratehiya ay overoptimized para sa mga idiosyncrasies ng past price movements, ito ay maaaring hindi mag-adapt sa future market changes. Ang isang estratehiya na bumuo exceptionally mahusay sa historical data ay maaaring tumakbo kapag kahit na maliit na mga pagbabago ay dumating sa market dynamics. Bakit ang Overfitting Matters para sa mga Trader Ang overfitting ay karamihan na mahal sa trading dahil ang mga financial markets ay mabigat, hindi na-predictable, at tinutukoy sa pamamagitan ng iba't-ibang mga bahagi sa iba't-ibang mga katangian sa paglipas ng kasaysayan ng presyo. Hindi tulad ng ilang mga kontrolado na lugar kung saan ang mga pattern ng data ay magkakaroon ng relasyon-stable sa panahon, ang mga merkado ay bumuo bilang reaksyon sa mga pagbabago sa ekonomiya, mga geopolitikal na kaganapan, at mga pagbabago sa behavior ng trader. Halimbawa, mag-imagine ng isang trader na nag-disenyo ng isang sistema batay sa anumang Sa isang panayam sa Star for All Seasons, sinabi niyang something new for her ang karakter na gagampanan niya. Habang ang mga advanced na mga indicator ay maaaring matatagpuan ang mga framework ng estratehiya, ang overtuning ng mga batas at mga limitasyon upang matugunan ang kasaysayan ng pagganap ay nagdudulot ng risk ng overfitting, na nagdadala ng estratehiya kapag nagbabago ang mga katotohanan. Mga pattern Ang Xhmaster formula indicator ay Mga pattern Ang Xhmaster formula indicator ay Mga Leksyon mula sa Data Science Ang data science ay nag-aalok ng mga estruktural na paraan upang mabawasan ang overfitting, at ang mga leksyon ay lumikha ng mabuti sa trading. I-share ang iyong data Sa machine learning, ang mga dataset ay karaniwang ibahagi sa mga subset ng pagsasanay at pagsubok. Ang isang modelo ay nagtrabaho sa unang at inilathala sa huling ito upang i-evaluate ang generalization. Ang mga negosyante ay maaaring mag-adopt ng isang katulad na pananaliksik sa pamamagitan ng pagkilala ng data sa in-sample at out-of-sample periods. Ang isang strategiya ay maaaring bumuo gamit ang data mula sa isang timeframe, at pagkatapos ay karaniwang i-tested sa ibang, upang matugunan na ito ay hindi lamang overfitted sa isang tiyak na panahon. 2 Ang regulasyon Sa data science, ang mga teknolohiya ng regularization ay nag-penalize ng overly complex models upang maiwasan ang mga ito mula sa pag-conforming sila ng too tightly sa noise. Trader ay maaaring gamitin ang isang analogo na prinsipyo sa pamamagitan ng favor ng simpler strategy rules laban sa overly complex combinations. Ang mga ito ay maaaring mapagkukunan sa isang nabuksan na may konvoluted entry and exit rules na nagtatrabaho lamang sa past market conditions. Mga pattern ng candlestick Mga pattern ng candlestick Ang Cross Validation Ang cross-validation ay isang paraan kung saan ang ilang training at pagsubok split ay ginagamit upang i-evaluate ang pagganap ng modelo sa mas malakas na paraan. Ang mga trader ay maaaring simulan ito sa pamamagitan ng pagsubok ang kanilang mga estratehiya sa iba't ibang merkado, instrumento, o panahon. Kung ang isang estratehiya ay gumagana malakas sa iba't ibang mga kondisyon, ito ay mas mababa na maging overfit. Kung ang mga kakulangan ay lumabas sa iba't ibang mga scenario, ito ay isang sinasabi na ang estratehiya ay maaaring maging mas mabuti-customized. I-evite ang curve fitting Ang curve fit refers sa pagbabago ng isang modelo upang itinuturing ito malapit sa mga historikal na data. Ang mga negosyante ay karaniwang inadvertently curve-fit kapag i-tune ang mga parameter ng estratehiya upang makakuha ng mas mahusay na mga resulta ng backtest. Ito ay maaaring lumikha ng isang katotohanan ng kapangyarihan. Sa halip na patuloy na i-adjust ang mga parameter hanggang sa ang backtest ay nakikita na perfect, ang mga negosyante ay dapat priorize ang logical, teorikal na katotohanan ng mga patakaran, kahit na ang mga ito ay lumikha ng modest ngunit stable na pagganap. Ang Role ng Noise sa Financial Data Ang mga data ng pinansiyal ay inherently noisy. Random price fluctuations often obscure genuine signals. Sa data science, ang bull can lead models mislead unless filtered or accounted for. Ang mga negosyo, din, ay dapat natuklasan na ang maraming aparent pattern ay mga artifact ng randomness. A robust approach requires distinguishing between random noise and meaningful trends. Ang maliliit na negosyo sa mga sumusunod na sektor ay kinakailangan: pagproseso ng produktong agrikultural ( Paglalarawan ng Probabilistic Thinking Ang mga negosyante ay kailangang i-adopt probabilistic thinking. Halimbawa tulad ng isang data scientist ay sumali na ang mga prediction ay inherently uncertain, ang mga negosyante ay dapat i-treat ang bawat strategic signal bilang probabilistic at hindi deterministic. Ang isang trading setting ay maaaring ipinakita ng mas mataas na probabilidad ng kapangyarihan, ngunit ang pag-uugali ay hindi garantiyado. Konklusyon Ang gastos ng overfitting sa trading ay maaaring maging malaki, nagdadalang sa mga estratehiya na makikita na brilliant sa nakalipas ngunit malaki sa live markets. By borrowing lessons from data science - tulad ng pag-reserve ng mga data ng pag-validation, pagproseso ng disenyo, pag-aalis ng curve fit, at pagkuha ng probabilistic thinking - mga trader ay maaaring bumuo ng mas resilient na mga sistema. Pag-akda na ang mga financial markets ay magkakaibang, mabuti, at patuloy na lumipat ay ang unang step sa pag-iisip sa pag-iisip ng overfitting. Sa pamamagitan ng pag-iisip na disenyo at disiplinadong pag-validation, ang mga trader ay maaaring i-navigate sa mga merkado na may mga estratehiya na 
 
 Ang story na ito ay inilathala bilang isang release ng Jon Stojan sa ilalim ng HackerNoon's Business Blogging Program. Ang story na ito ay inilathala bilang isang release ng Jon Stojan sa ilalim ng HackerNoon's Business Blogging Program.

This story contains new, firsthand information uncovered by the writer.

Ang audio na ito ay ginawa sa orihinal na wika ng kuwento!

Ang gastos ng overfitting: mga leksyon na maaaring malaman ng mga trader mula sa data science

About Author

MGA KOMENTO

HANG TAGS

ANG ARTIKULONG ITO AY IPINAKITA SA

Related Stories

Encrypted Instant Messaging Recommendations January 2017

COVID-19: We Need More Than Data, We Need Insights!

Getting intimate with Ethereum tokens

Hosting a DNS domain on the blockchain

Encrypted Instant Messaging Recommendations January 2017

COVID-19: We Need More Than Data, We Need Insights!

Getting intimate with Ethereum tokens

Hosting a DNS domain on the blockchain

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps