Tanto na ciência de dados quanto no comércio financeiro, um dos desafios mais persistentes é alcançar o equilíbrio certo entre a complexidade do modelo e a precisão preditiva. Na ciência de dados, o overfitting ocorre quando um modelo aprende não apenas os verdadeiros padrões subjacentes nos dados de treinamento, mas também o ruído – levando a uma má generalização em novos dados invisíveis. Da mesma forma, os comerciantes podem cair como vítima do overfitting quando suas estratégias se tornam muito finamente alinhadas com as condições do mercado passado, não conseguindo suportar a negociação ao vivo. Entender o custo do overfitting – e como evitá-lo – pode ajudar os comerciantes a construir estratégias mais robustas e confiáveis que funcionam bem sob uma variedade de condições de mercado. O que é o overfitting? Em ciência de dados, o overfitting surge durante o processo de construção de modelos. Um modelo que é muito complexo – como um com muitos parâmetros ou um que tenta capturar cada flutuação de minuto no conjunto de treinamento – acaba memorizando os dados em vez de aprender o sinal subjacente. No comércio financeiro, o conceito é análogo. Os comerciantes muitas vezes backtest estratégias contra dados de preços históricos, refinando regras e ajustando parâmetros para espremer retornos mais altos. Se a estratégia é otimizada excessivamente para as idiossincrasias dos movimentos de preços passados, pode não se adaptar às mudanças futuras do mercado. Uma estratégia que desempenhou excepcionalmente bem em dados históricos pode quebrar quando até pequenas variações ocorrem na dinâmica do mercado. Por que sobrecarregar as coisas para os comerciantes O overfitting é particularmente caro na negociação porque os mercados financeiros são barulhentos, imprevisíveis e influenciados por inúmeros fatores além da ação histórica dos preços. Ao contrário de alguns ambientes controlados onde os padrões de dados permanecem relativamente estáveis ao longo do tempo, os mercados evoluem em resposta a mudanças econômicas, eventos geopolíticos e mudanças no comportamento dos comerciantes. Por exemplo, imagine um comerciante projetando um sistema com base em sem uma validação cuidadosa, a estratégia pode confundir coincidências aleatórias com sinais confiáveis. Um problema semelhante ocorre com a dependência de indicadores complexos como o Enquanto os indicadores avançados podem enriquecer as estruturas de estratégia, o ajuste excessivo de regras e limiares para corresponder ao desempenho histórico aumenta o risco de sobreposição, tornando a estratégia frágil quando as condições mudam. Cartão Patterns Indicador de fórmula Xhmaster Cartão Patterns Indicador de fórmula Xhmaster Lições da Ciência dos Dados A ciência dos dados oferece abordagens estruturadas para mitigar o overfitting, e essas lições se traduzem bem em negociação. 1 – Compartilhe seus dados No aprendizado de máquina, os conjuntos de dados são frequentemente divididos em subconjuntos de treinamento e teste. Um modelo é treinado no primeiro e avaliado no último para avaliar a generalização. Os comerciantes podem adotar uma mentalidade semelhante, separando os dados em períodos de amostra e fora de amostra. Uma estratégia pode ser desenvolvida usando dados de um período de tempo e, em seguida, rigorosamente testada em outro, para garantir que ele não seja apenas sobrecarregado para um período específico. 2 – Regularização Na ciência de dados, as técnicas de regularização penalizam modelos excessivamente complexos para impedi-los de se conformarem muito apertadamente ao ruído.Os comerciantes podem aplicar um princípio análogo, favorecendo regras de estratégia mais simples sobre combinações excessivamente complexas. pode superar um inchaço com regras de entrada e saída complicadas que só funcionaram em condições de mercado passadas. Candlestick padrões Candlestick padrões 3 – Validação cruzada A validação cruzada é um método onde múltiplos treinos e divisões de teste são usados para avaliar o desempenho do modelo de forma mais robusta. Os comerciantes podem simular isso testando suas estratégias em diferentes mercados, instrumentos ou prazos. Se uma estratégia funciona de forma robusta em várias condições, é menos provável que seja excessivamente adequada. 4 – Evite curvas O ajuste de curva refere-se ao ajuste de um modelo para que ele fique de perto com os dados históricos. Os comerciantes muitas vezes inadvertidamente curvam-se ao ajustar os parâmetros da estratégia para alcançar melhores resultados de backtest. Isto pode criar uma falsa sensação de confiança. Em vez de ajustar constantemente os parâmetros até que o backtest pareça perfeito, os comerciantes devem priorizar regras lógicas, teoricamente justificadas, mesmo que produzam desempenho modesto mas estável. O papel do ruído nos dados financeiros Os dados financeiros são inerentemente barulhentos. As flutuações aleatórias de preços muitas vezes obscurecem sinais genuínos. Na ciência dos dados, o ruído pode levar modelos a enganar a menos que sejam filtrados ou levados em conta. Os comerciantes também devem reconhecer que muitos padrões aparentes podem ser artefatos de aleatoriedade. Uma abordagem robusta requer a distinção entre ruído aleatório e tendências significativas. Um exemplo prático é o uso de padrões de gráficos. padrões como cabeça e ombros, triângulos ou bandeiras podem parecer visualmente convincentes, mas nem todos eles carregam poder preditivo. Adaptação ao pensamento probabilístico Os comerciantes precisam adotar o pensamento probabilístico. Assim como um cientista de dados aceita que as previsões são inerentemente incertas, os comerciantes devem tratar cada sinal de estratégia como probabilístico em vez de determinista. Uma configuração de negociação pode indicar uma maior probabilidade de lucro, mas o sucesso nunca é garantido. CONCLUSÃO O custo do overfitting na negociação pode ser severo, levando a estratégias que parecem brilhantes em retrospecto, mas desempenham mal nos mercados ao vivo. Ao emprestar lições da ciência dos dados - como reservar dados de validação, simplificar o design, evitar o encaixamento de curvas e abraçar o pensamento probabilístico - os comerciantes podem construir sistemas mais resilientes. Reconhecer que os mercados financeiros são complexos, barulhentos e constantemente mudando é o primeiro passo para evitar as armadilhas do overfitting. 
 
 Esta história foi distribuída como um lançamento por Jon Stojan sob HackerNoon's Business Blogging Program. Esta história foi distribuída como um lançamento por Jon Stojan sob HackerNoon's Business Blogging Program.

This story contains new, firsthand information uncovered by the writer.

Este áudio é produzido no idioma original da história!

O custo do overfitting: lições que os comerciantes podem aprender com a ciência dos dados

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

State of the Noonion: A New Era For Brands and Writers

Guia do arquiteto para construir arquitetura de referência para um Datalake de IA/ML

Como melhorar seu fluxo de trabalho em 10 vezes: 17 aplicativos essenciais

State of the Noonion: Green Clock Strikes Noon

State of the Noonion: A New Era For Brands and Writers

Guia do arquiteto para construir arquitetura de referência para um Datalake de IA/ML

Como melhorar seu fluxo de trabalho em 10 vezes: 17 aplicativos essenciais

State of the Noonion: Green Clock Strikes Noon

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps