Se você for como eu, você já lidou com dados ausentes em seus conjuntos de dados pelo menos uma vez. Ou duas vezes. Ou muitas vezes… Às vezes, tudo o que é necessário para lidar com esses NAs incômodos é eliminá-los, ou seja, remover as linhas que contêm dados ausentes. No entanto, isto pode nem ser o ideal, especialmente para dados de séries temporais, e ainda mais para dados financeiros. É claro que esse problema é bem estudado e existem muitas alternativas para abandoná-lo. sempre Analisarei alguns deles (listados abaixo) e discutirei os prós e os contras: Caindo LOCF (última observação transportada) Imputação média (ou semelhante) Interpolação Alerta de spoiler: não existe uma abordagem única para todos! Argumentarei que o LOCF é normalmente uma boa escolha para financiamento, mas também tem as suas desvantagens. Com isso em mente, deixe-me descrever os métodos e dados que usarei para apresentá-los. Nota: se quisermos ser pedantes, todos os métodos 2 a 4 são exemplos de imputação. alguma Dados do modelo Vamos começar com alguns exemplos de por que alguém se importaria em desistir. Para ilustrar, gerei alguns dados diários excessivamente simplificados sobre os preços das ações, assumindo que seguem um passeio aleatório sem desvios (ou seja, o preço médio a longo prazo deve permanecer constante) - não sendo a hipótese mais precisa, mas mesmo assim benigna. np.random.seed(10) # needed for reproducibility price_moves = 3*pd.Series(np.random.randn(100)) # generating random "steps" with 0 mean price_vec = 100 + price_moves.cumsum() # generating brownian motion price_vec.plot() Bem, o enredo parece bastante bem-intencionado. Suponha que agora queiramos descobrir a média empírica das diferenças diárias de preços - price_vec.diff().mean() #sample mean >0.20030544816842052 Obviamente diferente de zero, ao contrário da série geradora - mas isso é apenas ruído de amostra. Até agora tudo bem. Descartando dados Agora vamos deformar um pouco esses dados, excluindo alguns pontos de dados: price_vec_na_simple = price_vec.copy() price_vec_na_simple.iloc[90:95] = np.array([np.NaN, np.NaN, np.NaN, np.NaN, np.NaN]) # price_vec_na_simple.diff().mean() >0.1433356258183252 Notamos algumas coisas imediatamente - A média é de alguma forma não-NA, embora o vetor contenha claramente NAs diff A média é diferente daquela que obtivemos antes Agora, o número 1 é bastante fácil - remove automaticamente NA por padrão. pd.mean Mas e quanto ao número 2? Vamos repensar o que estamos computando. É fácil mostrar que, pelo menos sem NAs, a diferença média de preços deveria ser simplesmente - na verdade, quando somamos as diferenças de preços, todas as peças “intermediárias” se cancelam, assim ! (price_vec[99]-price_vec[0])/99 (price_vec[1] - price_vec[0]) + (price_vec[2] - price_vec[1]) + .. Agora, com os dados ausentes inseridos, se considerarmos as diferenças e eliminarmos s, esse cancelamento será quebrado - algumas contas fáceis mostram que agora você está computando . primeiro depois NA (price_vec[99] - price_vec[0] - price_vec[95] + price_vec[89])/93 Para mostrar isso, observe que os dois termos a seguir são agora omitidos - e , uma vez que é avaliado como NA e é então descartado. price_vec[95] - price_vec[94] price_vec[90] - price_vec[89] (NA - any number) Vamos verificar isso: (price_vec[99] - price_vec[0])/99 >0.20030544816842052 (price_vec[99] - price_vec[0] - price_vec[95] + price_vec[89])/93 >0.1433356258183252 Agora fica mais claro como podemos consertar as coisas - precisamos abandonar os NAs e depois - primeiro diff price_vec_na_simple.dropna().diff().mean() >0.21095999328376203 A média está de volta onde deveria estar - ocorre uma pequena discrepância porque agora temos menos termos na média - 94 em vez de 99. quase Ok, parece que se nos importamos apenas com a média, estamos bem apenas usando (desde que façamos certo)? Afinal, a diferença entre e está claramente dentro da nossa tolerância ao ruído. Bem, não exatamente - vamos ver por quê. dropna 0.2 0.21 LOCF O que é LOCF? LOCF significa Última observação realizada. A ideia por trás disso é super simples - se eu registrar dados em alguns intervalos de tempo, que podem ou não ser regulares, se alguma observação de intervalo específico estiver faltando, simplesmente assumimos que nada mudou em nossa variável e a substituímos pela última não- valor ausente (por exemplo - [3, 5, NA, 8] → [3, 5, 5, 8]). Alguém pode perguntar - em primeiro lugar, por que se preocupar com um intervalo com uma observação faltante, ou seja, não apenas excluí-lo como no método de “descarte”? Bom, a resposta está no defeito inerente da “queda” que não mencionei acima. Suponha que você registre várias quantidades de uma vez, especialmente aquelas que geralmente não mudam muito rapidamente - como registros horários de temperatura e umidade. Suponha que você tenha ambos os valores para 10h, 11h e 12h, apenas umidade às 13h. Você simplesmente exclui essa “linha” - ou seja, finge que não tem leitura para 13h? Bem, tudo bem se você tiver apenas duas variáveis - mesmo que tenha removido algumas informações potencialmente valiosas (a umidade das 13h). se você tiver muitas dessas ocorrências ou muitas variáveis ao mesmo tempo, a eliminação poderá deixá-lo praticamente sem dados! mas Mas Uma alternativa muito atraente é simplesmente assumir que mudou na temperatura entre 12h e 13h. Afinal, se alguém viesse até nós às 12h30 e nos perguntasse - “qual é a temperatura atual”, teríamos respondido corretamente com a leitura das 12h (se não conseguirmos obter uma nova leitura imediatamente, é claro ). Por que não usar a mesma lógica para o valor 13h? nada usar LOCF (em finanças)? Por que Primeiro, vamos testar nossa abordagem recém-descoberta com os dados anteriores: price_vec_na_simple.ffill().diff().mean() # ffill performs LOCF by default >0.20030544816842052 Parece que recuperamos nosso antigo valor com precisão! Além disso, se você quiser fazer mais pesquisas sobre os dados de diferença de preço - parece mais “ordenado” agora, pois tem uma entrada para cada dia, embora cinco dessas entradas sejam agora 0 (por quê? tente executar para ver por si mesmo). price_vec_na_simple.ffill().diff().iloc[90:95] Além disso, em finanças, os dados em falta e os dados muitas vezes se juntam. Deixe-me ilustrar isso: atípicos #inflate two observations, delete three next ones price_moves_na[90] += 20 price_moves_na[91] += 30 price_moves_na[92] -= 50 # to "deflate" the price shock back price_vec_na = (100 + price_moves_na.cumsum()) price_vec_na[92:95] = [np.NaN, np.NaN, np.NaN] price_vec_na.tail(20).plot() price_vec_na.diff().dropna().mean() >0.7093365245831178 Podemos ver que, após um forte aumento de preços, os dados simplesmente não ficam disponíveis por 3 dias consecutivos. Este não é um exemplo tão “artificial” como pode parecer! Imagine que a negociação foi interrompida após o pico, pelo menos nesta bolsa em particular. acontecendo nos bastidores que realmente “conectaram” os pontos entre o pico e o pós-pico, acalme-se. Mas não sabe disso e não tem nenhum dado para isso! você Qual é a suposição mais natural se não tivermos novos dados? Bem, lembre-se que o nosso modelo de geração de dados foi fundamentalmente baseado em de preços. Então, se não houver novos dados, talvez o preço não esteja mudando? Isto é exatamente o que o LOCF (Last Observation Carried Forward) assume. variações Um pouco de matemática para contexto Uma observação lateral para um leitor curioso - talvez uma visão mais fundamental sobre o LOCF é particularmente adequado para dados de preços de ações é que ele geralmente é modelado como um . Grosso modo, um martingale é algo em que nossa melhor estimativa para amanhã é o que vemos hoje, ou por que martingale E[x_{t+1} | x_t] = x_t Ok, de volta aos dados reais! Vamos examinar as consequências do LOCF tanto visual quanto numericamente: price_vec_na.ffill().tail(20).plot() price_vec_na.ffill().diff().mean() >0.20030544816842052 Imediatamente, vemos os prós e os contras do LOCF (literalmente)! Por um lado, a média está de volta onde “esperamos” que esteja – ou seja, o valor empírico inalterado. No entanto, introduzimos um período bastante feio onde o preço está fora do “típico” e uma queda artificial no preço entre os dias 94 e 95. E a imputação? Vamos contrastar os resultados que obtemos do LOCF com a imputação (média). É uma escolha muito comum para manipulação de NA, especialmente para dados que não são de séries temporais. No entanto, se feito de forma ingénua, tem muitas desvantagens quando utilizado para dados financeiros. Se você usar apenas a média de todas as amostras, introduzirá um óbvio viés de antecipação - ou seja, usará dados futuros para imputar valores passados. Usar algum tipo de retrospectiva ou média móvel é certamente melhor - no entanto, às vezes pode entrar em conflito com a visão de “linha de base” do martingale que descrevemos antes. Vamos examinar isso com mais detalhes. Usarei a imputação retrospectiva em nossos dados antigos - price_vec_na_impute = price_vec_na.copy() price_vec_na_impute[price_vec_na_impute.isna()] = price_vec_na.iloc[:90].mean() price_vec_na_impute.diff().mean() >0.20030544816842052 Recuperamos a média de variação de preço “correta”, igual ao LOCF. MAS introduzimos uma queda artificial de preços entre os dias 91 e 92 que, em alguns aspectos, é ainda pior do que a que tivemos antes. Afinal, aquele aconteceu quando ou depois que as coisas provavelmente se acalmaram, enquanto este apenas pressupõe que tudo voltará ao normal imediatamente. Além disso, na prática pode ser um pouco desafiador equilibrar a janela retrospectiva de modo que a) captemos tendências recentes, mas também b) captemos tendências de longo prazo (o habitual equilíbrio entre viés e variância). Adicionando uma segunda variável Suponhamos agora que queremos realizar uma tarefa mais complexa – extrair a correlação entre os movimentos de preços de dois ativos a partir dos dados empíricos, quando uma ou ambas as séries de preços têm dados em falta. Claro, ainda podemos usar drop, mas: mesmo que possamos usá-lo, é ideal? e se tivermos muitas variáveis - então eliminar todas as linhas com pelo menos um NA poderia nos deixar sem nenhum dado! Há muitas razões pelas quais alguém pode querer calcular a correlação - é o primeiro passo da EDA em quase todos os modelos multivariáveis, é amplamente utilizado em qualquer tipo de e assim por diante. Portanto, medir esse número com a maior precisão possível é absolutamente necessário! construção de portfólio Para ilustrar, vamos gerar uma segunda variável com uma correlação “embutida” de 0,4 com a primeira. Para fazer isso, usaremos uma espécie de . A imagem que se pode ter em mente é a de duas ações correlacionadas que partilham um fator de risco importante, mas a segunda ação também tem exposição a um fator de risco importante que a primeira não tem. Pense no Google e no Facebook, por exemplo – o primeiro factor poderia ser o sentimento genérico sobre o sector tecnológico e o segundo poderia ser a concorrência com redes sociais rivais. Modelo de Mistura Gaussiana np.random.seed(2) # needed to ensure a fixed second series price_moves_2 = pd.Series(np.random.randn(100)) price_vec_2 = 50+(0.4*price_moves/3 + np.sqrt(1-0.4**2)*price_moves_2).cumsum() # all this math to ensure we get a 0.4 "theoretical" correlation with the first one Vamos verificar a correlação empírica “linha de base” - isto é, sem os NAs e saltos. pd.concat([price_vec, price_vec_2], axis = 1).diff().corr().iloc[0,1] >0.4866403018044526 Agora, isso está razoavelmente próximo da correlação “teórica” – é bem sabido que a medição empírica da correlação é propensa a ruídos bastante grandes. NAs sem outliers Na próxima etapa, examinaremos o caso com NAs, mas sem valores discrepantes. Também compararemos o que acontece se antes e depois dropna diff pd.concat([price_vec_na_simple, price_vec_2], axis = 1).diff().corr().iloc[0,1] # implicit dropna after diff >0.5022675176281746 pd.concat([price_vec_na_simple, price_vec_2], axis = 1).dropna().diff().corr().iloc[0,1] >0.5287405341268966 Ambos os resultados estão bastante próximos e não muito distantes do valor “empírico” que obtivemos antes. Vamos verificar se o LOCF e a imputação também funcionam bem: pd.concat([price_vec_na_simple, price_vec_2], axis = 1).ffill().diff().corr().iloc[0,1] >0.5049380499525835 price_vec_na_simple_impute = price_vec_na_simple.copy() price_vec_na_simple_impute[price_vec_na_simple_impute.isna()] = price_vec_na_simple_impute.iloc[:90].mean() pd.concat([price_vec_na_simple_impute, price_vec_2], axis = 1).ffill().diff().corr().iloc[0,1] >0.4866728183859715 Ao comparar os 4 resultados acima, vemos que todos os métodos funcionam muito bem. Talvez devêssemos esperar o mesmo para o caso atípico, então? NAs com outliers Lembre-se, para permanecermos consistentes, precisamos expor a segunda série de preços aos choques de preços que a primeira sofreu, mas os NAs seguintes. Voltando ao exemplo acima – imagine algum evento importante causando um aumento no primeiro fator de risco que eventualmente interrompe a negociação do primeiro ativo. O segundo ativo também experimentará isso, claro, mas talvez em menor grau e, portanto, não ocorreria nenhuma parada e, portanto, nenhum NA. mesmos sem price_vec_na_2 = 50+(0.4*price_moves_na/3 + np.sqrt(1-0.4**2)*price_moves_2).cumsum() Vamos comparar novamente o desempenho de todos os nossos métodos - pd.concat([price_vec_na, price_vec_na_2], axis = 1).diff().corr().iloc[0,1] >0.6527112906179914 pd.concat([price_vec_na, price_vec_na_2], axis = 1).dropna().diff().corr().iloc[0,1] >0.7122391279139506 Isso é uma grande diferença tanto no valor teórico quanto no empírico! Que tal LOCF e imputação? pd.concat([price_vec_na, price_vec_na_2], axis = 1).ffill().diff().corr().iloc[0,1] >0.33178239830519984 pd.concat([price_vec_na_impute, price_vec_na_2], axis = 1).dropna().diff().corr().iloc[0,1] >0.7280990594963112 Agora finalmente vemos quanto vale o LOCF! Supera claramente todos os outros métodos! Potenciais armadilhas + interpolação Claro, isso não é 100% robusto. Por um lado, ao fazer LOCF, introduzimos uma grande queda de preço quando os dados faltantes terminam. Se coincidir com alguns valores discrepantes no segundo vetor de preços, os resultados poderão mudar bastante. (*Um exercício para o leitor - vire o sinal do movimento de preço de e verifique como isso afeta os resultados). Não está muito claro se é “limpo” apenas introduzir esta queda de preço em vez de, por exemplo, interpolar entre o pico de preço e o valor “normal” posterior . Contudo, especialmente para uma utilização “ao vivo”, a interpolação não é realmente possível! Afinal, se hoje é o dia 93, como podemos interpolar usando um valor futuro registrado no final do dia 95? Para um estudo histórico - claro, isso continua sendo uma opção, mas ainda não está claro como interpretá-lo e usá-lo para previsões reais! Concluindo, a interpolação através da dimensão temporal é possível, mas um pouco mais questionável. price_vec_na_2[95] price_vec_na[91] price_vec_na[95] Conclusões Tentei apresentar um pequeno estudo de caso para apresentar e defender por que o LOCF costuma ser a opção mais atraente e simples para lidar com dados ausentes em séries temporais financeiras. Para recapitular, os prós são: Atraente do ponto de vista martingale/”fluxo de informação” Super fácil de implementar Não há necessidade de otimizar (em oposição à imputação) Lida com outliers pelo menos decentemente Alguns contras: Pode potencialmente causar grandes saltos no final do período ausente Pode perder algumas dinâmicas articulares diferenciadas quando usado para diversas variáveis Como quant em uma loja de comércio de prop, eu o uso em quase todos os meus estudos como uma base eficaz. Algumas situações exigem medidas mais sutis, é claro, mas essas são poucas e raras e geralmente também não são 100% “resolvidas” por nenhum dos outros três métodos mencionados.
