est un outil puissant pour tirer des conclusions et faire des prédictions sur des populations basées sur des données d'échantillon. Cela et de comprendre l'efficacité des différentes options. Une application populaire de l'inférence statistique est , où nous comparons deux versions ou traitements pour déterminer celui qui est le plus performant. Cependant, L'inférence statistique nous permet de prendre des décisions éclairées le test A/B que se passe-t-il lorsque nous introduisons d'autres versions ou traitements dans le test ? Il peut sembler que l'introduction de versions supplémentaires dans une expérience est l'occasion de prendre des décisions encore meilleures. , s'il n'est pas géré correctement, . Ce défi est connu sous le nom de . Malheureusement le nombre accru d'hypothèses vérifiables peut conduire à des résultats trompeurs et à des décisions incorrectes problème des comparaisons multiples Dans cet article, j'explique le concept de test d'hypothèses multiples, son écueil potentiel, et je donne une solution possible prise en charge par une simulation Python. Qu'est-ce qu'un test d'hypothèses multiples ? Pour comprendre les tests d'hypothèses multiples, commençons par examiner les concepts fondamentaux d'un . test A/B simple impliquant deux variantes Dans un test A/B, on commence par formuler deux hypothèses concurrentes : l' , qui représente l'absence de différence entre les variantes, et l' , qui suggère la présence d'une différence. hypothèse nulle hypothèse alternative Ensuite, nous avons défini un noté . Ce seuil détermine la . Les niveaux de signification couramment utilisés sont 0,05 (5 %) et 0,01 (1 %), indiquant la probabilité d' niveau de signification alpha quantité de preuves requises pour rejeter l'hypothèse nulle observer les données si l'hypothèse nulle était vraie. Après avoir exécuté l'expérience et collecté les données, nous calculons . La . Si la valeur de p est inférieure au niveau de signification , nous rejetons l'hypothèse nulle en faveur de l'hypothèse alternative. les valeurs de p valeur de p représente la probabilité d'obtenir un résultat aussi extrême ou plus extrême que les données observées si l'hypothèse nulle était vraie alpha Il est important de noter qu'une faible valeur de p suggère des preuves solides contre l'hypothèse nulle, indiquant que les données observées ne sont pas susceptibles de se produire uniquement par hasard. Cependant, cela n'implique pas de certitude. Il reste une probabilité non nulle d'observer une différence entre les échantillons même si l'hypothèse nulle est vraie. Lorsque nous rencontrons une situation avec , nous l'appelons . Dans de tels cas, la complexité augmente car nous devons examiner attentivement l'impact potentiel de la réalisation simultanée de plusieurs tests. plusieurs hypothèses alternatives test d'hypothèses multiples Les pièges des tests d'hypothèses multiples L'écueil des tests d'hypothèses multiples survient lorsque nous testons plusieurs hypothèses sans ajuster le niveau de signification . Dans de tels cas, nous , ce qui signifie que nous avons tendance à (trouver la différence) (pas de différence du tout). alpha gonflons par inadvertance le taux d'erreurs de "Type I" rejeter une hypothèse nulle alors que cette hypothèse nulle est en fait vraie Plus nous testons d'hypothèses simultanément, plus nous avons de chances de trouver une valeur de p inférieure à pour hypothèse et de conclure à tort à une différence significative. alpha au moins une Pour illustrer ce problème, considérons un scénario dans lequel nous souhaitons tester hypothèses pour déterminer laquelle de plusieurs nouvelles conceptions de pages Web attire le plus de clients avec . Supposons que nous sachions qu'aucune , ce qui signifie que l'hypothèse nulle est valable pour tous cas. N alpha = 0.05 des nouvelles conceptions n'est meilleure que celle par défaut N Cependant, pour chaque cas, il y a une probabilité de 5 % (en supposant que l'hypothèse nulle est vraie) de commettre une , ou un . En d'autres termes, il y a une probabilité de 95 % de ne pas détecter correctement un faux positif. Théoriquement, la probabilité d'avoir au moins un faux positif parmi les tests est égale à . Par exemple, lorsque , cette probabilité est d'environ 40 %, nettement supérieure aux 5 % initiaux. erreur de « type I » faux positif N 1 - (1 - alpha)^N = 1 - 0.95^N N = 10 Le problème devient plus apparent à mesure que nous augmentons le nombre d'hypothèses testées. Même dans les scénarios où seuls quelques variants et sous-échantillons sont impliqués, le nombre de comparaisons peut rapidement s'accumuler. Par exemple, la comparaison de trois conceptions D1, D2 et D3 pour tous les utilisateurs, puis séparément pour les utilisateurs du pays C1, et à nouveau pour les utilisateurs des pays autres que C1, donne un total de neuf comparaisons. Il est facile de s'engager involontairement dans de multiples comparaisons sans se rendre compte de l'inflation subséquente des taux d'erreur de type I. La résurrection d'un saumon à l'aide de tests d'hypothèses multiples Plongeons-nous dans un qui met en évidence les conséquences de ne pas contrôler les erreurs de « Type I » lors du test de plusieurs hypothèses. exemple intrigant En 2009, Pour comprendre comment ce résultat inattendu est arrivé, nous devons explorer la nature des scans IRMf. un groupe de chercheurs a effectué une analyse IRMf sur un saumon de l'Atlantique mort et a étonnamment découvert une activité cérébrale comme s'il était vivant ! , où de nombreux tests sont effectués sur chaque patient. Les scanners surveillent les changements dans l'oxygénation du sang en tant qu'indicateur de l'activité cérébrale. Les chercheurs se concentrent généralement sur des régions d'intérêt spécifiques, ce qui les amène à diviser tout le volume corporel en petits cubes appelés voxels. . En raison du désir d'analyses haute résolution, Les scanners IRMf servent de plates-formes expérimentales étendues Chaque voxel représente une hypothèse testant la présence d'une activité cérébrale dans ce cube particulier les scanners IRMf finissent par évaluer des milliers d'hypothèses au cours d'une seule procédure. Dans ce cas, les chercheurs pas et Cependant, ce résultat contredit notre compréhension selon laquelle le . , illustrant l'importance de résoudre le problème des erreurs de type I. n'ont intentionnellement corrigé de manière appropriée le niveau de signification initial alpha = 0.001 ils ont identifié trois voxels avec une activité cérébrale chez le saumon décédé. saumon est effectivement décédé Lors de la correction du niveau de signification, le phénomène de type résurrection a disparu Chaque fois que plusieurs hypothèses sont testées dans une seule expérience, il devient crucial de relever ce défi et de contrôler les erreurs de type I. Diverses techniques statistiques, telles que la , peuvent être utilisées pour atténuer le taux de faux positifs gonflé associé aux tests d'hypothèses multiples. correction de Bonferroni Correction de Bonferroni La est une procédure statistique spécialement conçue pour relever le défi des comparaisons multiples lors des tests d'hypothèses. correction de Bonferroni Théorie Supposons que vous deviez tester hypothèses au cours d'une expérience tout en vous assurant que la probabilité d'erreur de type I reste inférieure à . N alpha L'idée sous-jacente de la procédure est simple : . Vous souvenez-vous de la formule de la probabilité d'au moins un faux positif ? Dans cette formule, nous avons , qui peut être diminué pour diminuer la probabilité globale. réduire le niveau de signification requis pour rejeter l'hypothèse nulle pour chaque hypothèse alternative alpha Ainsi, pour obtenir une probabilité plus faible d'au moins un faux positif parmi plusieurs hypothèses, vous pouvez comparer chaque valeur de p non pas avec mais avec quelque chose de plus petit. alpha Mais qu'est-ce exactement que "quelque chose de plus petit" ? Il s'avère que l'utilisation comme niveau de signification pour chaque hypothèse individuelle garantit que la probabilité globale d'erreur de type I reste inférieure à . bonferroni_alpha = alpha / N alpha Par exemple, si vous testez 10 hypothèses ( ) et que le niveau de signification souhaité est de 5 % ( ), vous devez comparer chaque valeur p individuelle avec En faisant ainsi, la probabilité de rejeter par erreur au moins une vraie hypothèse nulle ne dépassera pas le niveau souhaité de 0,05. N = 10 alpha = 0.05 bonferroni_alpha = alpha / N = 0.05 / 10 = 0.005 Cette technique remarquable fonctionne grâce à , qui stipule que . Bien qu'une preuve mathématique formelle existe, les explications visuelles fournissent une compréhension intuitive : l'inégalité de Boole la probabilité de l'union des événements est inférieure ou égale à la somme de leurs probabilités individuelles Ainsi, lorsque chaque hypothèse individuelle est testée à un niveau de signification, nous avons une probabilité d'un faux positif. Pour de tels tests, la probabilité d'union d'événements « faux positifs » est inférieure ou égale à la somme des probabilités individuelles. Ce qui, dans le pire des cas lorsque l'hypothèse nulle de tous les tests N est vérifiée, est égal à bonferroni_alpha = alpha / N bonferroni_alpha N N * bonferroni_alpha = N * (alpha / N) = alpha Pratique Pour étayer davantage les concepts abordés précédemment, effectuons . Nous observerons les résultats et évaluerons l'efficacité de la correction de Bonferroni. une simulation en Python Considérons un scénario où nous avons 10 hypothèses alternatives dans un seul test. Supposons que dans les 10 cas, l'hypothèse nulle est vraie. Vous reconnaissez qu'un niveau de signification d' est approprié pour votre analyse. alpha = 0.05 Cependant, sans aucune correction pour l'erreur de type I gonflée, nous nous attendons à une probabilité théorique d'environ 40 % de rencontrer au moins un résultat faux positif. Et après application de la correction de Bonferroni, nous nous attendons à ce que cette probabilité ne dépasse pas 5 %. Pour une expérience spécifique, nous obtenons au moins un faux positif ou non. Ces probabilités ne peuvent être vues que sur une échelle d'expériences multiples. Exécutons ensuite la simulation de chaque expérience individuelle 100 fois et calculons le nombre d'expériences avec au moins un faux positif (valeur de p inférieure au seuil de signification) ! Vous pouvez trouver le fichier avec tout le code pour exécuter cette simulation et générer des graphiques dans mon référentiel sur GitHub - .ipynb IgorKhomyanin/blog/bonferroni-and-salmon import numpy as np import matplotlib.pyplot as plt # To replicate the results np.random.seed(20000606) # Some hyperparameters too play with N_COMPARISONS = 10 N_EXPERIMENTS = 100 # Sample p-values # As we assume that null hypothesis is true, # the p-value would be distributed uniformly sample = np.random.uniform(0, 1, size=(N_COMPARISONS, N_EXPERIMENTS)) # Probability of type I error we are ready to accept # Probabiltiy of rejecting null hypothesis when it is actually true alpha = 0.05 # Theoretical False Positive Rate # # 1. # Probability that we cocnlude a significant difference for a given comparison # is equal to alpha by definition in our setting of true null hypothesis # Then [(1 - alpha)] is the probability of not rejecting the null hypothesis # # 2. # As experiments are considered independent, the probability of not rejecting # the null hypothesis in [(1 - alpha)]^N # # 3. # Probability that at least one is a false positive is equal to # 1 - (probability from 2.) prob_at_least_one_false_positive = 1 - ((1 - alpha) ** N_COMPARISONS) # Observed False Positive Rate # We conclude that experiment is a false positive when p-value is less than alpha false_positives_cnt = np.sum(np.sum(sample <= alpha, axis=0) > 0) false_positives_share = false_positives_cnt / N_EXPERIMENTS # Bonferroni correction bonferroni_alpha = alpha / N_COMPARISONS bonferroni_false_positive_comparisons_cnt = np.sum(np.sum(sample <= bonferroni_alpha, axis=0) > 0) bonferroni_false_positive_comparisons_share = bonferroni_false_positive_comparisons_cnt / N_EXPERIMENTS print(f'Theoretical False Positive Rate Without Correction: {prob_at_least_one_false_positive:0.4f}') print(f'Observed False Positive Rate Without Correction: {false_positives_share:0.4f} ({false_positives_cnt:0.0f} out of {N_EXPERIMENTS})') print(f'Observed False Positive Rate With Bonferroni Correction: {bonferroni_false_positive_comparisons_share:0.4f} ({bonferroni_false_positive_comparisons_cnt:0.0f} out of {N_EXPERIMENTS})') # Output: # Theoretical False Positive Rate Without Correction: 0.4013 # Observed False Positive Rate Without Correction: 0.4200 (42 out of 100) # Observed False Positive Rate With Bonferroni Correction: 0.0300 (3 out of 100) Voici une visualisation des résultats : L'image du haut représente chaque carré comme la valeur p d'une comparaison individuelle (test d'hypothèse). Plus le carré est foncé, plus la valeur de p est élevée. Puisque nous savons que l'hypothèse nulle est valable dans tous les cas, tout résultat significatif serait un faux positif. Le graphique du milieu représente les expériences sans correction, tandis que le graphique du bas représente les expériences avec la correction de Bonferroni. Lorsque la valeur de p est inférieure au seuil de signification (indiqué par des carrés presque blancs), nous rejetons l'hypothèse nulle et obtenons un résultat faux positif. Les expériences avec au moins un faux positif sont colorées en rouge. De toute évidence, la correction a fonctionné efficacement. Sans correction, nous observons 42 expériences sur 100 avec au moins un faux positif, ce qui correspond étroitement à la probabilité théorique d'environ 40 %. Cependant, avec la correction de Bonferroni, nous n'avons que 3 expériences sur 100 avec au moins un faux positif, restant bien en dessous du seuil de 5% souhaité. , validant ainsi son utilité dans les tests à hypothèses multiples. Grâce à cette simulation, nous pouvons observer visuellement l'impact de la correction de Bonferroni sur l'atténuation de l'apparition de faux positifs Conclusion Dans cet article, j'ai expliqué le concept de tests d'hypothèses multiples et souligné son danger potentiel. Cette probabilité accrue peut conduire à des conclusions erronées sur des effets significatifs qui peuvent s'être produits par hasard s'ils ne sont pas traités de manière appropriée. Lors du test de plusieurs hypothèses, comme la réalisation de plusieurs comparaisons lors d'un test A/B, la probabilité d'observer un événement rare de « faux positif » augmente. , qui ajuste les niveaux de signification pour chaque hypothèse individuelle. En tirant parti de l'inégalité de Boole, cette correction aide à contrôler le niveau de signification global au seuil souhaité, réduisant ainsi le risque de faux positifs. Une solution possible à ce problème est la correction de Bonferroni Cependant, il est important de reconnaître que chaque solution a un coût. Cela signifie qu'une plus grande taille d'échantillon ou des effets plus forts peuvent être nécessaires pour détecter les mêmes différences. Les chercheurs doivent soigneusement considérer ce compromis lorsqu'ils décident de mettre en œuvre la correction de Bonferroni ou d'autres méthodes de correction. Lors de l'utilisation de la correction de Bonferroni, le niveau de signification requis diminue, ce qui peut avoir un impact sur la puissance de l'expérience. Si vous avez des questions ou des commentaires concernant le contenu abordé dans cet article, n'hésitez pas à les partager. S'engager dans une discussion et une exploration plus approfondies des techniques statistiques est essentiel pour une meilleure compréhension et application dans la pratique. Les références - Mon référentiel GitHub avec tout le code nécessaire pour exécuter la simulation et générer des graphiques IgorKhomyanin/blog/bonferroni-and-salmon pour générer l'image de couverture Kandinsky 2.1 Bennett, CM, MB Miller et GL Wolford. "Corrélats neuronaux de la perspective interspécifique dans le saumon atlantique post-mortem : un argument en faveur de la correction des comparaisons multiples." NeuroImage 47 (juillet 2009) : S125. https://doi.org/10.1016/s1053-8119(09)71202-9 Wikipédia - Correction de Boferroni Wikipédia - Inégalité de Boole
