サンプルデータに基づいて結論を導き出し、母集団について予測を行うための強力なツールです。これにより、 、さまざまなオプションの有効性を理解できるようになります。統計的推論の一般的なアプリケーションの 1 つは であり、2 つのバージョンまたは処理を比較して優れたパフォーマンスを決定します。しかし、 ? 統計的推論は、 情報に基づいた意思決定が可能になり A/B テスト 実験に さらに多くのバージョンや処理を導入するとどうなるでしょうか 実験での追加バージョンの導入は、より適切な決定を下す機会になるように思えるかもしれません。 、適切に処理しないと、 。この課題は、 として知られています。 残念ながら テスト可能な仮説の数が増加し、誤解を招く結果や誤った決定につながる可能性があります 多重比較問題 この記事では、複数の仮説テストの概念とその潜在的な落とし穴について説明し、Python シミュレーションでサポートされる考えられる解決策の 1 つを示します。 多重仮説検定とは何ですか? 複数の仮説テストを理解するには、 の基本概念を調べることから始めましょう。 2 つのバリアントを含む単純な A/B テスト A/B テストでは、2 つの競合する仮説を立てることから始めます。1 つはバリアント間に差異がないことを表す 、もう 1 つは差異の存在を示唆する です。 帰無仮説 対立仮説 次に、 で示される を設定します。このしきい値 決まります。一般的に使用される有意水準は 0.05 (5%) および 0.01 (1%) で、 alpha 有意水準 によって、帰無仮説を棄却するために必要な証拠の量が 帰無仮説が真である場合にデータが観察される確率を示します。 実験を実行してデータを収集した後、 計算します。 。 p 値が有意水準 より小さい場合、帰無仮説を棄却して対立仮説を優先します。 p 値を p 値は、帰無仮説が真である場合に、観察されたデータと同じかそれよりも極端な結果が得られる確率を表します alpha 低い p 値は帰無仮説に対する強力な証拠を示唆し、観察されたデータが偶然のみで発生する可能性が低いことを示していることに注意することが重要です。ただし、これは確実性を意味するものではありません。 帰無仮説が正しい場合でも、サンプル間の差異が観察される確率はゼロではありません。 ある状況に遭遇した場合、それを と呼びます。このような場合、複数のテストを同時に実行することによる潜在的な影響を慎重に考慮する必要があるため、複雑さが増します。 複数の対立仮説が 多重仮説検定 複数の仮説検証の落とし穴 複数の仮説検定の落とし穴は、有意水準 を調整せずに複数の仮説を検定するときに発生します。このような場合、私たちは 。これは (差異を見つける) 傾向があることを意味します。 alpha 誤って「タイプ I」の誤りの割合を大きくしてしまいます 、この帰無仮説が実際には真である (差異がまったくない) にもかかわらず、帰無仮説を 棄却する 同時にテストする仮説の数が多いほど、 仮説で よりも低い p 値が見つかり、誤って有意差があると結論付けられる可能性が高くなります。 少なくとも 1 つの alpha この問題を説明するために、 の仮説をテストして、複数の新しい Web ページ デザインのどれが望ましい でより多くの顧客を引き付けるかを決定するシナリオを考えてみましょう。 わかっていると仮定しましょう。これは、 個のケースすべてに対して帰無仮説が成り立つことを意味します。 N alpha = 0.05 新しい設計はどれもデフォルトの設計より優れていないことが N ただし、各ケースで、 、つまり が発生する確率は 5% です (帰無仮説が正しいと仮定)。言い換えれば、95% の確率で誤検知が正しく検出されないということです。理論的には、 回のテストで少なくとも 1 つの偽陽性が発生する確率 に等しくなります。たとえば、 の場合、この確率は約 40% となり、最初の 5% よりも大幅に高くなります。 「タイプ I」エラー 偽陽性 N 1 - (1 - alpha)^N = 1 - 0.95^N N = 10 テストされる仮説の数が増えるにつれて、問題はより明らかになります。少数のバリアントとサブサンプルのみが関係するシナリオでも、比較の数はすぐに蓄積される可能性があります。たとえば、すべてのユーザーについて 3 つのデザイン D1、D2、および D3 を比較し、次に C1 国のユーザーについて個別に比較し、さらに C1 以外の国のユーザーについて再度比較すると、合計 9 つの比較が行われます。 タイプ I エラー率がその後上昇することに気づかずに、無意識のうちに複数の比較を行ってしまうことがよくあります。 複数の仮説検証を使用したサケの復活 複数の仮説をテストするときに「タイプ I」エラーを制御しない場合の結果を浮き彫りにする を詳しく見てみましょう。 興味深い例 2009 年、 この予期せぬ結果がどのようにして生じたのかを理解するには、fMRI スキャンの性質を調査する必要があります。 研究者グループは死んだタイセイヨウサケの fMRI スキャンを実施し、驚くべきことに、あたかも生きているかのような脳活動を発見しました。 。スキャナーは、脳活動の指標として血液酸素化の変化を監視します。研究者は通常、特定の関心領域に焦点を当て、体積全体をボクセルと呼ばれる小さな立方体に分割します。 。高解像度のスキャンが必要なため、 fMRI スキャナーは、各患者に対して多数の検査が行われる広範な実験プラットフォームとして機能します 各ボクセルは、その特定の立方体内の脳活動の存在をテストする仮説を表します fMRI スキャナーは 1 回の手順で何千もの仮説を評価することになります。 この場合、研究者らは を適切に補正 、 しかし、この結果は、 という私たちの理解に矛盾します。 、タイプ I エラーの問題に対処する重要性が示されました。 意図的に 初期の有意水準 alpha = 0.001 せず 死んだサケの脳活動のある 3 つのボクセルを特定しました。 サケが確かに死んでいる 有意水準を修正すると、復活のような現象が消え 1 つの実験内で複数の仮説をテストする場合は常に、この課題に取り組み、タイプ I のエラーを制御することが重要になります。 などのさまざまな統計手法を使用して、複数の仮説検定に関連して増大する偽陽性率を軽減できます。 ボンフェローニ補正 ボンフェローニ補正 仮説検定中の多重比較の課題に対処するために特別に設計された統計手順です。 ボンフェローニ補正は、 仮説 実験中に、タイプ I エラーの確率が 未満に留まるようにしながら、 仮説をテストする必要があるとします。 alpha N この手順の基本的な考え方は単純です。 。少なくとも 1 つの偽陽性が発生する確率の公式を覚えていますか?この式には があり、これを減らすと全体の確率が減少します。 つまり、対立仮説ごとに帰無仮説を棄却するために必要な有意水準を下げるというものです alpha したがって、複数の仮説の間で少なくとも 1 つの偽陽性の確率を低くするには、各 p 値を ではなく、より小さい値と比較できます。 alpha しかし、「もっと小さなもの」とは一体何でしょうか？ 個々の仮説の有意水準として を使用すると、タイプ I 過誤の全体的な確率が 未満に保たれることがわかります。 bonferroni_alpha = alpha / N alpha たとえば、10 個の仮説 ( ) を検定し、望ましい有意水準が 5% ( ) である場合、個々の p 値を と比較する必要があります。したがって、少なくとも 1 つの真の帰無仮説を誤って棄却する確率は、望ましいレベルの 0.05 を超えることはありません。 N = 10 alpha = 0.05 bonferroni_alpha = alpha / N = 0.05 / 10 = 0.005 この注目すべき手法は、 によって機能します。正式な数学的証明は存在しますが、視覚的な説明により直感的な理解が得られます。 イベントの結合の確率が個々の確率の合計以下であるという ブールの不等式 したがって、個々の仮説が 有意水準でテストされると、偽陽性の 確率が得られます。 回のそのようなテストでは、「偽陽性」イベントの結合の確率は、個々の確率の合計以下になります。これは、すべての N 検定で帰無仮説が成立する最悪のシナリオでは、 に等しくなります。 bonferroni_alpha = alpha / N bonferroni_alpha N N * bonferroni_alpha = N * (alpha / N) = alpha 練習 前に説明した概念をさらにサポートするために、 してみましょう。結果を観察し、ボンフェローニ補正の有効性を評価します。 Python でシミュレーションを 実行 1 つのテスト内に 10 個の対立仮説があるシナリオを考えてみましょう。 10 件すべてのケースで帰無仮説が正しいと仮定します。あなたは、 の有意水準が分析に適切であることに同意します。 alpha = 0.05 ただし、増大したタイプ I エラーを修正しない場合、理論上の確率は約 40% で、少なくとも 1 つの偽陽性結果が発生すると予想されます。そして、ボンフェローニ補正を適用した後、この確率は 5% を超えないと予想されます。 特定の実験では、少なくとも 1 つの偽陽性が得られるか、得られないかのどちらかです。これらの確率は、複数の実験のスケールでのみ確認できます。 次に、個々の実験のシミュレーションを 100 回実行し、少なくとも 1 つの偽陽性 (有意水準を下回る p 値) が発生した実験の数を計算してみましょう。 このシミュレーションを実行してグラフを生成するためのすべてのコードを含む ファイルは、GitHub の私のリポジトリで見つけることができます - .ipynb IgorKhomyanin/blog/bonferroni-and-salmon import numpy as np import matplotlib.pyplot as plt # To replicate the results np.random.seed(20000606) # Some hyperparameters too play with N_COMPARISONS = 10 N_EXPERIMENTS = 100 # Sample p-values # As we assume that null hypothesis is true, # the p-value would be distributed uniformly sample = np.random.uniform(0, 1, size=(N_COMPARISONS, N_EXPERIMENTS)) # Probability of type I error we are ready to accept # Probabiltiy of rejecting null hypothesis when it is actually true alpha = 0.05 # Theoretical False Positive Rate # # 1. # Probability that we cocnlude a significant difference for a given comparison # is equal to alpha by definition in our setting of true null hypothesis # Then [(1 - alpha)] is the probability of not rejecting the null hypothesis # # 2. # As experiments are considered independent, the probability of not rejecting # the null hypothesis in [(1 - alpha)]^N # # 3. # Probability that at least one is a false positive is equal to # 1 - (probability from 2.) prob_at_least_one_false_positive = 1 - ((1 - alpha) ** N_COMPARISONS) # Observed False Positive Rate # We conclude that experiment is a false positive when p-value is less than alpha false_positives_cnt = np.sum(np.sum(sample <= alpha, axis=0) > 0) false_positives_share = false_positives_cnt / N_EXPERIMENTS # Bonferroni correction bonferroni_alpha = alpha / N_COMPARISONS bonferroni_false_positive_comparisons_cnt = np.sum(np.sum(sample <= bonferroni_alpha, axis=0) > 0) bonferroni_false_positive_comparisons_share = bonferroni_false_positive_comparisons_cnt / N_EXPERIMENTS print(f'Theoretical False Positive Rate Without Correction: {prob_at_least_one_false_positive:0.4f}') print(f'Observed False Positive Rate Without Correction: {false_positives_share:0.4f} ({false_positives_cnt:0.0f} out of {N_EXPERIMENTS})') print(f'Observed False Positive Rate With Bonferroni Correction: {bonferroni_false_positive_comparisons_share:0.4f} ({bonferroni_false_positive_comparisons_cnt:0.0f} out of {N_EXPERIMENTS})') # Output: # Theoretical False Positive Rate Without Correction: 0.4013 # Observed False Positive Rate Without Correction: 0.4200 (42 out of 100) # Observed False Positive Rate With Bonferroni Correction: 0.0300 (3 out of 100) 結果を視覚化したものが次のとおりです。 上の図は、個々の比較 (仮説検定) の p 値として各四角形を表します。正方形が暗いほど、p 値は高くなります。 すべての場合に帰無仮説が成り立つことがわかっているため、有意な結果はすべて偽陽性になります。 中央のグラフは補正なしの実験を表し、下のグラフはボンフェローニ補正を行った実験を表します。 p 値が有意水準 (ほぼ白い四角で示されます) より低い場合、帰無仮説が棄却され、偽陽性の結果が得られます。 少なくとも 1 つの偽陽性がある実験は赤色で表示されます。 明らかに、修正は効果的に機能しました。補正を行わない場合、100 件中 42 件の実験で少なくとも 1 つの偽陽性が観察され、これは理論上の約 40% の確率とほぼ一致しています。ただし、 ボンフェローニ補正を使用すると、少なくとも 1 つの偽陽性を伴う実験は 100 件中 3 件のみとなり、望ましい 5% のしきい値を十分に下回ったままになります。 、複数の仮説検定におけるその有用性をさらに検証できます。 このシミュレーションを通じて、偽陽性の発生を軽減するボンフェローニ補正の影響を視覚的に観察することができ 結論 この記事では、複数の仮説検定の概念を説明し、その潜在的な危険性を強調しました。 この確率の高まりにより、適切に対処しないと、偶然に発生した可能性のある重大な影響について誤った結論が導かれる可能性があります。 A/B テスト中に複数の比較を実行するなど、複数の仮説をテストする場合、まれなイベント「偽陽性」が観察される確率が増加します。 。ブールの不等式を活用することで、この補正は全体の有意水準を目的のしきい値で制御するのに役立ち、偽陽性のリスクを軽減します。 この問題に対する考えられる解決策の 1 つは、個々の仮説の有意水準を調整する Bonferroni 補正です ただし、すべてのソリューションにはコストがかかることを認識することが重要です。 これは、同じ違いを検出するには、より大きなサンプル サイズまたはより強力な効果が必要になる可能性があることを意味します。研究者は、ボンフェローニ補正または他の補正方法を実装することを決定する際に、このトレードオフを慎重に考慮する必要があります。 ボンフェローニ補正を利用すると、必要な有意水準が低下し、実験の検出力に影響を与える可能性があります。 この記事の内容に関してご質問やご意見がございましたら、お気軽にお寄せください。 より深く理解し、実際に応用するには、統計手法についてさらに議論し、探求することが不可欠です。 参考文献 - シミュレーションの実行とグラフの生成に必要なすべてのコードを含む私の GitHub リポジトリ IgorKhomyanin/blog/bonferroni-and-salmon によるカバー写真の生成 Kandinsky 2.1 ベネット、CM、MBミラー、GLウォルフォード。 「死後のタイセイヨウサケを考慮した種間の視点の神経相関: 複数の比較の修正に対する議論」 NeuroImage 47 (2009 年 7 月): S125。 https://doi.org/10.1016/s1053-8119(09)71202-9 ウィキペディア - ボフェローニの訂正 ウィキペディア - ブールの不等式
