là một công cụ mạnh mẽ để rút ra kết luận và đưa ra dự đoán về dân số dựa trên dữ liệu mẫu. Nó và hiểu được hiệu quả của các lựa chọn khác nhau. Một ứng dụng phổ biến của suy luận thống kê là , trong đó chúng tôi so sánh hai phiên bản hoặc phương pháp xử lý để xác định phiên bản có hiệu suất vượt trội. Tuy nhiên, Suy luận thống kê cho phép chúng tôi đưa ra quyết định sáng suốt thử nghiệm A/B điều gì sẽ xảy ra khi chúng tôi giới thiệu nhiều phiên bản hoặc phương pháp điều trị hơn cho thử nghiệm? Có vẻ như việc giới thiệu các phiên bản bổ sung trong thử nghiệm là cơ hội để đưa ra các quyết định tốt hơn nữa. , nếu không được xử lý đúng cách, . Thách thức này được gọi là . Thật không may số lượng giả thuyết có thể kiểm chứng tăng lên có thể dẫn đến kết quả sai lệch và quyết định sai lầm vấn đề so sánh nhiều lần Trong bài viết này, tôi giải thích khái niệm kiểm tra nhiều giả thuyết, cạm bẫy tiềm ẩn của nó và đưa ra một giải pháp khả thi được hỗ trợ bởi mô phỏng Python. Thử nghiệm nhiều giả thuyết là gì? Để hiểu thử nghiệm đa giả thuyết, hãy bắt đầu bằng cách xem xét các khái niệm cơ bản của . thử nghiệm A/B đơn giản liên quan đến hai biến thể Trong thử nghiệm A/B, chúng tôi bắt đầu bằng cách hình thành hai giả thuyết cạnh tranh: , thể hiện sự không có sự khác biệt giữa các biến thể và , cho thấy có sự khác biệt. giả thuyết không giả thuyết thay thế Sau đó, chúng tôi đặt được ký hiệu là . Ngưỡng này xác định . Các mức ý nghĩa thường được sử dụng là 0,05 (5%) và 0,01 (1%), cho biết xác suất mức ý nghĩa alpha lượng bằng chứng cần thiết để bác bỏ giả thuyết không quan sát dữ liệu nếu giả thuyết khống là đúng. Sau khi chạy thử nghiệm và thu thập dữ liệu, chúng tôi tính toán . . Nếu giá trị p nhỏ hơn mức ý nghĩa , chúng tôi bác bỏ giả thuyết không có lợi cho giả thuyết thay thế. giá trị p Giá trị p biểu thị xác suất thu được kết quả cực đoan bằng hoặc cực đoan hơn dữ liệu được quan sát nếu giả thuyết khống là đúng alpha Điều quan trọng cần lưu ý là giá trị p thấp cho thấy bằng chứng mạnh mẽ chống lại giả thuyết không, cho thấy dữ liệu quan sát được không có khả năng xảy ra một cách tình cờ. Tuy nhiên, điều này không có nghĩa là chắc chắn. Vẫn có một xác suất khác không khi quan sát thấy sự khác biệt giữa các mẫu ngay cả khi giả thuyết khống là đúng. Khi gặp một tình huống có , chúng tôi gọi đó là . Trong những trường hợp như vậy, độ phức tạp sẽ tăng lên khi chúng tôi cần xem xét cẩn thận tác động tiềm ẩn của việc tiến hành nhiều thử nghiệm đồng thời. nhiều giả thuyết khác nhau thử nghiệm đa giả thuyết Cạm bẫy của kiểm tra nhiều giả thuyết Cạm bẫy của việc kiểm tra nhiều giả thuyết phát sinh khi chúng ta kiểm tra nhiều giả thuyết mà không điều chỉnh mức ý nghĩa . Trong những trường hợp như vậy, chúng ta , nghĩa là chúng ta có xu hướng (tìm sự khác biệt) (không có sự khác biệt nào cả). alpha vô tình làm tăng tỷ lệ lỗi "Loại I" bác bỏ một giả thuyết không trong khi giả thuyết không này thực tế là đúng Chúng ta kiểm tra đồng thời càng nhiều giả thuyết thì càng có nhiều khả năng tìm thấy giá trị p thấp hơn cho giả thuyết và kết luận sai về sự khác biệt đáng kể. alpha ít nhất một Để minh họa vấn đề này, hãy xem xét một tình huống trong đó chúng tôi muốn thử nghiệm giả thuyết để xác định thiết kế nào trong số nhiều thiết kế trang web mới thu hút nhiều khách hàng hơn với mong muốn. Giả sử chúng ta biết rằng , nghĩa là giả thuyết không đúng cho tất cả trường hợp. N alpha = 0.05 không có thiết kế mới nào tốt hơn thiết kế mặc định N Tuy nhiên, đối với mỗi trường hợp, có 5% xác suất (giả sử giả thuyết khống là đúng) phạm hoặc . Nói cách khác, có 95% xác suất không phát hiện chính xác dương tính giả. Về mặt lý thuyết, xác suất có ít nhất một lần dương tính giả trong số lần thử nghiệm bằng . Chẳng hạn, khi , xác suất này xấp xỉ 40%, cao hơn đáng kể so với 5% ban đầu. lỗi “Loại I” dương tính giả N 1 - (1 - alpha)^N = 1 - 0.95^N N = 10 Vấn đề trở nên rõ ràng hơn khi chúng ta tăng số lượng các giả thuyết được thử nghiệm. Ngay cả trong các tình huống chỉ có một vài biến thể và mẫu phụ tham gia, số lượng so sánh có thể nhanh chóng tích lũy. Ví dụ: so sánh ba thiết kế D1, D2 và D3 cho tất cả người dùng, sau đó là so sánh riêng cho người dùng ở quốc gia C1 và một lần nữa cho người dùng ở các quốc gia khác ngoài C1, dẫn đến tổng cộng chín phép so sánh. Thật dễ dàng để vô tình tham gia vào nhiều so sánh mà không nhận ra sự lạm phát tiếp theo của tỷ lệ lỗi Loại I. Sự hồi sinh của một con cá hồi bằng cách thử nghiệm nhiều giả thuyết Hãy đi sâu vào một làm nổi bật hậu quả của việc không kiểm soát lỗi “Loại I” khi thử nghiệm nhiều giả thuyết. ví dụ hấp dẫn Vào năm 2009, Để hiểu kết quả bất ngờ này xảy ra như thế nào, chúng ta cần khám phá bản chất của quét fMRI. một nhóm các nhà nghiên cứu đã tiến hành quét fMRI trên một con cá hồi Đại Tây Dương đã chết và phát hiện ra hoạt động não bộ một cách đáng kinh ngạc như thể nó còn sống! , trong đó nhiều thử nghiệm được tiến hành trên từng bệnh nhân. Máy quét theo dõi những thay đổi trong quá trình oxy hóa máu như một chỉ báo về hoạt động của não. Các nhà nghiên cứu thường tập trung vào các vùng quan tâm cụ thể, điều này dẫn đến việc họ phân chia toàn bộ thể tích cơ thể thành các khối nhỏ gọi là voxels. . Do mong muốn quét độ phân giải cao, Máy quét fMRI đóng vai trò là nền tảng thử nghiệm mở rộng Mỗi điểm ảnh ba chiều đại diện cho một giả thuyết kiểm tra sự hiện diện của hoạt động não trong khối lập phương cụ thể đó máy quét fMRI cuối cùng đã đánh giá hàng nghìn giả thuyết trong một quy trình duy nhất. Trong trường hợp này, các nhà nghiên cứu đã và Tuy nhiên, kết quả này mâu thuẫn với hiểu biết của chúng tôi rằng . , minh họa tầm quan trọng của việc giải quyết vấn đề lỗi Loại I. cố ý không sửa đúng mức ý nghĩa ban đầu alpha = 0.001 họ đã xác định được ba điểm ảnh ba chiều có hoạt động não ở cá hồi đã chết. con cá hồi thực sự đã chết Sau khi điều chỉnh mức ý nghĩa, hiện tượng giống như hồi sinh đã biến mất Bất cứ khi nào nhiều giả thuyết được kiểm tra trong một thử nghiệm, thì việc giải quyết thách thức này và kiểm soát lỗi Loại I trở nên quan trọng. Các kỹ thuật thống kê khác nhau, chẳng hạn như , có thể được sử dụng để giảm thiểu tỷ lệ dương tính giả tăng cao liên quan đến thử nghiệm nhiều giả thuyết. hiệu chỉnh Bonferroni hiệu chỉnh Bonferroni là một quy trình thống kê được thiết kế đặc biệt để giải quyết thách thức của nhiều phép so sánh trong quá trình kiểm tra giả thuyết. Hiệu chỉnh Bonferroni Lý thuyết Giả sử bạn cần kiểm tra giả thuyết trong một thử nghiệm trong khi vẫn đảm bảo xác suất xảy ra lỗi Loại I dưới . N alpha Ý tưởng cơ bản của quy trình rất đơn giản: . Bạn có nhớ công thức xác suất có ít nhất một lần dương tính giả không? Trong công thức đó, chúng ta có , có thể giảm xuống để giảm xác suất tổng thể. giảm mức ý nghĩa cần thiết để bác bỏ giả thuyết không đối với mỗi giả thuyết thay thế alpha Vì vậy, để đạt được xác suất thấp hơn về ít nhất một kết quả dương tính giả trong số nhiều giả thuyết, bạn có thể so sánh từng giá trị p không phải với mà với giá trị nhỏ hơn. alpha Nhưng chính xác thì "cái gì đó nhỏ hơn" là gì? Hóa ra việc sử dụng làm mức ý nghĩa cho từng giả thuyết riêng lẻ đảm bảo rằng xác suất tổng thể của lỗi Loại I vẫn ở mức dưới . bonferroni_alpha = alpha / N alpha Ví dụ: nếu bạn đang kiểm tra 10 giả thuyết ( ) và mức ý nghĩa mong muốn là 5% ( ), bạn nên so sánh từng giá trị p riêng lẻ với Bằng cách thực hiện vì vậy, xác suất bác bỏ sai ít nhất một giả thuyết không đúng sẽ không vượt quá mức mong muốn là 0,05. N = 10 alpha = 0.05 bonferroni_alpha = alpha / N = 0.05 / 10 = 0.005 Kỹ thuật đáng chú ý này hoạt động nhờ vào , cho biết . Trong khi tồn tại một bằng chứng toán học chính thức, các giải thích trực quan cung cấp một sự hiểu biết trực quan: bất đẳng thức Boole xác suất của sự kết hợp các sự kiện nhỏ hơn hoặc bằng tổng các xác suất riêng lẻ của chúng Vì vậy, khi mỗi giả thuyết riêng lẻ đang được thử nghiệm ở mức ý nghĩa chúng ta có xác suất dương tính giả. Đối với phép thử như vậy, xác suất kết hợp của các sự kiện “dương tính giả” nhỏ hơn hoặc bằng tổng các xác suất riêng lẻ. Mà, trong trường hợp xấu nhất khi trong tất cả N thử nghiệm giả thuyết khống được giữ, bằng bonferroni_alpha = alpha / N bonferroni_alpha N N * bonferroni_alpha = N * (alpha / N) = alpha Luyện tập Để hỗ trợ thêm cho các khái niệm đã thảo luận trước đó, hãy tiến hành . Chúng tôi sẽ quan sát kết quả và đánh giá hiệu quả của hiệu chỉnh Bonferroni. mô phỏng bằng Python Hãy xem xét một kịch bản trong đó chúng ta có 10 giả thuyết thay thế trong một thử nghiệm. Giả sử rằng trong cả 10 trường hợp, giả thuyết không là đúng. Bạn đồng ý rằng mức ý nghĩa là phù hợp với phân tích của bạn. alpha = 0.05 Tuy nhiên, nếu không có bất kỳ sửa chữa nào đối với lỗi Loại I bị thổi phồng, chúng tôi cho rằng xác suất lý thuyết là khoảng 40% gặp phải ít nhất một kết quả dương tính giả. Và sau khi áp dụng hiệu chỉnh Bonferroni, chúng tôi hy vọng rằng xác suất này không vượt quá 5%. Đối với một thử nghiệm cụ thể, chúng tôi có thể nhận được ít nhất một Kết quả dương tính giả hoặc không. Những xác suất này chỉ có thể được nhìn thấy trên quy mô của nhiều thí nghiệm. Sau đó, hãy chạy mô phỏng của từng thử nghiệm riêng lẻ 100 lần và tính số lượng thử nghiệm có ít nhất một Kết quả dương tính giả (giá trị p dưới mức ý nghĩa)! Bạn có thể tìm thấy tệp với tất cả mã để chạy mô phỏng này và tạo biểu đồ trong kho lưu trữ của tôi trên GitHub - .ipynb IgorKhomyanin/blog/bonferroni-and-salmon import numpy as np import matplotlib.pyplot as plt # To replicate the results np.random.seed(20000606) # Some hyperparameters too play with N_COMPARISONS = 10 N_EXPERIMENTS = 100 # Sample p-values # As we assume that null hypothesis is true, # the p-value would be distributed uniformly sample = np.random.uniform(0, 1, size=(N_COMPARISONS, N_EXPERIMENTS)) # Probability of type I error we are ready to accept # Probabiltiy of rejecting null hypothesis when it is actually true alpha = 0.05 # Theoretical False Positive Rate # # 1. # Probability that we cocnlude a significant difference for a given comparison # is equal to alpha by definition in our setting of true null hypothesis # Then [(1 - alpha)] is the probability of not rejecting the null hypothesis # # 2. # As experiments are considered independent, the probability of not rejecting # the null hypothesis in [(1 - alpha)]^N # # 3. # Probability that at least one is a false positive is equal to # 1 - (probability from 2.) prob_at_least_one_false_positive = 1 - ((1 - alpha) ** N_COMPARISONS) # Observed False Positive Rate # We conclude that experiment is a false positive when p-value is less than alpha false_positives_cnt = np.sum(np.sum(sample <= alpha, axis=0) > 0) false_positives_share = false_positives_cnt / N_EXPERIMENTS # Bonferroni correction bonferroni_alpha = alpha / N_COMPARISONS bonferroni_false_positive_comparisons_cnt = np.sum(np.sum(sample <= bonferroni_alpha, axis=0) > 0) bonferroni_false_positive_comparisons_share = bonferroni_false_positive_comparisons_cnt / N_EXPERIMENTS print(f'Theoretical False Positive Rate Without Correction: {prob_at_least_one_false_positive:0.4f}') print(f'Observed False Positive Rate Without Correction: {false_positives_share:0.4f} ({false_positives_cnt:0.0f} out of {N_EXPERIMENTS})') print(f'Observed False Positive Rate With Bonferroni Correction: {bonferroni_false_positive_comparisons_share:0.4f} ({bonferroni_false_positive_comparisons_cnt:0.0f} out of {N_EXPERIMENTS})') # Output: # Theoretical False Positive Rate Without Correction: 0.4013 # Observed False Positive Rate Without Correction: 0.4200 (42 out of 100) # Observed False Positive Rate With Bonferroni Correction: 0.0300 (3 out of 100) Đây là một hình dung của các kết quả: Hình trên cùng đại diện cho mỗi ô vuông dưới dạng giá trị p của một phép so sánh riêng lẻ (kiểm tra giả thuyết). Hình vuông càng đậm thì giá trị p càng cao. Vì chúng ta biết rằng giả thuyết không đúng trong mọi trường hợp nên bất kỳ kết quả quan trọng nào cũng sẽ là dương tính giả. Biểu đồ ở giữa biểu thị các thử nghiệm không hiệu chỉnh, trong khi biểu đồ dưới cùng biểu thị các thử nghiệm có hiệu chỉnh Bonferroni. Khi giá trị p thấp hơn mức ý nghĩa (được biểu thị bằng các ô vuông gần như màu trắng), chúng tôi bác bỏ giả thuyết không và thu được kết quả dương tính giả. Các thí nghiệm có ít nhất một dương tính giả được tô màu đỏ. Rõ ràng, sự điều chỉnh đã hoạt động hiệu quả. Nếu không hiệu chỉnh, chúng tôi quan sát thấy 42 thí nghiệm trong số 100 thí nghiệm có ít nhất một lần dương tính giả, điều này gần giống với xác suất lý thuyết ~40%. Tuy nhiên, với hiệu chỉnh Bonferroni, chúng tôi chỉ có 3 thử nghiệm trong số 100 thử nghiệm có ít nhất một lần dương tính giả, thấp hơn nhiều so với ngưỡng 5% mong muốn. , xác nhận thêm tính hữu ích của nó trong thử nghiệm đa giả thuyết. Thông qua mô phỏng này, chúng ta có thể quan sát trực quan tác động của hiệu chỉnh Bonferroni trong việc giảm thiểu sự xuất hiện của dương tính giả Phần kết luận Trong bài viết này, tôi đã giải thích khái niệm kiểm tra nhiều giả thuyết và nhấn mạnh mối nguy hiểm tiềm tàng của nó. Xác suất tăng cao này có thể dẫn đến những kết luận sai lầm về những tác động đáng kể có thể xảy ra một cách tình cờ nếu không được giải quyết một cách thích hợp. Khi thử nghiệm nhiều giả thuyết, chẳng hạn như tiến hành nhiều phép so sánh trong quá trình thử nghiệm A/B, xác suất quan sát thấy một sự kiện hiếm gặp là "Dương tính giả" tăng lên. , điều chỉnh mức ý nghĩa cho từng giả thuyết riêng lẻ. Bằng cách tận dụng bất đẳng thức Boole, hiệu chỉnh này giúp kiểm soát mức ý nghĩa tổng thể ở ngưỡng mong muốn, giảm nguy cơ dương tính giả. Một giải pháp khả thi cho vấn đề này là hiệu chỉnh Bonferroni Tuy nhiên, điều quan trọng là phải nhận ra rằng mọi giải pháp đều phải trả giá. Điều này có nghĩa là có thể cần cỡ mẫu lớn hơn hoặc hiệu ứng mạnh hơn để phát hiện những khác biệt giống nhau. Các nhà nghiên cứu phải xem xét cẩn thận sự đánh đổi này khi quyết định thực hiện hiệu chỉnh Bonferroni hoặc các phương pháp hiệu chỉnh khác. Khi sử dụng hiệu chỉnh Bonferroni, mức ý nghĩa cần thiết sẽ giảm xuống, điều này có thể ảnh hưởng đến sức mạnh của thử nghiệm. Nếu bạn có bất kỳ câu hỏi hoặc nhận xét nào liên quan đến nội dung được thảo luận trong bài viết này, xin đừng ngần ngại chia sẻ chúng. Tham gia thảo luận sâu hơn và khám phá các kỹ thuật thống kê là điều cần thiết để hiểu rõ hơn và áp dụng vào thực tế. Người giới thiệu - Repo GitHub của tôi với tất cả mã cần thiết để chạy mô phỏng và tạo biểu đồ IgorKhomyanin/blog/bonferroni-and-salmon để tạo ảnh bìa Kandinsky 2.1 Bennett, CM, MB Miller và GL Wolford. “Mối quan hệ thần kinh liên quan đến phối cảnh giữa các loài Tiếp nhận cá hồi Đại Tây Dương sau khi chết: Một lập luận cho việc điều chỉnh nhiều so sánh.” NeuroImage 47 (tháng 7 năm 2009): S125. https://doi.org/10.1016/s1053-8119(09)71202-9 Wikipedia - Chỉnh sửa Boferroni Wikipedia - Bất đẳng thức Boole
