「問題はデータではないが、その退屈な部分を無視する方法だ」 AIモデルは、検証テストが言っているように正確ですか? 99%の予測精度を持つモデルは、なぜあなたのメールボックスを偽のアラームで洪水させ、あなたの美しい日をデバッグの悪夢に変えるのですか? 混乱? Welcome to the 人間と機械の両方が、データが存在する文脈を無視したとき、確率を誤って判断するという偏見。 Base Rate Fallacy What Is the Base Rate Fallacy? ベースレートの破綻率とは? ベースレートの誤差が実際に何であるかをすぐに見ていきましょう。 THE あるイベントが起こる確率とは、 新たな証拠を見ると、The これらの潜在的な確率が無視され、我々は新しい証拠にのみ焦点を当てるときに起こります。 base rate 前 base rate fallacy Let the Math Speak 数学が語るように ある病気が影響する状況を想像してみてください。 You, being a genius, develop a test that is : 1 in 1000 99% accurate 
 
 
 If someone   the disease, the test is positive 99% of the time ( ). has true positive 誰かがこの病気を持っていない場合、テストは99%の時点で陰性(真陰性)です。 いま、誰かがテストを 彼らが実際にこの病気を持っている確率は? positive 直感に反して、それは こちらがなぜか: not 99% 1000人中: 
 
 
 1 人が実際にこの病気を持っている → 検査が確実に検出する → 1 真の陽性 999人がこの病気を持っていない→1%が陽性テスト→～10偽陽性テスト ポジティブなテストをする人: 
 
 
 合計ポジティブ = 1 (真実) + 10 (偽) = 11 実際に病気を持つ確率 = 1 / 11 ≈ 9% 「99%正確」のテストにもかかわらず、あなたが病気になる確率は なぜなら、この病気は珍しいからです。 9% あの is the それを無視することは、大規模な誤解につながる。 1-in-1000 ベースレート Why Humans Fall for This なぜ人間はこれに落ちるのか The twist? This is not just a math problem. It’s a . brain problem 心理学者 そして 確率を評価するとき、私たちは潜在的に困難な質問を簡単な質問に置き換えることを発見しました。 Daniel Kahneman Amos Tversky 「この状況は、私の精神的なステレオタイプにどれだけ合致しているだろうか?」 したがって、テストが99%正確であるとき、脳は次のように言います。 まるで試合のようだ!」 ...そして我々は、結果が真実であると仮定する。 この短縮は、The それは、退屈な統計基準率を無視するためです。 representativeness heuristic The Engineer–Lawyer Conundrum エンジニア・弁護士 Conundrum この効果は有名に示された。 . Engineer–Lawyer problem 参加者はこう言った。 
 
 
 部屋には70人の弁護士と30人のエンジニアがいる。 ジャックは内向的で、数学のパズルが好きで、電子が好きです。 その後、「ジャックがエンジニアである確率は?」と尋ねた。 基準値が示すにもかかわらず、a ほとんどの人は言った なぜならジャック 記述は代表的なように感じるので、70/30の比率は無視されますが、それはより強力な予測器です。 30% chance 80–90% 音 How This Fails in the Real World 現実世界ではどうやって失敗するのか **AI 予測 \ あなたは、95%の正確さで故障した製品を表記するモデルを作成します。 エントリのほとんどが欠陥であり、ほとんどの警告は偽ポジティブになります。 操作はパニックモードに移行する可能性があります。 0.1% **Supply Chain Planning \ 早期警告遅延システムは、ベンダーのリスクを表します。 輸送が遅れている場合、ほとんどの警告は、技術的に「正確」であるにもかかわらず、偽物になります。 1 in 500 詐欺検出、医療テスト、脅威警報、異常モニタリングなど、さまざまな分野で起こります。 The Solution: Bayes to the Rescue タイトル: Bayes to the Rescue 数学的に、 ベースレートの誤解に対抗するのに役立ちます. それは、新しい証拠とベースレートを組み合わせることによって、私たちの信念を更新します: Bayes’ Theorem P(A)B=P(B)P(B)A / P(A) どこ: 
 
 
 
 
 P(A) B:病気検査で陽性になる確率 P(B) A: あなたがこの病気を持っている場合の検査陽性の可能性 P(A):ベースレート(先行確率) P(B):Total probability of testing positive (true + false positive) Bayes’ Theorem forces us to balance バランスをとる 同 人間の直感は飛び降りる傾向がある。 わたしたちが知っていること わたしたちが見るもの Final Thoughts 最終思考 私たちは、AIから医療に至るまで、物流に至るまで、予測に基づく世界に住んでいますが、数値はどれほど複雑であろうと、正しいものなしには何の意味もありません。 . context そして時には、最も強力な洞察力は、私たちが無視するにはあまりにも速かった退屈な、低鍵の確率にあります。

Read My Stories

このオーディオは、ストーリーの元の言語で制作されています。

The Base Rate Fallacy: Why Your Smartest Model Still Gets It Wrong

About Author

コメント

ラベル

この記事は

Related Stories

ワークフローを10倍に向上させる方法: 必須アプリ17選

ユーザー中心の暗号通貨製品の作成: 顧客からのフィードバックの重要性

ユニークなエコシステムを支えるビットコインUTXOのモデル

18 種類の開発者ツールで生産性を向上しましょう 🚀🔥

ワークフローを10倍に向上させる方法: 必須アプリ17選

ユーザー中心の暗号通貨製品の作成: 顧客からのフィードバックの重要性

ユニークなエコシステムを支えるビットコインUTXOのモデル

18 種類の開発者ツールで生産性を向上しましょう 🚀🔥

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps