仮説検定の多重性問題

• 結論に複数の仮説検定の結果が影響している時，その結論は検定の多重性問題を孕んでいる可能性がある
• 問題を回避するためには，Holm法などで有意水準を下げる必要があるが，完璧ではない
• 本ページでは、この問題の概要と、解消方法を説明する

• 第一種の過誤のみを考慮した場合，有意水準$x$で得られた検定の結果$n$個から導き出された結論は，最大で確率$1-(1-x)^n$で誤りである
  • $P_1\cup P_2\cup \dots \cup P_n\implies Q$であるとき，$P_i$それぞれについて偽である確率が$e$ならば，$\overline{Q}$である確率は$1-(1-e)^n$である
  • 故に有意水準を小さくすることで，結論が誤りである可能性を小さくすることができる
• ただし，実際には第二種の過誤も存在する
  • 有意水準を小さくすれば結論が第二種の過誤である確率は増加する
• 以上より，多重検定は非常によろしくない
  • 有意水準を何らかの方法で小さくした上で，全ての検定の帰無仮説が棄却であった場合のみ，統計的に有意な結論を導ける
    • 帰無仮説が棄却された場合，それが第二種の過誤であることはありえないから

多重検定を構成する一つ一つの検定の有意水準を小さくする方法の一つがHolm法である．他の方法も存在するが，Holmが一番バランスがとれてる（棄却/受容しすぎない）方法だと思う．

$N$個の検定による多重検定の有意水準を$\alpha$としたとき，Holm法による有意水準の調整を次のように行う．

1. 各検定の有意確率をソート
2. $i=0$とする
3. 結論が未確定の検定のうち，最も有意確率が小さいものについて，その有意確率を$x$としたとき，
   • $x < \frac{\alpha}{N-i}$ ならば，その検定を棄却
   • $x > p$ ならば，結論が未確定の検定すべて（その検定を含む）を受容し，終了
4. $i$に1を足して，
   • $i<N$ ならば，3へ戻る
   • それ以外ならば，終了

• 多重検定は避けるべき
• どうしても必要なら有意水準の補正が必要
• 有意水準の補正にはHolm法が有効