★多重検定

A、B、Cの3群を比較する場合について考えてみましょう。仮にt検定を用いて次のような3種類の検定を行ったとします。
　　　 A対Bの比較　　　　A対Cの比較　　　B対Cの比較　
この場合、このうちのどれか1つ以上が有意水準5％で有意になれば、
最終的な統計的結論：(A≠B=C) または (B≠A=C) または (C≠A=B) または (A≠C≠B)という4種類の最終的な結論のうち1つを採用することができます。

有意水準5％で有意とは、「統計的結論が間違っている確率は5％以下である」ですから、「本当は2群が等しいのに、間違って等しくないという統計的結論を採用する危険性が5％程度ある」という意味です。
したがって検定を3回行えば、本当は3群が全て等しいにもかかわらず、どれか1つ以上の検定結果が有意水準5％で有意になってしまう確率が、3倍になり、最終的な統計的結論が間違っている確率は15％になってしまいます。

最終的な結論の有意確率を5％以下にするためには、個々の比較についての有意水準を５÷３％にし、その厳しい基準で有意な結論だけを採用する必要があります。そのためには、個々の比較の有意確率p値を0.05/3と比べれば良いのです
普通は個々の比較のp値を3倍して0.05と比べるか、あるいはp値を3倍したことに相当するようにt値の計算式を修正するかをします。そのような処理をした検定手法を多重比較といいます。

多重比較が必要な場合は、個々の比較を「OR(または)」で結合した最終的な結論を採用したい時だけで、個々の比較を「AND(かつ)」で結合した最終的な結論を採用する時とか、そもそも個々の比較を総合しない時には必要ありません。
例えばある保健指導Cの効果を検討する時、まず指導介入のないコントロールAと比較して指導効果があることを確認しておき、その上ですでに効果があることがわかっている標準指導Bと比較して標準指導よりも効果が強いことを確認することがあります。この場合、最終的な結論として「A(コントロール)＜B(標準指導)＜C(新指導)」というAND結合したひとつのものしか採用しないので、個々の比較に多重比較は必要ありません。

実際には多数の評価項目の検定結果をORで結合したり、層別の検定結果をORで結合したりして、ひとつでも有意な結果があれば「こっちの指導の方が優れている！」という結論を採用することが多いと思います。そのような場合は、個々の評価項目の検定または層別の検定に多重比較を用いる必要があります。

多重検定には、幾つかの方法がありますが、基本であり簡単で一番使われているのが ボンフェローニ(Bonferroni)型です。

○ ボンフェローニ(Bonferroni)型

ＡからＤまでの４つから各組合せで、６つの検定を行った。各組合せにおけるＰ値は以下のようなものであった。
Ａ〜Ｄにおける優位性を検討しなさい。

結果は、Ａ×Ｃで有意差が見られますね。
この場合、６種類の検定のどれか1つ以上が有意水準5％で有意になれば、採用できることになります。

それぞれのＰ値を出すとき、2群の比較検定というのはパラメトリック検定であればt検定（対応のある／なし，等分散性のある／なし）ノンパラメトリック検定であればマン・ホイットニーのU検定（対応のない2群）か，ウィルコクソンの符号順位検定（対応のある2群）で計算します。

多重検定には、ボンフェローニ型以外にも主なものとしてサイダック型、ホルム型、ライアン型あります。
これらを一度に比較してみたのが、下図です。有意差が出ているところを黄色で塗っています。

やはり、ホルムの方法が一番甘いようですね。この中で一番厳しい（シビアな）ボンフェローニ型が用いられるのも当然です。

実際の多重検定では、ボンフェローニ型を用いるのが無難ですが、論文などでは、次に述べるテューキー法が主流になっています。