P値の有意水準を補正して、より厳格なP値で判定する方法。
新しい厳格なP値 = 単独の検定を行うときの有意水準 ÷ 検定を行う数
例えば、A,B,Cの3つの群で平均値の差があるかを有意水準5%で調べたい。
AとB、BとC、CとAの3つの検定を行い、求めたP値を当初の5%ではなく、
5÷3 = 1.666...%
の基準で有意差があるか判定する。
検定方法は2群の検定をそのまま用いるので、正規分布している母集団であればt検定、そうでなければMann-WhitneyのU検定を3回行う。
どんな統計手法でも使えるのが特徴。ただし、検定の数が多くなると有意水準が小さくなり、有意差と判定できる可能性が低くなる。
例えば5群で全組み合わせを考えると全部で10通りある。この場合、新しい厳格なP値=0.05÷10で、0.005になってしまいます。
例えば8群で全組み合わせを考えると全部で28通りある。この場合、新しい厳格なP値=0.05÷26で、0.00179になってしまいます。