多段階検定

統計の本には、「t検定は2群の分散が等しいことを仮定しているので、t検定を行う前に分散が等しいか検定を行い、その結果によってt検定を行うか、Welchの検定を行うかを選ぶ」と書いてある本があります。

このようにある検定の結果によって、次の検定を行うということを多段階検定と呼ぶことにします。この多段階検定にはいくつかの問題があります。

2つの検定を続けて行った場合、最初の検定の有意水準5%と次の検定の有意水準5%が合わさり、全体としての有意水準が5%になりません。厳しすぎたり、甘すぎたりすることになり、事前に想定した第一種の過誤と第二種の過誤が変わってしまうのです。

多段階検定の例

問題があることは明らかなようですが、どうすべきかについてはいろんな意見があります。

参考

t検定について

重回帰分析について

重回帰分析/変数選択を参照