統計の本には、「t検定は2群の分散が等しいことを仮定しているので、t検定を行う前に分散が等しいか検定を行い、その結果によってt検定を行うか、Welchの検定を行うかを選ぶ」と書いてある本があります。
このようにある検定の結果によって、次の検定を行うということを多段階検定と呼ぶことにします。この多段階検定にはいくつかの問題があります。
2つの検定を続けて行った場合、最初の検定の有意水準5%と次の検定の有意水準5%が合わさり、全体としての有意水準が5%になりません。厳しすぎたり、甘すぎたりすることになり、事前に想定した第一種の過誤と第二種の過誤が変わってしまうのです。
多段階検定の例
問題があることは明らかなようですが、どうすべきかについてはいろんな意見があります。
「等分散であるかどうかを確かめてから,普通の t 検定を使うか,Welch の方法による t 検定にするかを決めるというのは,よくない。最初から Welch の方法による t 検定を使えばよい 」
「我々は平均の差の検定に際して、 Hogg 方式と永田方式のどちらを用いるべきであろうか。いずれの方式を選ぶべきかは、一般的に言えば、検定すべき問題の性質によると 言えよう。」
「分散分析の前に等分散性の検定を行うことは理論的に間違いである。」
重回帰分析/変数選択を参照