多群の検定を行う際に、前もって分散分析を行い全体に違いがあるか検定してから、2群の検定を行うべきという意見があるが、
結論:行わなくてよい
「基本的には多重比較の前に、分散分析を行う必要はありません。」
ただし、行ってよい場合もあるという意見もある。
LSD法の場合
「しかし少し注意が必要な手法もあります。たとえばLSD(厳密にはFisherのprotected LSDといった方がよいかもしれませんが)は、多重性の問題に対処するため、最初に分散分析を行って、その結果が有意な場合のみ、多重性を調整しないで群間比較を行う手法ですから、手法の構成原理上、分散分析を行う必要があります。」
スクリーニング目的
「またScheffeと分散分析の間には、Scheffeで有意であれば、必ず分散分析も有意になるという関係があります。逆にいえば、分散分析で有意差がなければ、Scheffeで有意になることはなく、スクリーニングの意味で、Scheffeの前に分散分析を行う場合があるかと思います。」
非計画的(事後的)非直行対比のとき?
「冒頭で、分散分析の後に多重比較を行うというpost-hoc比較は、理論上誤りであると述べた。しかし、現実にはpost-hocもありうる。脚注>専門用語でいうと、非計画的(事後的)非直行対比のときは行ってもよい」