正規分布などを仮定して、その特徴を使った検定がパラメトリック検定。正規分布は平均と標準偏差という2種類の数値(パラメータ)で推定できるので、パラメトリック検定という名前が使われる。
そういう仮定をおかずに主として数値の順位を使った検定がノンパラメトリック検定。
パラメトリック検定では、その検定に必要な仮定を満たしていないと正しい結果が保証されない。例えば、t検定では母集団が正規分布しているという仮定の元に計算を行うので、正規分布していないと思われる母集団では結果が信頼できない。
ノンパラメトリック検定は、そういう仮定がなく検定を行えるので、使ってはいけないという場面はないはず。
正規分布の検定も参考に。
パラメトリック検定の方が、有意差が出やすい=検出力が高い(必要なサンプルサイズが小さくても良い)といわれているが・・・。
「もしデータが潜在的な正規分布からの標本であった場合、ウィルコクソン検定の検出力はt検定の95%ほどである。すなわち、もしt検定である検出力をみたすために19例が必要な場合、ウィルコクソン検定で同じ検出力をみたすためには20例必要であるということである。」
脚注に検出力について相関係数を例に書かれている。ピアソンの相関係数は、スピアマンの順位相関係数に比べ、検出力が1.06倍高いと書かれている。つまりピアソンが100例なら、スピアマンだと106例必要らしい。