■ 「平均値の差のｔ 検定」 事後の分析 (Post hoc analysis)

すでに実施した研究のｔ 検定がどの程度の検定力(statistical power)をもつかを事後に計算します。
有意性検定の結果をどの程度主張することができるのかを確認します。

＊なお、用いた数値データは院生のM.Y.さんから提供されたものです。M.Y.さんの研究をきっかけにこの「検定力分析のすすめ」のサイトを作成することになりました。記して感謝いたします！

　G^*Power画面上に示した番号順に[赤い四角の枠]をクリックしてみてください。
　説明が一番下の「説明欄」に表示されます。

「説明欄」の表示をリフレッシュするときはクリックしてください→[表示のリフレッシュ]

• 以上のようにして、研究で用いた「平均値の差のt検定」がどの程度の検定力をもっているかを
  あらためて事後に確認することができました。
  なお、検定力Power=0.98 というのは極めて高い数値です。こうした数値が実現できたのは、ひとえにデータ数が1000の大台にのるほど大きかったためといえるでしょう。ちなみに、効果量は d =0.22 程度と｢小(Small)=0.2」よりも少し大きいだけです。したがって、平均値の差は「5」くらいと一見して大きな差には見えないかもしれませんが( m₁=63.33、 m₂=58.95)、実質的な差があると言うことができるでしょう。
  
  　* なお、J.Cohenは「検定力 Power=0.8」を検定が有効であるための基準として提案しています。
  これよりも小さな検定力、例えば「Power=0.6〜0.5」ならば、β過誤(証明したい対立仮説
  を採択しないでいる確率)が 0.4〜0.5と大きくなりすぎること。また、0.8よりも大きな検定力、
  例えば「Power=0.9」などではβ過誤=0.1と小さくなるのですが、それを実現するためには大量の
  サンプルが必要となる可能性があるため、一つの目安として 「Power=0.8」を唱えています。
  なお、Power=0.7程度の数値もそれなりの検定力がある(β過誤= 0.3)と述べています。
  

• ｢平均値の差のt 検定」では、効果量d の数値として慣例となっている「効果量 小(Small)=0.2」か「効果量 中(Medium)=0.5」か「効果量 大(Large)=0.8」を入力しても良いのですが、すでに研究を終えているので研究結果である実際の数値を用いて、正確な効果量d の値を計算することができます。
  
  メイン･ウィンドウの[Determine ＝＞]をクリックすると、右のような「効果量の計算パネル」が表示されます。→
  
  ここに二つの平均値を入力します。
  
  なお、
  
  　グループ１の標準偏差σ₁は 20.27
  　グループ２の標準偏差σ₂は 18.56　
  なので、σを手計算して入力します。
  
  σ=√ [[(20.27)x(20.27)+(18.56)x(18.56)]／2]
  　= 19.4290427
  　
  　　　
  計算した結果をメイン・ウィンドウの「効果量 Effect size d」に転送します。
  そのようにして正確な効果量を決めてから、求める「検定力」を算出します。
  
  

• 「プロット」機能で図示してみる。
  
  「検定力の事後の分析」の終了後や途中で、「効果量」×「検定力」などの組み合わせをして、
  どのような関係になっているかを図示させることができます。 (13) [ X-Y plot for a range of values ] の
  ボタンをクリックするとプロット画面が表示されるので、必要な設定を行ってから
  右下にある [Draw] をクリックしてプロット図を表示させます。