コメント：複数評定者間の評定相関　[戻る]

現状では、逐語録や記述された回答などの言語的資料をコンピュータなどによって自動的に把握することは十分に実現されていません。したがって、カード化された記述の意味内容は、ある研究テーマに基づいて研究を進める研究者によって了解されるほかに把握する方法はありません。(この点では、W.ディルタイの「了解心理学」の立場に近いともいえます)。→「解釈的心理学研究における理論的基盤とアブダクションに基づくモデル構成法」葛西、2005 pdfファイル

この場合、研究者は「言語的資料」の意味内容を了解する主体として、いわば「官能検査」または「官能評価 sensory evaluation」(様々な事柄を人間の感覚・知覚・認知能力を用いて把握する検査)の「検査者・評定者」といった立場にあります。その際、カード化された記述について、一対のカードが「意味的に類似しているか否か」といった「関連性評定」に際して、個々の「検査者」の評定には当然のような個人差がつきまとうため、そうしたズレを理由として「そうした評定に基づく研究は非科学的」といった誤解が横行しているようです。

しかし、複数評定者間での評定結果の一致度あるいは相違の程度は、統計学的な手法によって厳密に把握することができます。たとえば、二つのチェックリストの一致度を示すkappa係数は一致・不一致についてのχ^２検定といった手法ですし、一致・不一致の度合いを単純にχ^２検定あるいは正確確率検定を行うことも可能です。評定者が複数いた場合には、複数の評定値に対してピアソン相関係数あるいはケンドールやスピアマンの順位相関係数を用いたり、信頼性指標としての級内相関係数やクロンバッハのα係数などを用いて、複数評定者間の一致・不一致の度合いを厳密に把握することができます。複数の評定の間に一定程度の「一致」が確認されるならば、「同じような判断」と認定することにより、研究を先へと進めていくことが可能です。

ある研究テーマについて、そうしたテーマを専門的に扱う複数の研究者によれば、研究面・実践面での専門的能力に基づいて行われる「二つのカードの間の類似度の評定」および「関連性評定」は、結果的に極めて似たものになることはよく知られている事実です。複数評定者の間で評定が分かれるようなカード群がある一方で、評定にほとんど差が生じないカード群も少なくないことから、複数評定者の評定に基づく質的研究は、数量的な妥当性を示すことのできる「科学的研究」の位置づけにあるわけです。

その一方、複数評定者によらない質的研究の場合、一人の研究者による「評定」は上に示したような方法をとれないことから、評定結果の安定性が問題となる可能性は残ります。しかし、そのような研究であっても、カード化された言語的資料について「カード布置」として提示される「要約」を「一つの資料」として提起すること自体には問題はありません。また、そうした「要約」に基づいて、テーマに関する一つの理解を「仮説」として提起すること自体にも問題はありません。つまり、質的研究というものをさしあたり「仮説を提起することを目下の目標とする」研究として位置づけておきさえすれば、研究設計上の問題は特に見あたらないものです。なお、統計的数量的アプローチとは、仮説を統計的数量的に証明しようとするものであって、検討対象となっている仮説そのものの妥当性をあらかじめ数量的に提示しているわけではありませんので、この点では質的アプローチと同じ状況といえます。そして、質的アプローチにより提起された「仮説」は、その後、そうした「仮説」の妥当性を検討するための統計的数量的な研究を生み出す母体となることが可能です。(6/18,2008追記)