- 更新 8/22,2008-
[カード間距離行列の修正]


「関連性評定に基づく質的分析」

第三型式研究の例― 複数評定者による評定を総合化する
葛西 俊治
(元・札幌学院大学心理学部臨床心理学科教授)

　ここでは、心理面接などで得られた逐語録などの言語的資料に基づいて、その内容を質的に解析していくための方法を 紹 介しています。
以下、説明の都合上、「逐語録」と表記しますが、分析の対象としては言語的資料全般を想定しています。「関連性評定に基づく質的分析」の基本的内容と方法についてはおおむね理解されていることを前提として、「質的研究の第三型式研究」の実際について紹介 します。「第三型式研究」とは、一つの逐語録から得られた一群の記述カードを対象として、複数の評定者によってそれを空間配置を行い、得られた個々の空間 配置とラベルリストに基づいて、それらを統合していく研究形態をいいます。「一つの逐語録」と「複数の評定者」というのが第三型式研究の基本的な構造で す。

　なお、「第一型式研究」とは、一つの逐語録を一人の評定者が評定して質的研究を行う形態を指し、「第二型式研究」とは、ある一つのテーマについて複数の逐語録を、一人の評定者が評定することによって、テーマについての質的研究を行う研究形態を指します。

　さて、第三型式研究では「一つの逐語録」と「複数の評定者」という基本的な構造のため、1)各評定者による関連性評定は個人毎に異なっているだろうこ と、2)対象となるカード群は同一であること、という特徴があります。したがって、次のように分析を行っていくことにします。

  1. 逐語録から得られたカード全体 (n枚あることにします)について、評定者A,B,…,C,によってそれぞれ空間配置を行い ラベルリストを作成します。
  2. 得られた評定者毎のラベルリストに基づいて、n枚のカード相互の「距離行列」を各評定者毎に算出します。
  3. 評定者毎に算出された「距離行列」について、それらを平均化した「平均距離行列」を算出します。
  4. 得られた「平均距離行列」を多次元尺度法 (MDS: Multi Dimensional Scaling)によって解析して、n枚のカードの次元構造を見いだします。>
  5. 複数の評定者によって与えられたラベルを全て用いて、n枚のカードと全ラベルとの対応表に基づいて、形式概念解析を試みま す。それによって、複数評定者によるラベル相互の関係を把握します。

　　◎ 複数評定者の評定の相関 (評定者間相関)について　(6/14,2008追記)　　


　複数の評定者がいることによって、関連性評定の内容は評定者の評定基準や観点によって異なるため、「カード間平均距離行列」を得ることに、評定者の多様な 観点を総合することにしています。以下では、「質的研究について一言でどのように思いますか?」という先に示した分析例について、別の評定者による空間配 置・ラベルリストをまず提示し、そのあとで「カード間平均距離行列」に基づく多次元尺度法による分析例を示すことにします。
  なお、複数の視点を導入したり、多様なデータを得るなどして質的研究の「妥当性」を確保しようとすることを「トライアンギュレーション triangulation」(三角測量)と呼ぶことがありますが、曖昧な表現なので用いないことにします。というのは、第一型式、第二型式、第三型式と いう質的研究形態毎に、そうした「多様性」「多面性」についての意味と対応方法が異なるためです。(詳細は理論編で述べることにします。)

●「要約モデル」生成に向かう。
  1. 逐語録のカード化を行う。

    逐語録を印刷して、おおむね文単位から意味的にまとまった範囲で一枚の紙片として切り出します。一つの文が長いときは、紙片へと切り出した際に意味が通じ る範囲でいくつかの部分に切り出します。切り出すことによって意味不明になりそうな場合は適宜、メモ書きなどを付与しておきます。切り出された紙片(以 下、カードと呼びます)には順に通し番号をふっておきます。
    このカード８枚を対象にして、評定者Aと評定者Bによる空間配置を行っていきます。

    例)  ｢質的研究方法について一言で言えばどんな印象ですか？｣




  1. カード相互の意味的関連性に基づいて空間配置を行い、ラベルリストを作成する。
    　
    ● 評定者Aによる空間配置とラベルリストの例　
評定者Aによる空間配置 (再掲)

評定者Aによるラベルリスト (再掲)




●評定者Bによる空間配置とラベルリストの例　
評定者Bによる空間配置 (新規)



評定者Bによるラベルリスト (新規)




  1. それぞれの空間配置・ラベルリストに基づいて「数量化理論Ⅲ類」を行っておきます。

    評定者Aによる結果はすでに例示してあり、以下の内容でした。
評定者Aのラベルカードから得られた、数量化Ⅲ類のための入力データ (再掲)

()

数量化Ⅲ類によって得られた、評定者Aによるラベルの２次元図示 (再掲)



●評定 者Bによるラベルカードに基づく数量化理論Ⅲ類による分析
評定者Bによるラベルリスト (新規)



数量化Ⅲ類によって得られた、評定者Bによるラベルの２次元図 示 (新規)


  1. 評定者Aによる空間配置と評定者Bによる空間配置は、それぞれに特徴があり相違点があります。ラベルの数も、それぞれのラベ ルの内容も異なることが多いものです。(ここでは、型式概念解析による、評定者毎のHasse図は省略しています。)

  2. 「第三型式」研究形態では、評定者間の相違と共通性とを把握することを目指しているので、それぞれの評定内容を取り入れるた めに、ラベルリストに基づいて、カード(ここでは8枚)相互の距離を取り出すことにします。


    ★以下では、二人の評定者によるカード布置に基づ いて「カード間距離行列」をそれぞれに作成して、その平均値(合計点)である「カード間平均距離行列」から多次元尺度法で分析する手法を解説しています。
    　二人の評定者による布置を数量的に厳密な仕方で統合する必要がある場合には「こういう方法を使うことができる」という一例として示しています。
    　カード 間の距離の割り出しには、いくつかの仮定を置いているので、そうした仮定に対して何らかの問題が考えられたり、あるいは、あくまでも質的なアプローチで進 めたい場合 は、以下の「距離行列に基づく分析」は特に行う必要はありません。

    ★「距離行列に基づく分析」を実行しないときは、第二型式研究形態におけるのと同様に、それぞれの評定者によるカード布置について、それぞれの「上位のラ ベルカード」(独立カードを含むことがあります)を取り出し、取り出したカード群を対象にしてあらためて「関連性評定」(第二次関連性評定)を行うという 方法によって、複数の評定者による「評定」を統合できます。
    　得られた布置に基づいて「数量化Ⅲ類による吟味」「型式概念解析」に基づく吟味」を、第一型式・第二型式と同じように進めることができます。

    　なお、複数の評定者による「ラベルリスト」については、それらすべての「ラベル」に基づいた「形式概念解析」を行うことができます。左側の行に は、対象となるカード群があり、上段の列には複数の評定者によるすべてのラベルが列挙され、そうしたラベルに該当するカードには、該当することを{ 1 }で示してあります。こうしたエクセルファイル(csv形式)を入力データとして形式概念解析を行うと次のようになります。→[こちら]

    (3/22,2007追記)

  1. カード間距離行列の作成と「平均距離行列」の算出　[8/22,2008訂正]
  • 　カード間の距離とは、「カードiからカードjに至る際に遭遇したラベルの個数」と定義します。したがって、同じ区域内にあ るカードは相互に距離ゼロとなり、上位ラベルカードや下位ラベルカードに遭遇するたびに、距離が{ 1 ]ずつ増えることになります。
    (ラベルによって区切られた一つの領域から出入りする度に、{ 1 }ずつ増えるということと同じです)

  • なお、独立カードとの距離の算定については、これまでいくつか検討してきましたが、「独立カードはそのカードのみを含む一つの領域とする」ことにします。たとえば、カード4(C4)は、そのカードのみが含まれる領域にあることになります。したがって、どのような場合でも「すべてのカードは少なくとも一つの領域に属す」ことになるので、独立カードと他のカードとの距離は、「独立カードの領域からいったん出て、どれか他のカード領域に入ることになる」ので、少なくとも{距離=2}以上となります。

  • このように定義したカード間距離は厳密には「順位尺度」上の数値と見なすべきですが、多次元尺度法の中で用いられる距離概念 の一つ「市街地距離 city-block distance」の例を参考にして、平均値などを算出可能な「比例尺度」(あるいは「間隔尺度」)上の数値とみなすことができます。(なお、後に示すALSCALなどの多次元尺度構成法では、数量の尺度を「比例・間隔・順序」の中から選んで計算できるようなっています。)

    ＊これと同等の想定は因子分析を用いた心理学的研究にも数多く見られます。すなわち、n件法の回答による順序尺度上のデータを、ピアソン相関係数が算出で きる比例尺度と暫定的にみなして実行しています。
    　この点については、四件法以上の回答選択肢によるデータについてはおおむね「比例尺度」として用いても良いことが指摘されています。逆に、三件法以下 の回答選択肢によるデータについては、それらのピアソン相関係数による因子分析には問題があることになります。

    以下に評定者Aのラベルリストとカード間距離行列、そして評定者Bのラベルリストとカード間距離行列を示します。

    評定者Aによるラベルリスト(再掲)



    ↓
    評定者Aによるラベルリストに基づく「カード間距離行列」の作成


    (数値を再修正。8/22,2008)



    評定者Bによるラベルリスト(再掲)



    ↓
    評定者Bによるラベルリストに基づく「カード間距離行列」の作成 (新規)

    ＊SPSSデータファイルとして表示している。

    (数値を再修正。8/22,2008)



    1. カード間距離 行列の作成と「平均距離行列」の算出

    1. 評定者Aによる「カード間距離行列」と、評定者Bによる「カード間距離行列」の８ｘ８のデータについて平均値を算出 します。(対称行列なので、右上三角と左 下三角のデータは同一。以下では合計点を示しています。)

      評定者A「カード間距離行列」 ＋ 評定者B「カード間距離行 列」


      (数値を再修正。8/22,2008)


    2. 平均距離行列を多次元尺度法(MDS: Multi Dimentional Scaling) )の一つ、ALSCALにて分析しています。
      (ここでは、データを間隔尺度として、「二次元」と指定して分析。)



      Alscal Procedure
      　　　　　　　　　　　　　　　　　　　　　　　　Raw (unscaled) Data
      　　　　　 1　　　　　　2　　　　　　3　　　　　　4　　　　　　5　　　　　　6　　　　　　7　　　　　　8
      　　1　　　 .000
      　　2　　　 .000　　　 .000
      　　3　　　1.000　　　1.000　　　 .000
      　　4　　　5.000　　　5.000　　　4.000　　　 .000
      　　5　　　7.000　　　7.000　　　7.000　　　7.000　　　 .000
      　　6　　　8.000　　　8.000　　　7.000　　　7.000　　　 .000　　　 .000
      　　7　　　6.000　　　6.000　　　5.000　　　3.000　　　4.000　　　4.000　　　 .000
      　　8　　　5.000　　　5.000　　　4.000　　　4.000　　　3.000　　　3.000　　　3.000　　　 .000
      　
      Iteration history for the 2 dimensional solution (in squared distances)
      　
      　　　　　　　　　Young's S-stress formula 1 is used.
      　
      　　　　　　　　Iteration　　 S-stress　　　Improvement
      　
      　　　　　　　　　　1　　　　　 .05724
      　　　　　　　　　　2　　　　　 .05398　　　　 .00326
      　　　　　　　　　　3　　　　　 .05377　　　　 .00020
      　
      　　　　　　　　　　　　 Iterations stopped because
      　　　　　　　　 S-stress improvement is less than　 .001000
      　
      　
      　　　　　　　　For　matrix
      　　Stress　=　 .05424　　　RSQ =　.98409
      　
      　　　　　 Configuration derived in 2 dimensions

      　
      　　　二次元空間上に８枚のカードを布置
      　
      　　　　　　　　　 Stimulus Coordinates
      　　　　　　　　　　　　Dimension
      　
      Stimulus　 Stimulus　　 　1　　　　2
      Number　　　Name
      　　1　　　card1AB　　1.4344　　.5329
      　　2　　　card2AB　　1.4344　　.5329
      　　3　　　card3AB　　1.1828　　.1262
      　　4　　　card4AB　　 .5185　-1.3649
      　　5　　　card5AB　 -1.5337　　.6810
      　　6　　　card6AB　 -1.8288　　.3250
      　　7　　　card7AB　　-.6557　 -.8762
      　　8　　　card8AB　　-.5519　　.0430
      　


    3. カードC1～C8の二次元空間上の位置をプロットした図を以下に示します。




      (出力図を再修正。8/22,2008)

      　得られた二次元空間上の8カードの意味内容に基づいて、第一次元、第二次元の意味を読み取ってみましょう。横軸の第一次元については、右端には「1難し い,2 簡単ではない」があり、左端には「5,役に立つのかな?, 6.有効か?」があるので、質的アプローチについての「疑念と距離感」とでも名付けられるかもしれません。
      　縦軸である第二次元については、上のプラス側に「1.難しい、2.簡単ではない」「5.役に立つのかな」があり、下のマイナス側には「4.使えるといいな」「7.意味があるから発展しているは ず…」があります。解釈は難しいのですが、たとえば「難解さと期待感」とでも解釈できるかもしれません。

    4. 　ALSCALといった多次元尺度法は、この例のように対象を二次元空間に乗せてみた場合、与えられたデータ(距離 行列) がどの程度、把握されているかをRSQという数値によって表しています。

      　通常は、RSQ （Ｒ自乗・決定係数・分散の説明率　0から1まで）が　.60　以上あれば多次元尺度法による結果を受け入れて良いとされています。つまり、多次元尺 度法(MDS)によるモデルが元の距離行列データのばらつきの60%以上を説明していれば良いという判断を下すわけです。
      　ここでは、RSQ = 0.98409という極めて高い数値(最大値は{1})なので、多次元尺度法ALSCALの適応による分析結果を受け入れてよいことになります。



◎複数評定者の間での評定の相関について　(評定者間相関)

一般に複数の評定者がいた場合、評定者間での評定結果の異同の度合いを調べるために、評定値の相関を計算することが行われています。こうした「評定者間相関」という考え方は質的分析に限らず様々な研究に見られ、たとえば、「相関係数がある程度高い数値であるから、複数評定者による評定値の平均値を用いる」ことにしたり、あるいは「極めて高い相関係数が得られたので、ある評定者による評定値をそのまま用いる」といった運用が行われています。たとえば、「極めて高い相関0.8～0.9」「かなり高い相関 0.7～0.8」「比較的高い相関 0.5～0.7」「ある程度の高さの正の相関 0.4～0.5」などと位置づけながら、「このような正の相関が確認されたから、複数評定者の間で評定内容は、ある程度一致しているといえる」などと述べて、最終的には、複数評定者間の評定平均を代表値として用いて次なる分析を行うことがほとんどです。
相関がどの程度あればそのように判断してよいのかを示す明確な基準がないため、実際の運用は各研究者に委ねられているのが実情といえます。
さて、「同一カード」に対する評定者Aによる評定と、評定者Bによる評定について、実際に「評定者間相関」を計算してみましょう。
＊なお、二人の評定者による評定結果の一致度を調べるだけならば、単純に一致回数を示すと共に、たとえば「kappa係数」を計算する方法があります。一般に、評定者がn人いた場合はｎxｎの相関行列となるため、そうした場合の判断は簡単ではありません。たとえば、(1)その中で最も低い相関係数に注目して、そうした最低の相関係数であっても、ある程度の高さのものであれば問題ないと考えたり、あるいは、(2)相関の高い評定者にのみ注目してそうした評定平均値を用いるとか、あるいは、3)クロンバックのα係数、評定者間あるいは評定者内信頼性の観点から級内相関係数(ICC:Interclass Correlation Coefficient)を用いる、などなど様々な運用が行われています。
　さて、「同一カード」に対する評定者Aによる評定と、評定者Bによる評定について、実際に「評定者間相関」を計算してみましょう。
ここでは、８枚のカードの「カード間距離行列」に注目してみます。「評定者Ａよるカード間距離行列」と「評定者Ｂによるカード間距離行列」とでどの程度の相関があるかを調べてみることにします。

List-A:　評定者Ａによるカード間距離行列(下三角の28個に注目)　再掲


List-B:　評定者Ｂによるカード間距離行列(下三角の28個に注目)　再掲

　
　なお、各カード間の距離は、評定者ごとに得られた「カードの空間配置」に基づいて以下のように数えています。
・同じグループ内にあるカード間距離は０とする。
・グループの枠を超える毎に、カード間距離に１をプラスする。

下三角にある28個の数値を評定者Ａと評定者Ｂとで対比して、相関係数を計算します。
(対象となる数値の個数は、カード枚数をｎとすると、ｎx(ｎ-1)/2 個となります。)

ノンパラメトリック相関係数
　 　 　 card_disA card_disB
Kendallのﾀｳb




　		 card_disA

　		 相関係数 1.000 .581**
有意確率 (両側) . .000
N 28 28
card_disB

　		 相関係数 .581** 1.000
有意確率 (両側) .000 .
N 28 28
Spearmanのﾛｰ




　		 card_disA

　		 相関係数 1.000 .639**
有意確率 (両側) . .000
N 28 28
card_disB

　		 相関係数 .639** 1.000
有意確率 (両側) .000 .
N 28 28
**. 相関は、1 % 水準で有意となります (両側)。

記述統計量
　 平均値 標準偏差 N
card_disA 2.6786 1.44154 28
card_disB 1.9286 1.08623 28

ピアソン相関係数
　 　 card_disA card_disB
card_disA

　		 Pearson の相関係数 1.000 .647**
有意確率 (両側) 　 .000
N 28 28
card_disB

　		 Pearson の相関係数 .647** 1.000
有意確率 (両側) .000 　
N 28 28
**. 相関係数は 1% 水準で有意 (両側) です。

さて、ピアソン相関係数あるいはノンパラメトリックな順位相関であるケンドールのτ(タウ)やスピアマンのｒsのいずれにしても、ある程度高い相関係数が得られています。このような検討を加えておくことで、複数評定者の評定にそれなりの対応性があることが確認できるわけです。そして、そうした確認を行ったの上で、複数評定者の評定値の平均値を算出して、それに基づいて分析を進めることが可能となります。

＊ところで、カード枚数が少ない場合は問題ありませんが、例えばカード枚数が50枚の場合は、カード間の距離データの個数は (50*49/2)=1225個となり、カード枚数が100枚の場合の距離データの個数は (100*99/2)=4950個と相当に大きな数字になります。カードの空間配置を見ながら、各カード間の距離を一つ一つ数え上げていくのは、かなりの集中力と相当の時間が必要となります。
したがって、複数評定者による評定間相関は、1)カード枚数がそれほど多くないとき、2)評定者間相関の数値が研究上、極めて重要であるとき、という二つの場合において計算されるべきものといえるでしょう。



  1. 複数評定に基づく形式概念解析 (Formal Concept Analysis) の実際
  1. 多次元尺度法によって、評価対象である全カード相互の平均距離行列を分析して、次元の解析を行うことができました。次に、そ うした分析結果の質的再検討という意味で、形式概念解析の適用方法を紹介しておくことにします。
    　ここでは、評定者Aによるラベルリスト{L11,L21,L32,L12,L22,L31}と、評定者Bによるラベルリスト{M13,M11, M12,M21}、合計10個のラベルをすべて用いて、対象である「8枚のカード」とラベル10個との対応表を以下のように作成します。

    長田先生による型式概念解析プログラムはこのようなcsvファイルを入力 データとしています。




  2. これをそのまま形式概念解析の入力データとして分析を行います。すると、以下のような解析リストが出力されます。これを見な がら、グラフの初期表示に情報を追加していくことになります。





  3. 以下に、評定者Aによるラベルリストと、評定者Bによるラベル リストを合体させて、形式概念解析によって分析したHasse図を示します。L11,L21,...というようにLで始まるラベルは評定者Aによるラベ ル、M11,M12...のようにMで始まるラベルは評定者Bによるラベルです。{C5,C6,C8}などの表記は、そのラベルに含まれるカード番号を示 しています。8枚のカードを、全部で10個のラベルに「対応する/対応しない」とした対応表に基づいて、その論理的な構造を示しているのが以下の Hasse図です。

    先に示した多次元尺度法による数量的位置づけとは異なり、評定者Aによるラベルと評定者Bによるラベルがどのような関係にあるかを、容易に見てとることが できます。この中で特に、「C7意味があるから発展しているはず」というカードが、左側にあるラベルM13と、右上にあるラベルL31の両方に含まれてい ることが分かります。つまり、このカードの配置が評定者AとBとで異なっているために、異なったラベル系列(黒い実線によって結びついているラベル)に重 複して入っていることがすぐに把握できます。
    ここに例示したカードは８枚と少なく、評定者AとBとの評定もそれほど異なっていないために、評定者Aによるラベルリスト構造と、評定者Bによるラベルリ スト構造が極めて共通していることが分かります。

    ＊個々の評定者毎に描いたHasse図(ここでは表示を省略)と、このように複数のラベルリストを含んで算出されたHasse図との構造比較については、 現在、詳細な方法を検討中です。


    二人の評定者によるラベルリストを合体化させて形式概念解析によって分析した際のHasse 図





　ここでは、質的研究形態の一つ「第三型式」研究形態の実際的な進め方を解説しました。繰り返しになりますが、質的研究の「第三型式」研究形態とは、「複 数の評定者」が「カード化された単一の逐語録」を評定するという形態です。こうした研究形態によって、一人の評定者による一面的な見方が改善されることが 期待されます。この点は、すでに述べたようにGTAやIPAが「トライアンギュレーション」と呼んで重用しているところです。しかし、それと同時に、統 計的検定も可能となるほどまでに数多くの評定者によって評定を行っているわけではないので、そこで得られた「平均的」な結果は、それほど安定的なわけでは ありません。また、異なる評定者による異なった観点が様々に入り乱れて影響を及ぼしていることも無視できない事柄です。

　そうした点では、「評定者が一人」で、「カード化された単一の逐語録」の評定を行うという「第二型式」研究形態には、それなりのメリットがあることが分 かります。評定そのものが一定の見方で行われることが期待されるからです。「評定者が一人」という点は、「トライアンギュレーション」の立場からは必ずし も積極的に評価されないところですが、複数の逐語録を一人の評定者による一定の見方で評価するということの意味を見落とすべきではありません。
　実際、心理臨床の性格検査において、「はい・いいえ」「はい・どちらでもない・ いいえ」といったような二件法、三件法での回答型式ではない場合、評定者による判断と評定とが重要な意味をもってきます。たとえば、ロールシャッハ・テス トなどでは、ある特定の一人の評定者が複数の被検者の評価を行うことによって、複数の結果の比較を行うために必要な「評価の一定性・安定性」が得られると いう積極的な意味があるといえます。そうした点を考慮に入れると、「第二型式」研究形態をより妥当なものとしていくためには、評定者は「専門家」であ り、一種の「官能検査有資格者」といった位置づけを行っていくべきと思われます。(こうした議論は「第二型式」研究形態についての解説であらためて行 います。)


得られた「要約モデル」の位置づけ

　さて、1)逐語録のカード化、2)カード相互の関連性評定に基づく空間配置とラベルリストの作成、3)数量化理論Ⅲ類による分析、4)形式概念解析によ るラベル構造の把握、によって、十分に検討を加えた「逐語録の要約モデル」を生成することが可能になります。本稿ではさらに、「第三型式」の研究形態を採 用することによって、評定者間の差違と全体的な評価に関する分析の実際についても紹介しました。

　ところで、「関連性評定に基づく質的研究」は「探索研究」「実証研究」の分 類で言えば前者の「探索研究」に該当します。探索研究とは、研究テーマに関連するモデルを提出することが主な目的となっていて、あるテーマに関する心理面 接などによって得られた逐語録は、そうした研究テーマに関するモデルを生成し提起するための素材となっている訳です。さしあたりは、「その語り手本人に とっての個別的なあり方」に過ぎない訳ですから、得られたモデルもその個人を「個別的あり方」に関するモデルとなる訳ですが、不思議なことに、そうしたモ デルは「その本人にしか通用しない」ような特異的で個別的な内容」だけではなく、場合によって「他の人々にも共通に見いだせそうな内容」とから成り立って いるものです。「第三型式」研究は、そうした点でも一定の働きをしていますので、別途、解説をする予定です。

「解釈モデル」の生成へ

　詳細な議論はここでは省略しますが、特定の状況や特定の人にしか通用しないような「周縁的要因」と一緒に、他の人々にも共通に見いだせるような「中心的 要因」とが、共にモデルの中に取り入れられている可能性があります。「中心的要因」と「周縁的要因」とは、言い換えれば「共通性」と「特異性」ということ ですが、それを見抜いて指摘していく研究者の取り組みが、次の「解釈モデル」の生成と提起につながっていくことになります。そうした『Ｂ．「解釈モデル」 の生成』については、稿をあらためて述べることにします。


「関連性評定に基づく質的分析」の実際について」
第三型式研究の例― 複数評定者による評定を総合化する

 葛西俊治, 2007-2008
[サイトのトップに戻る]