前回の授業を踏まえ、受講者が新たに制作したリサーチデザインについて自由に意見を交わした。

◆受講者から出た主なデザイン
・トレーニングによって評価者の評価基準を統一できるか？
・教職年数がHolistic評価にどのような影響を与えるか？
・JETとALTが同時に評価した場合、全体評価と分析評価のそれぞれに差が生じるのか？
・スピーキング力の評価において、どのような項目の何段階の評価を用いるとより信頼できる評価となるのか？

◆金谷先生のコメント：
・評価に影響がありそうなものとして、個人差と教職年数がある。
　例えば、教職年数が短いと評価者間のぶれが大きく、長いとぶれが小さいといった傾向は
　現実的にあり得るのだろうか？

・研究の方法論を考える際、一様の方法に拘泥するのではなく、様々な方法を幅広く
　考える必要がある。特に、教育に関する研究の場合、一般化できるほど多くのデータが
　とれない事が多いので、沢山のデータがとれない場合どうすればよいか？を考える事が大切である。

・研究計画を考える際、独立変数と従属変数は何か、変数の関係で考えた方が整理しやすい。
　また、変数はなるべく少ない方が良い。多くなっても良いが、それらをかけ算することになる
　ので、非常に複雑になり、扱いにくい。
　Aさん（上記の3番目のデザイン）の場合だと、独立変数は評価者と評価方法で、従属変数は
　結果となる。さらに、独立変数の評価者と評価方法はnative/non native、analytic/holisticに
　分かれているが、これらを独立変数内の”特定値”として、変数と区別する。

・現時点では、nativeーnon-native間の差は明確にわかっていない。

・ALTは特に資格があるわけではないので（資格のようなものはあるが）、ALTと非ALTの比較
　をする必要はない。

・ジェスチャーについて：ことばの力が大きい方がジェスチャーは少ない。

・”適切さ”と”正確さ”について：これらは独立したものなのか？
　どちらか一方が不十分で、発達段階によって変化することはあり得るか？
　”正確さ”は程度の問題である。つまり、議論する際はある程度より上を想定する。
　それ以下だと通じない（理解できない）ので、議論にならない。

・相手によって評価の”甘さ””辛さ”が変わる人はいるか？→ありうる

・今回扱った人はいなかったと思うが、観点の重みづけが必要なのではないか？
　観点の重みづけをすることで、本当の意味の分析的評価ができるのではないか？