Home　　授業目次へ


2011年度　金曜日　前期　英語教育学リサーチデザインＡ 2011.06.24

Graduate Seminar A on TESOL Research Methodology 2011
Topic ３　～スピーキング力の評価～　の第２回　論文を読んでdiscussion

Investigating Reliability of Holistic Assessment ― Role Play Tests for Japanese EFL Learner's Speaking Ability ― By Toru Taguchi (2004)

☆　田口論文について論じる前に，論文の執筆者の顔を見るとか，実際に話をしてみるということの有用性について。学会等に参加した暁には，懇親会にも出席することがとても大事です。
　　論文について論じるときは，その内容をかなりきちんと頭に入れておかないと，議論ができない。研究の目的，デザイン，結果を押さえましょう。

・目的は①Role Play Speaking TestにおけるHolistic評価とAnalytic評価の関係を検証する。②Holistic評価のために，最も変動幅の小さい評価の尺度の数，スケール数を探る。

☆　なぜそのようなことをしたいのか，ということについては？

・Listeningは割合注目されてきているが，時間がかかる上に，主観的で信頼性に乏しいということで，Speakingの評価は避けられてきた。しかし，生徒には教室でしか話す機会はなく，テストをしないことがmotivationの低下を招く。また，スピーチコンテストで審査員をした後，優勝者に話しかけたが，まったく会話が成り立たなかった。

☆　評価とは何か，と考えると，気が狂いそうになるくらいたいへん。リサーチデザインシリーズの第８巻は評価を扱ったものだが，出版まで１０年かかった。（他の巻は２～３年。）これは同じ議論を何回もやることになってしまい，先に進まず，１回頓挫して，再チャレンジということで時間がかかった。評価とは科学的に研究できることなのか。評価とは，価値を与える行為。価値は人によって異なる。第８巻は「いい，悪い」ということではなく，評価という行為・行動を考えるということにした。評価しているつもりでしていなかったり，していないつもりでしていたり。評価行動学。共有できる価値観があるか。客観的評価，客観的価値があるか。価値が時代とともに変わることもある。そこまで議論しないと意味はない。テストがなければ生徒は勉強しない。つまり，社会的ニーズがなければならない。田口論文でのねらいとしての評価行動は？motivationをくすぐるようなものとして，評価があるのでは。Table2のsubjectsは，田口先生が講師として公演を行った際の講演の参加者に協力してもらった。


・デザインは，p.14のTable1/Table2にsubjects。materialは評価シートと生徒を録画したビデオテープ，これには，TypeAとBがあり，AとB同じ生徒で，違う順番になっている。Table1のsubjectsは，TypeAのビデオを巻き戻さずに見てHolisticに評価し，７週間後TypeBのビデオを見て(巻き戻しOK)，Analyticに評価する。

☆　subjectsは誰か。この論文では，先生がsubjects。生徒は今回は材料。材料に反応しなさいとされている先生方とは？

・全部で１６人，男性８人，女性８人，経験年数はいろいろ。
・speaking skillを伸ばすことに関心がある先生方。

☆　このspeking skillの伸長に関心があるということが，すでにbiasになってしまう。評価対象の生徒は１８人。しかも７週間置いてもう一度見なくてはならない。興味を持つ人しか協力してくれないが，そういう人だということがすでにbias。scaleの刻み方の方は別口でやるが，こちらも講演会に来るような人たちだから，そういうbiasがかかっている。講演会に来ないような人は含まれない。

・scaleについては，１０人分のビデオを３，５，６，１０のscaleでHolicticに評価してもらう。ガイドラインあり。

☆　同じ人が異なるscaleで行ったわけではない。人が異なることで多少結果が変わるところはあったかもしれない。なかなか理想通りには実験できない。

・HolisticとAnlyticの比較は相関が高い。Table7でAnalyticの各項目と，Holisticを比べている。

☆　議論するときに，自分の声を出すことが大事です。自分の声を自分の耳で聞くことで，議論に深く参加できます。
☆　尺度というものも，人がそれをどのように扱うか。

・結果について，Analyticの一つの項目であるTaskとHolisticとの相関係数が高い。他は低い。Analyticの個々の項目よりは，Analytic全体とHolisticとの関係が高い。

☆　論文を読むときのコツ＝Appendixを見ましょう。順序通りに読むのではなく，ここを見ればわかる，というところを見つけましょう。

☆　本人は結果について，「勝った」と言っているか「負けた」と言っているか。

・HolisticとAnalyticの関係については「勝った」。scaleの数については「負けたけど…」
・実験をして全敗しても論文を書いていいものでしょうか。

☆　全敗すべくして全敗したのでなければ，英語教育的にはOK。きちんと考えたうえでなら，思い通りの結果が出なくても，それで情報としての価値がある。英語教育の研究はまだまだ誰もやったことのない研究ばかり。

・もともとscale３つの方が１０よりもいいだろうという仮説は，田口先生の直観なので，いろいろ考えられる。

☆　失敗もするんだ，ということが許容されない，成功しないと業績として認められないとなると，極端に言えば，データ改竄にまでなってしまうかもしれない。私たちのやっている仕事は「生徒のため」。こういうデータがあれば，教え方を変える先生もいるかもしれない。幸運にも人の命に関わらない仕事なので，教えるのに役立つ研究をする，ということを思い出しましょう。研究の基本は素直であること。たとえ失敗しても，どうしてそうなったか考えましょう。
☆　この研究の持つ意味は？

・現場で評価をしやすくなるのでは。
・Holisticなのに，細かいガイドラインがある…。
・Holisticの中にAnalyticなものが入ってくるのは，生徒に対する説明責任ということを考えても，現場の立場からは仕方がない。HとAの境目がはっきりしなくなったように感じる。
・Analyticだと見落としてしまうものもあるのではないか。

☆　speakingを何をもって測るか。Holisticのときはbackgroundがあまりに違う人たちでは行わない。この論文の１６人は，多分全員中学の先生。
☆　HとAは，結局何が違うのか？Aでは，各評価の観点にそれぞれ点をつけており，それを合計する。Hでは，観点毎の点がない。speakingでは，それぞれの観点が独立していない可能性がある。
　　臨床心理で診断を下すのも評価だが，ある程度経験を積んだ人にしか評価させない。経験を積んでいないHolisticは，評価が分かれる。

・１８人の生徒をどう選んだか。ガイドラインも研究者本人が作った。

☆　speakingのテストは一人ずつしか実施できないので，それがネックになる。学習指導要領はspeakingとlisteningに重点を置くとしているのに，speakingは全然テストされていない。
☆　scaleの話について，この論文が正しいとしたら？

・１０段階もあったら，その中の例えば６と７の違いは何？
・一人目がちょうど標準の人だったので，やりやすかったのではないか。

☆　一人目をなかなかmaxで評価しない。taskはどうですか。

・６種類もあると，難しさも違うだろうし，やりやすさも違うはず。生徒のtask cardを選ばせてはどうか。
・taskが授業中の指導とパラレルであればいいが。

☆　指導の時にやらなかったものをテストに出していいか。指導の時にやったこととは何なのか。「母親役になった」ことか「誰かを説得する」ということか。Lesson4をやったとは，何をやったということなのか。本文の内容は英語を学ぶための手段であって，異なる英文を出題してもいいと考える人もいる。逆に，英語の表現はどうでもいい，内容がすべて，という人もいる。他の教科ではあまりこういうことは起こらない。
　　taskの内容はspeakingのテストとしてふささしいか。

・面白いが，田口先生にしかできない。

☆　trainingなしで評価できることはない。
☆　中学生の能力を考えたとき，田口さんはaccuracyを外したと言っている。

・中学生にaccuracyを求めるのは難しいのではないか。
・accuracyがあまりにも低ければ，taskの完成に関わるので除外してもいいのでは。
・accuracyを外してしまってspeakingの評価になるのか。この実際のtaskの中で，例えば，息子を説得する母親役ならStudy hard!と言い続ければ，taskはできてしまう。
・田口先生がtask中にうまく生徒から発話を引き出している。
・もう少し生徒が何かをしないと，達成できないものにしなくてはならないのでは。

☆　評価行動という名の「指導」ということを考えればOK。テストとして機能するかどうかは意見が分かれる。埼玉大靜先生「学校でやるテストはテストという名の指導である。」中学生にあえてaccuracyを求めることで指導になる。評価の観点にnon-verbalを含めるとは，要領よく生きましょうということ？言葉は，言葉でなければ伝わらない時に必要。目的だけ達成できればいいなら，外国であっても母語でやれるところが多い。語学教育はいらなくなってしまう。

：：：：次回の課題：：：：

Topic 1

次回 2011/07/01
Topic３　～スピーキング力の評価～ 　の3回目　　
リサーチデザインの書き直し

Good luck!