[レビュー][旧記事] 文献の読み方: Brown & Hudson (1998)を例に。
大学院の授業で，前半の講義で話したテスティングの諸概念を確認しつつ，中盤の授業で読んだカリキュラム論を評価論とつなげるため，
- Brown, J. D., & Hudson, T. (1998). The alternatives in language assessment. TESOL Quarterly, 32, 4, 653-675. doi: 10.2307/3587999
を検討した。その後，学部のゼミでもこの文献を報告したいという学生がいたので，ゼミ生と読んだ。
冒頭に近年（98年当時）”alternative assessments”として注目されてきたポートフォリオや面談，日記，自己評価，相互評価などの評価法について先行研究を引いた言及があり，少し後でこの”alternative assessments”という言い方はちょっと非建設的だという記述がある（p. 657）。Brown & Hudsonは
We view procedures like portfolios, conferences, diaries, self-assessments, and peer assessments not as alternative assessments but rather as alternatives in assessment (p. 657).
と続けるのだが，この意味が学生・院生になかなかピンと来ない。ピンと来ないというよりも報告ではスルーされてしまっていたので，院の授業ではディスカッションのテーマとして，学部のゼミでは報告後の議論において「これってどういう意味？何を言わんとしている？」と投げかけた。
そもそもテスティングの専門家の授業を受けた経験もなく，彼らにとってはこの文献自体が難解でかなりdemandingなのだが，私は一読して「ここが分かれば後の議論の意図も分かるし，Brown & Hudsonが最後にmultiple sources of informationの重要性を訴える意味も，『確かにたくさん情報あるに越したことはないよねー』という素朴なレベルより深く理解できるだろう」と思った（故に事前にディスカッションの話題の一つとして準備した）。もちろんここだけが重要ということではないが，鍵の一つであることは間違いない。
論文の中心部分は，T/Fや多肢選択法から，パフォーマンス評価やポートフォリオに至るまでの多様な評価法を
- 選択応答式評価(selected-response assessments)
- 応答構築式評価(constructed-response assessments)
- 個人応答式評価(personal response assessments)
という3つの観点で整理し，それぞれの評価法としての特徴，強み・弱みを述べるものなので，上の引用が理解できなくても報告をまとめることはできる。「こんな評価法がありますよねー」という列挙だ。しかし，それではこの論文の肝が捉えられていない報告になってしまう。
背景知識がなくとも丁寧に読めば本文中にも書いてあるのだが，上の一文は，その頃”alternative assessments”だぜえええ！(ﾄﾞﾔッと提案されてきた評価法やその過程がそれ自体で妥当だなんてことはあり得ず，選択応答式評価に分類されるようないわゆるtraditionalな評価法と同様に，考えるべき信頼性・妥当性の問題が存在するし，弱みだってある（もちろん他の評価法と比べた強みもあるけど）ということを言わんとしている。
したがって，ポートフォリオやら自己評価・相互評価やらは「既存の評価法の代わりとなる（もっと言えば，すっかり置き換えることができるような）評価法」ではなく，「（既存の評価法もひっくるめた）評価法の中にある選択肢（のひとつ）」と捉えるべきでしょ！→この視点で各評価法の強み・弱みを整理しちゃおうゼ！というわけだ（結論の多くは2014年現在ではある意味で当たり前のことのようにも思えるが，現実はそうとも言えないことが多いし，今は論文の読み方の話をしているのでそれは問題ではない）。
この問題状況の整理，つまり「課題設定」を理解しているか否かでこの論文の理解は大きく変わってくる。と，院生・学生を見ていて思った（からこそ，個人で読むのに任せるのではなく授業・ゼミで取り上げた意義があった）のだが，どうやったらそこに気づけるようになるのかということをつらつら考えた。答えはまだない。単純に論文をたくさん読むというのが一つだが…（to be continued.）