[レビュー][旧記事] 補足の補足でメタ分析について覚え書き（山田・井上(編), 2012. Ch.2）
前の記事で，Norris & Ortega (2000)等のメタ分析は（分析対象となっている研究の）「指導方法や対象となっている文法項目があまりにも異なり，また十分網羅されているとは言えず，こうした研究をsynthesizeしても広くぼやけたことしか言えない（のでひとつにまとめるべきではない）」と述べました。
この問題は「メタ分析の短所」として古くから指摘されています。山田・井上(編) (2012)によれば，メタ分析の結果の妥当性については，次の3つの問題が指摘されています（山田・井上(編), 2012, p. 18）。
- リンゴとオレンジ問題（apples and orange problem）：メタ分析は，多様な研究をごちゃ混ぜにしている。
- ゴミを入れてもゴミしか出ない（garbage in, garbage out）：メタ分析は，質の低い研究を含めてしまう。
- 引き出し問題（file drawer problem）：公表バイアスの問題。公刊される研究は，統計的に有意なものが多い。統計的に有意でない結果は引き出しの中にしまわれて，陽の目を見ない。
つまり，こちらの発表では主に――メタ分析研究者には既に知られている――リンゴとオレンジ問題をいまさら指摘したということになりますが，浦野先生の補足にあるように，医学系のメタ分析研究と外国語教育・第二言語習得研究のメタ分析研究を具体的に対比することで，現状と課題を明らかにし，この分野に求められる replication について考え行動するキッカケを作れたのではないでしょうか。
それは，「リサーチクエスチョンに関連する領域についての知見が整理されないままに新たな一次研究を重ねても，一般性の高い結論を導くのに役立たず，結果の多様性や曖昧さを増すだけになりかねない。それよりはむしろ，領域に関する先行研究を体系的に収集して適切に分析することで，その時点におけるできるかぎりたしかな結論を得よう」というメタ分析の発想を否定するものではなく，むしろそれを実質的なものとするための提言だったと考えています（山田・井上(編), 2012, p. 26）。
ただ，何でもかんでも「リンゴとオレンジ問題だ！」と斬ってしまえばいいというものではなく，「フルーツについてまとめることが分析の目的だ」という視点も考えあわせることが必要だと，山田・井上(編) (2012)の第２章を読んで考えました。以下，少し長くなりますが引用します。
1つのメタ分析の中にリンゴとオレンジを含むことは，一概に誤った企てとはいえない。独立変数xと従属変数yとの間に因果関係があると主張する研究があるとき，その主張が説得力を持つ程度のことを，研究の内的妥当性（internal validity）と呼ぶ（南風原, 2001）。一次研究とくに実験的研究では内的妥当性の高さが重視され，これを確保するために，ごく限定的な状況の中で研究が行われることが多い。この場合，その研究が用いた状況下での内的妥当性の高さは保証されるかもしれない。しかし，異なる状況にも結論を一般化できるかどうかについては，個々の一次研究レベルでは明確なことはいえない（たとえば，大学生を被験者とする研究で得られた結論が保育園児にも当てはまるかどうか）。被験者の属性その他のいろいろな点を固定して一次研究を集めてメタ分析を行えば，リンゴとオレンジの批判は回避できるかもしれない。しかし，あらゆる面において同等な研究だけを集めようとすれば，対象となる研究の数はきわめて少なくなるにちがいない。また，そのようにして行われたメタ分析の結論が及ぶ範囲も狭く限定されて，結論の一般性は大きく損なわれるだろう。研究結果を一般化しうる程度は，内的妥当性と対比させて外的妥当性（external validity）とよばれる。多様な研究を集めて，それらの全体を見渡して結論を導くというメタ分析（あるいはレビュー研究一般）の方法論は，外的妥当性を高める上で，たいへん有効なものだといえる（後略）（山田・井上(編), 2012, pp. 29-30）。
英語教育研究の場合，例えば（何らかの客観的指標に基づいて）同じくらいの幅の英語運用力を持つ大学生集団に対する，同じ90分/回×15週の，同じバックグラウンドや英語力・指導力の教員による，同じ授業内容・構成，同じ量のインプット・アウトプットの研究を集めることができれば，その指導法について内的妥当性の高い分析ができるでしょう。しかし，異なる教師や学習者には全く当てはまらず，中学校や高校の授業には示唆にもならない結果となれば，どれだけ内的妥当性が高い研究だとしても，外的妥当性は非常に低いものとなってしまいます。そもそも，上の条件を満たす研究を集めようとするのは，あるいはこれを満たす複数のサンプルを見つけるのはほとんど不可能で，外的妥当性はおろか実現可能性も低いと言えるでしょう。
同じ研究会で 草薙邦広さん（名古屋大学大学院）が発表したように外国語教育を構成する諸要因とその関係は複雑極まりないわけで，その現実に即して意味のある「フルーツ」的くくりを考えなければならない一方で，独立変数xと従属変数yの関係に影響を与える別の「調整変数」（moderator variable）を探りつつ，x・yの構成概念と操作的定義自体を疑って行くことに自分の役割があるのかな，などとつらつら考えました。
そこでさらに思うのは，一次研究にしろメタ分析にしろ，何を意味のある変数，影響を与える要因とみなすかが決定的に重要で，その見極めはいつ，どのようにできるようになるのか，追試（する研究の選択）はそれに貢献し得るのかということです。無批判に「良さげな研究だから追試する」というのでは，「理由は特にないけど先行研究でやられてないからやる」という研究と同じくらい某先生をイライラさせるだけで有害だと思いますが，追試を励行することによって損なわれるものがあるとすれば，それについても今後考えていきたいと思います。
ところでこの山田・井上(編) (2012)は，専門的知識は要求されますが，非常に良い本で，あちこちで「なるほど！」という記述に出会います。例えば第２章では，調査や実験の経験もない学生に対する授業で「構成概念」と「操作的定義」について説明する際，いまひとつピンと来てない感が漂い，いろいろ例を挙げて説明している私自身もうまく説明できている気がしていなかったのですが，次の記述になるほどと思いました（そのまま学生に対する説明に使えるかどうかは別ですが）。
たとえば，「活動することそれ自体がその活動の目的であるような行為の過程」と概念的に定義される「内発的動機づけ」の強さは，どのようにすれば把握できるだろうか。デシは知的好奇心をかき立てるパズル（ソマパズル）を課題として選び，大学生の被験者が無報酬で自発的にパズルに取り組む時間（秒数）によって，内発的動機づけを操作的に定義した（Deci, 1971）。「内発的動機づけ」を操作的に定義する方法は，もちろんこれだけではない。（後略）（山田・井上(編), 2012, p. 27）。
しばらくは，この本を読み進めて考えたことを投稿するかもしれません。
- 山田剛史・井上俊哉(編) (2012).『メタ分析入門：心理・教育研究の系統的レビューのために』東京大学出版会.