ここからは、論文の主旨とも言える部分に触れていきます。初心者向けのガイドではありますが、専門用語が多く登場するので、一見ハードルが高く感じられるかもしれません。できる限り補足にて解説していますので、是非参考にしてみてください。
7. 研究のアプローチを理解しよう―メソッドを参照
論文を理解するためには、著者が何をしたのかを正確に示す図を描くべきだとラフ博士は主張しています。もし実験手法などについて意味が分からない部分があれば、それを調べ上げる必要があるとのこと。メソッドに関して、その基礎を他人に説明できるようになるまでは、「結果」を理解できるようにはならないとしました。
この「メソッド」は一般的に“選出したサンプル”や“実験・調査手法”が記されているセクションです。そこで今回は“サンプル”について軽く補足します。よく支持されている考え方として、“サンプル数は多ければ多いほど良い”というものがあります。実際にサンプル数が母集団に近ければ、そこから導き出されるデータはより正確なものになると言えるでしょう。
しかし、中には事前に「検定力分析」という手法で予め適切なサンプル数を定めている場合もあるので、サンプル数が異常に少なく見えても、その点に関して何か説明が無いか注目するのもポイントです。
またサンプルの選び出し方には、ランダムに選出する「無作為抽出法」と、議題に関して“代表的”と考えられる対象から選出する「有意抽出法」があります。そして現代では、研究費などの問題から大規模な調査が行えず、有意抽出法を結果的に採用するパターンが大半です。
とはいえ、有意抽出法に大きな問題があるという指摘もされています。選ばれたサンプルが“何をもって母集団を代表しているのか”という点は、統計的に判断することは不可能です。それゆえ、選出者の主観的な判断に比重を置くことになり、研究結果にバイアスがかかる懸念があります。このことから、メソッド、特にサンプルを確認する際は“その数”や“集団の代表性”に注意するといいでしょう。
例えば、“成人男性に○○な心理的傾向があるかもしれない”と調べる際、サンプルが“日本人のみ”であれば、結果を得られてもそれは“日本人にだけ見られる傾向”の可能性があります。
ではサンプルが“世界中の男性”であればどうでしょうか?一見、問題なく見えても“実は女性も同じ傾向を持っていた”=“人類全体が持つ傾向だった”という可能性があります。つまり、“○○かもしれない”という対象とは別に、比較となる“○○ではないかもしれない”という対象(対照群)を用意しているかどうかも、実験結果の妥当性を推し量る重要な基準です。
8. 「結果」を要約しよう―結果を参照
ラフ博士いわく、セクション内に記載されている実験や図表について、何を意味するかは考えずに、それぞれ1段落以上要約を書くべきとのこと。優れた論文では結果の大部分が図表にまとめてあるので、これらには注意を払うべきとしています。
一方で論文が統計的検定を採用している場合、十分な知識がないと理解に困難が生じる可能性があるそうです。その中でも特に「有意差あり(significant)」や「有意差無し(non-significant)」といった用語や、グラフの「エラーバー(信頼区間)表記の有無」、「サンプル数の大きさ」に気を付けるべきとラフ博士は言います。
この「結果」は専門知識無しで読む際、一番の山場となるセクションでしょう。特に統計学の用語は必ずと言ってもいい頻度で登場するため、多くの人がここで投げ出してしまうかもしれません。そこで最低限ラフ博士が提示した用語について説明します。
まず「有意差」とは何か、これは実験・調査で得られたデータが“偶然の産物か否か”を判断する際に使われる指標です。例えば、要素Aと要素Bの関係を調べた際、両者の結びつきを示すに十分な数値(データ)が出たとしましょう。そして、そこに(統計的)有意差があれば“関係がある”と解釈できます。
しかし、有意差が無かったとしても、そこから導き出されるのは“関係が見つからなかった”という結論であり、“関係がないわけではない”という点は研究者の間でも起こりがちな勘違いなので注意してください。
次に「エラーバー」の説明ですが、こちらは棒グラフなどに表記される線です。実は論文によって「標準誤差」「標準偏差」「信頼区間」とバーが表すものが違うので、「殆どの研究者が理解していない」と言われるほどややこしい部分であったりします。筆者としては無理に読み取ろうとせず、“表記されているかどうか”程度のチェックで済ませることを推奨します。
また、「サンプル数の大きさ」についての解説は前セクションの補足を参照してください。
9. 「結果」について考えてみよう
ラフ博士はまとめた研究結果を踏まえ、「その結果が何を意味するのか」そして「それは議題に答えられているのか」を考えるべきだといいます。なお、著者の解釈を聞いて自分の意見を変えても問題はなく、大事なのは「他人の解釈を読む前に自分で解釈しておくことだ」とラフ博士は語りました。
10. 「結論/解釈/考察」を読もう―結論/解釈/考察を参照
ラフ博士はこのセクションにて、様々な疑問を投げかけるよう推奨しています。著者による「結果」の解釈は何だったのか、そしてそれに同意できるのかなどが例として挙げられました。また、著者が研究の欠点を理解していたり、見逃している点が無かったりしないかもポイントとのことです。
本セクションは著者が“研究で得られた「結果」は何を意味していたのか”を明記する論文の核ともいえる部分です。特に筆者がここを読む際、個人的に注目するのが「研究の欠点」に関する記述。もし「メソッド」に不審な点があった場合は、ここで言及されているか確認しましょう。
また、これは単に“研究が間違っている可能性”を示しているだけでなく、著者がどれだけ自身の研究に造詣が深いかを表すと共に、後続の研究者の助けともなる重要な箇所とも言えます。大半の研究において、得られた結果はあくまで“限定的な条件下で確認できた結論”であり、“普遍的な事実では無い”ことも心にとどめておいてください。
11. 冒頭の「概要」を読もう―「概要」を参照
ここでラフ博士は最初に飛ばした「概要」を読むことを推奨しています。本文で述べていることが反映されているのか、そして自身の解釈に一致しているのかをチェックするべきとのことです。
12最後に他の研究者による意見を調べてみよう―論文外を参照
この分野で自他ともに認める有力な研究者を把握し、彼らが論文にどのような意見を下しているのかを調べるようラフ博士は言います。具体的にはGoogle検索を使うのがいいとのこと。また、「引用文献」のセクションで著者がどのような文献を引用しているか確認すると、その分野の重要な文献をよりよく理解でき、役に立つアイディアや技術が見つけられるそうです。
ラフ博士はGoogle検索を使うよう言いましたが、本ブログ投稿の執筆は2013年のものであり、記事公開時点(2022年)では他にも様々な方法が存在します。
例えばTwitterでは多くの研究者が実名で活動しており、中には自身が執筆した論文や、最近読んだ論文についてツイートしている場合が多く見受けられます(例:アンドリュー・シュビルスキー教授/@ShuhBillSkeeなど)。もちろん、プロフィールで研究者を名乗っていても自称の可能性があるので、大学のホームページなどで本当に在籍しているのかを調べるといいでしょう。
また、論文が掲載されているWebジャーナルには、“他の論文が引用しているかどうか”を確認できることがあります。仮に無料で全文が公開されている論文であれば、そちらで他の研究者がどう引用しているのかを見てみるのも選択肢の一つです。
おわりに
以上で「科学論文の読み解き方:非科学者のためのガイド」の解説は終わりです。ガイドの時点で専門用語が飛び交っていたため、恐らくここまで読むだけでも“一苦労だったのではないか”と思います。マスターするとまではいかずとも、ネット上を飛び交う論文や、その紹介の真偽をチェックする一助になれれば幸いです。また、過去にGame*Sparkでも取り扱ったオススメの論文をリストアップしてみました。興味があれば是非ガイドを参考に読んでみてください。
Time spent playing two online shooters has no measurable effect on aggressive affect
英オックスフォード大学博士研究員の、ニクラス・ヨハネス氏筆頭のチームによって行われた研究を基に書かれた論文。『Apex Legends』と『OUTRIDERS』のプレイ時間とユーザーの感情データを分析しています。(関連記事:オンラインシューターのプレイ時間と攻撃性に目立った関連見られず―海外の最新研究が公開)
豪・フリンダース大学のアーロン・ドラモンド教授と、英・ポーツマス大学のジェームズ・D・ザウアー教授により執筆された論文。先進国22カ国の15歳以上の生徒約20万人を対象に、ゲームのプレイ頻度と学業成績の関係を分析しています。(関連記事:“ゲーム障害”が国際疾病になったいま、ゲーム規制条例を科学的に見直してみる)
Video game play is positively correlated with well-being
英・オックスフォード大学の、アンドリュー・シュビルスキー教授を筆頭に行われた研究を基に書かれた論文。『あつまれどうぶつの森』と『Plants vs. Zombies ネイバービルの戦い』に焦点を絞り、プレイヤーの自主回答による幸福度データとゲーム・プレイ時間を分析しています。(関連記事:暴力的なゲームをすると暴力的になる?プレイ時間を制限すれば問題解決?“ゲーム障害”認定を疑問視するオックスフォード大教授の論文を読み解く)
UPDATE(2022/04/19 08:26): 本文内で使用していたタグを一部修正しました。SNSでのご指摘、ありがとうございました。