2009年7月17日金曜日

Circular analysis, Tautological analysis, 循環論的解析

 
Kriegeskorte et al. Circular analysis in systems neuroscience: the dangers of double dipping . Nature Neuroscience (2009) vol. 12 (5) pp. 535-40

とある論文抄読会で教えてもらった論文.独立ではない解析をして結論を出している研究があるという話.Nature, Science, Nature Neuroscience, Neuron, The Journal of Neuroscienceの2008年にでたfMRI研究134報を対象に調べたようです.そのうち57本が独立ではない解析をしているのではという指摘でした.独立でない解析というのは,例えば,Localizerで用いたデータで,さらに仮説を検証するような解析をしてしまった場合ですね.今回指摘しているのは,以前に話題になったVulらの統計的処理に対する指摘ではなくて,論理的な解析手続きに対する指摘.なので,fMRI研究にかかわらずデータを扱う全ての研究で起こりえる話についてです.

ざっと見た感じでは,ここで指摘されていることは当たり前のように思えますが,どうなんでしょう,実際に査読していると気づかないこともあるのでしょうか.対象となった論文がわからないので明らかなことは言えないですが,これだけの数の誤りがあると,誰しもが落とし穴にはまる何かがあるのでしょうか.それとも,やはり論理的に単純な誤りなのでしょうか.自分が本当に理解していて,かつ実践できているかが不安になってきた.

ちなみにpubmedで下記で検索すると195報(Review含めて)の論文が出てきます.humans[sb]を含めないと226報.

(Nature[journal] OR Science[journal] OR "Nature Neuroscience"[journal] OR Neuron[journal] OR "The Journal of neuroscience : the official journal of the Society for Neuroscience"[Journal]) AND fmri[ALL] AND humans[sb] AND 2008[DP]
 

2 件のコメント:

Murayama さんのコメント...

これは読まないとですね。ありがとうございます。

Shika さんのコメント...

いまだに,ざっと目を通しただけですが,

適当に読んだ査読者が気づかない可能性は想像できるのですけど,実験者は気づくだろうって話でした.

うーん.