2009年6月22日月曜日

とある研究会での感想.-有意な差がない-

 
仮説検定の枠組みで科学をしているとすれば,「差がある」ってことを使って論理を組み立てているわけです※1※2.仮説検定は,統計的解析の中ではほぼ全ての研究者に了解されている検証道具だし,ここまで広く了解されている道具は他に無いんじゃないかと思うくらいです,今のところは.言ってみれば,神経科学ゲームをするルールだと思っている※3※4.

でも,会議での口頭発表を聞いていると,「差がないです」っていう結果(グラフ)を見せられて,その後の論理に「差がない」ってことが入って来ちゃっていて,なんだかなぁと思ったり.仮説検定原理主義に立てば,「差がない」結果は,みんなに見せる意味すらない分けですよね.差があるのか,ないのか,わからないという結果なんですから.

サッカーやっているのに,ボールを抱えて走り出されたらつまらないし.だったらラグビーやれよと思うし※5.与えられた制約がある中でも,すごいことをできるかってのもゲームのおもしろさなんで,..科学の精度を保つためには必要だと思うのです.妄想は話すのも聞くのもそれなりに楽しいから,前置きして話せばいいと思うのだけど※6.

とはいえ,結果的に差の認められない結果も,この実験もやりましたよ,という情報にはなるので,親切であると思ったりもする.


※1.もちろん,さらにA>B or A<Bもわかる.
※2.(一応のため説明,仮説検定でモデルを同定するとすれば)AとBとCの3つのみが仮説(モデル)の可能性だとすれば,Bであることを示すには,AとCのモデルは計測データと「差がある」ことを示す.そしたら,Bであることになる.
※3.論文では,仮説(モデル)の予測がデータと一致していそうでしょ,と読者に主観的評価を求めるような図もありますけど.だったら,何かの情報量規準を使っちゃえばと思う.
※4.相関値がいくつだったら相関していると言えるのか決定できないし,相関も検証としては使えないかな.特に神経科学のデータだと,いたるところがつがっていて相関ならいたるところにあるので,相関しただけだと何かを言ったようにはあまり感じないです.
 ただ,1変量の相関なら上記の通りなのですけど,多変量なら特定のことが偶然に起こりえる可能性が極端に小さくなるから,多変量の再構成は検証道具にありじゃない,と思っている.
※5.ボール抱えて走っても,ちゃんとサッカーだ,って説得力を持つように説明できれば,使える戦略ってことになって,おもしろい.
※6.実験αで差があって,それと同じくらいサンプル数をとっている同質の実験βで差が認められなかった場合,βは差がなさそうって論理ですかね.同質ってことをうまく検証できればそれでもいいのかな.うーん.
 

6 件のコメント:

oba さんのコメント...

有意差に関して、さいきんここ http://www.kbs.med.kyoto-u.ac.jp/sato_zatubun.html
の http://www.kbs.med.kyoto-u.ac.jp/01Sep15.pdf こんな文を見つけて読みました。一方の極端として、参考までに。

Shika さんのコメント...

intention-to-treatですか.初めて知りました.第1種の誤りを徹底的に排除する手続きですね.

神経科学では解析前に適当な理由でニューロンを選別することも多いです.

選別理由(基準),選別前後のニューロン数をきちんと確認するのは電気生理学論文を読むときの「手続き」だと,ここ1,2年で学びました.
 

Kou さんのコメント...

遅レスです。すみません。

差がないってことを積極的に言うためには,ベイズのアプローチを使う方法があります。事前分布の設定が難しいのですが,,,。下記論文など参考になります。

The importance of proving the null.
Gallistel, C. R.
Psychological Review. Vol 116(2), Apr 2009, 439-453.

Shika さんのコメント...

Kouさん,お久しぶりです.情報ありがとうございます.

ベイズさんですね.科学的検証ならばAIC(予測)よりもBICが適切と思って,自分が書いた論文でもBICを使いましたが...

一般論として,やっぱり,僕には,ベイズさんの事前分布が気になるんですよね.ひとまず論文,読んでみますね.

ところで,心理学では,この方法は受け入れられつつあるのですか?

※紹介していただいた論文,「Gallistel CR.」で検索して,著者のページからダウンロードできました.
K大学はこの雑誌と契約していないかもしれない.

Kou さんのコメント...

心理学ではまったく受け入れられていません。状況は神経科学研究と変わらないと思います。情けないことです。ソフトウェアがあれば一気に普及も進むのでしょうが,,,。

ちなみに最近思うのですが,BIC は名前にベイズがありますが,あれってベイズじゃないような気がします(笑)。ベイズ的には周辺尤度を使って適合度を算出するのが適切ですが(これを bayes factor と呼ぶ),BIC はその簡便法として最尤推定値という点推定値を用いているので。細かいことなのでどうでもいいですが。あと,最近は DIC がよく使われるように思います。

Shika さんのコメント...

ベイズ統計で事前分布を決定する恣意性が嫌がられるのかと思いました.

仮説検定でも実験者が決定しなければいけないことがあるので,完全に客観的とも思いませんが.

その議論の果てに,結局,ソフトウェア1つで,採用されたりされなかったりするのか^^;