再現実験の結果をギャンブル的に予測する実験

あるAnonymous Coward 曰く、　科学の世界では、調査結果からある物事を推定したり、実験結果から理論の正当性を推定するということが広く行われている。しかし、査読付き論文誌に掲載されている論文でも、そのような推定の半分は偽陽性、つまり本来は正しくないのに正しいという結果が出たものだという。この偽陽性を取り除く最良の方法は、別の研究室で再現実験を行うことなのだがこのような再現実験をやりたがる研究者は少ない。

　そこで、そのような推定結果の正しさを推定するため、「集合知」の力を使うという手法が提案されたそうだ。この手法は、再現実験の結果を先物取引で利用される「予測市場」的なシステムを使用して予測するというもの（ScienceAAAS、Slashdot、PNAS掲載論文）。

　論文では、科学者や心理学者から構成される50人の「トレーダー」および「オンライン予測市場サービス」が予想した結果と、実際の再現実験結果を比較したという。「オンライン予測市場サービス」とあるが、実際にはその結果が正しいか、それとも間違っているかを賭けるというギャンブル的なもののようだ。参加者には実際にその結果に応じた賞金が提供されたという。

　その結果、「トレーダー」は71％が再現に成功すると見込み、予測市場サービスは58％が成功すると見込んだ。実際には正常に再現できた実験はわずか39％。予測市場サービスの方が的中率は高いが、両方とも楽観的だったようだ。

　スラドのコメントを読む | サイエンスセクション | サイエンス

　関連ストーリー：
気候変動懐疑論者ら、温暖化対策を支持したローマ法王を批判 2015年05月02日
人を説得する際に科学的事実を並べるのは無駄？ 2014年07月08日
宗教と科学が衝突すると考える科学者は意外にも少ないという調査結果 2011年10月03日
MRIで棋士の脳を科学する 2006年06月30日