定義
p値は帰無仮説と解析モデルが正しいとした時、観察値以上に極端なデータを得る確率である。信頼区間は反復標本で一定割合が真値を含むよう構成される区間である。第I種過誤αは真の帰無仮説を棄却する誤り、第II種過誤βは偽の帰無仮説を棄却できない誤り、検出力は1−βである。
イメージ
p値は「差がない世界で、このデータはどれほど珍しいか」、信頼区間は「効果の大きさがどの範囲ならデータと整合するか」を見る。前者は証拠の一側面、後者は大きさと精度を同時に示す。
仕組み
有意水準αを下げると偽陽性は減るが、標本数を変えなければ検出力も低下しやすい。検出力は真の効果量、ばらつき、標本数、α、片側・両側検定で決まる。95%信頼区間が差の指標で0、比の指標で1を含まなければ、通常は両側5%検定で有意となる。多重比較は少なくとも一つの第I種過誤を増やすため補正や事前仮説が必要である。研究計画段階の標本数設計と、観察後の効果量・不確実性の解釈は分けて考える。
例
大規模研究では臨床的にごく小さい差でもp値が小さくなり、小規模研究では重要な差があっても信頼区間が広く有意にならない。効果量と信頼区間を優先して読む。