定義
予測モデルの識別能は、転帰を生じる人に、生じない人より高い予測危険度を割り当てる順位付け能力である。較正は、たとえば予測確率10%とされた集団で実際にも約10%が発症するかという、確率値の正確さを示す。AUCが高くても確率がずれているモデルや、全体として確率は合うが個人間の順位を十分に分けられないモデルはあり得る。
イメージ
試験で順位を正しく付けられるかと、その点数を正しい確率として読めるかは別である。高危険患者を低危険患者より上に並べられても、「30%」と予測した集団で実際には60%が発症するなら、確率としてはずれている。
仕組み
二値転帰の識別能はc統計量またはAUCで評価され、無作為に選んだ転帰あり・なしの一組について、転帰ありの人へ高い危険度を付ける確率と解釈できる。較正切片は平均予測確率と平均発生率のずれ、較正傾きは予測値の広がりが強すぎるか弱すぎるかを表す。理想は切片0、傾き1である。開発データへ過度に適合したモデルは、外部データで傾きが1未満となり、高危険を高く、低危険を低く予測しすぎる傾向がある。Brierスコアは予測確率と実際の転帰の二乗誤差で、較正と識別の両方を反映するが、転帰頻度にも影響される。別施設や別時期へ適用すると基礎発生率が変わり、順位が保たれても較正切片がずれるため、再較正が必要となる。臨床的有用性は、閾値確率ごとの利益と不利益を考える決定曲線解析などで評価する。
例
敗血症予測モデルがAUC 0.85であっても、開発施設より発症率の低い施設へ適用すると、すべての予測確率が高すぎることがある。患者順位が保たれてAUCがほぼ同じでも、較正切片はずれるため、現地の基礎発症率に合わせた再較正が必要になる。