予測対象、基準値、および指標

このトピックを終えるまでに

あなたは予測対象と分析単位を定義し、基準値と指標を混同しないようにする能力を身につけます。モデルを精度だけで評価するのではなく、研究目的や誤りのコストに適合する指標を選択します。

予測質問をデータ契約へ翻訳する

「このサンプルのアウトカムを予測できるか？」という質問には、対象、予測時点、利用可能な特徴量、評価単位が必要です。対象が将来のアウトカムか現在観測された値かを確認しないと、データリーケージが発生する可能性があります。

基準値を出発点として

基準値は、平均、最頻クラス、または既存のルールなど、より複雑なモデルと比較するための最低基準です。基準値を上回ることは、特定の評価設計内での改善を示すものであり、必ずしもすべての環境での有用性を意味するものではありません。

指標は質問のコストを反映する

回帰では、MAEとRMSEは誤りに対して異なる感度を持つ場合があります。分類では、適合率、再現率、ROC AUC、平均適合率が異なる視点を提供します。クラス不均衡の場合、精度は最頻クラスのみを反映している可能性があります。指標とその選択根拠を事前に定義してください。

指標選択表の作成

元のアウトカム単位で予測誤りがどの程度大きいかを知りたい場合は、MAEのように単位を保持する指標を検討してください。大きな誤りにより重みを付けたい場合は、RMSEの特性を調べます。分類では、見逃し陽性（偽陰性）と偽陽性のコストは異なる可能性があります；再現率と適合率の優先度を研究目的と結びつけてください。

複数の指標を報告しても構いませんが、主要指標はモデル結果を見る前に定義されなければなりません。二次指標を使用してモデルの他の失敗モードを示しますが、性能を代表するために最も良い数値だけを抽出しないでください。

基準値とモデルの改善

最頻クラス基準値、平均予測基準値、および既存のルールベース基準値は異なる質問に対応します。モデルが基準値を上回る場合は、絶対差と不確実性の両方を報告してください。実際の運用コストや外部検証において小さな性能向上が持続するかは、別の判断事項です。

解釈のために研究質問へ戻る

予測性能は因果効果ではありません。良い指標の結果は、生物学的メカニズムや外部サイトでの性能を保証するものではありません。対象の定義、評価単位、データ分割を報告してください。

一般的な落とし穴

• 特徴量に対象を含めないこと。
• 基準値と実際の運用基準を区別し忘れないこと。
• 不均衡分類を精度のみで評価しないこと。
• 結果を見た後に有利な指標を選択しないこと。

主要なポイント

• まず予測対象と評価単位を定義する。
• 基準値は比較の出発点である。
• 誤りのコストと研究目的に応じて指標を選択する。

次のトピック

次のセクションでは、リーケージを防ぐためのパイプラインとグループ/時間/サイト分割について扱います。

参考文献

• scikit-learn metrics: https://scikit-learn.org/stable/modules/model_evaluation.html
• scikit-learn calibration: https://scikit-learn.org/stable/modules/calibration.html

この章の対象スキーマと例は、BioStatPyによって独立して作成されました。