効果量、不確実性、p値
このトピックを完了すると
効果量、方向性、推定不確実性、およびp値がそれぞれ異なる情報を提供することを説明できるようになる。帰無仮説が真である確率や生物学的有意性の尺度としてp値を解釈することを避け、研究質問と結果を併記する形で報告を構成できるようになる。
一つの比較に対する3つの質問
二つの条件のアウトカムを比較すると仮定する。少なくとも以下の三つの質問を区別しなければならない。
- 観測された差の方向と大きさは何か？
- サンプルの変動性を踏まえて、その差の不確実性はどの程度か？
- 特定の帰無モデルの下で、現在またはそれ以上に極端なデータが現れる頻度はどの程度か？
これらはそれぞれ、効果量、区間と標準誤差、p値に関連する。これら3つは同じ研究で必要となる場合があるが、互いに代替可能ではない。
効果量：調査単位での差の表現
効果量は、観測された差の大きさと方向性を表す。平均の差である場合、アウトカムの元の単位で解釈できる。比率、リスク比、標準化された差などの他の尺度を選択することもできる。適切な尺度は、研究質問と測定単位に依存する。
効果量が大きいことだけでは、重要な結果を意味するわけではない。生物学的判断に必要な最小限の差、測定誤差、コストとリスク、研究デザインの妥当性も考慮しなければならない。
不確実性：効果はどの程度変動するのか？
同じ手順でサンプルを再度取得した場合、推定された効果量は異なる可能性がある。この変動性を表す方法として、標準誤差、信頼区間、ブートストラップ区間がある。広い区間は、データが効果量を精密に特定できていないことを示唆する可能性があるが、これはサンプルサイズのみによるものとして帰因すべきではない。
区間を報告する際は、効果の尺度、分析単位、区間の構築に使用された手順を指定すること。元の単位での差の比較と標準化された差を混同してはならない。
p値：帰無モデル下でのデータの極端さ
p値は、特定の帰無仮説と分析手順の下で、観測された結果、またはそれ以上に極端な結果がどの程度極端となるかを定量化する。それは、帰無仮説が真である確率でも、代替仮説が真である確率でもない。
小さなp値は、帰無モデルとデータとの関係を示す情報を提供する。それは自動的に、効果が大きい、再現性がある、生物学的に重要である、または因果関係が証明されたことを意味するものではない。逆に、大きなp値は、効果の欠如を確認するものではない。
一文で結果をまとめる
結果を報告するための基本的な構造は以下の通りである。
조건 B와 A의 추정 효과는 [척도와 방향]이었다.
불확실성은 [구간 또는 표준오차]로 표현했다.
사전 정의한 귀무모형 아래 p-value는 [값]이었다.
이 결과는 [설계·측정·외삽]의 범위에서만 해석한다.実際の数値を挿入する際は、実行結果と分析単位を確認すること。p値のみを残すと、読者は効果の大きさと精度を知ることができない。
異なる結果が同時に発生し得る
サンプルの変動性が低い場合、効果量が小さくてもp値は小さくなり得る。逆に、データの変動性が高い場合、効果が実質的に見えていても、区間は広くなりp値も大きくなり得る。これらは異なる質問に答えるものであるため、矛盾するものではない。
例えば、平均の差は元の単位では小さくても、研究の目的に必要な最小限の重要な差を超える可能性がある。逆に、統計的に区別可能であっても、実際の測定誤差やその後の意思決定において意味を持たない差もあり得る。そのような判断を下すには、重要性の基準と測定単位を研究前に定義しなければならない。
結果表は、少なくとも estimate、uncertainty、p_value、analysis_unit、method、および interpretation_limit の列を含むように設計すること。単一列のアスタリスクや色に基づいて結果の階層を作成してはならない。
事前の仮説と分析範囲
p値の解釈は、どの帰無仮説、方向性、分析手順が事前定義されたかによって依存する。データを確認した後でアウトカム、サブセット、または比較方向を変更し、確認結果として同じp値を報告してはならない。探索的に発見された比較がある場合は、それが探索的であることを記録し、後の確認を要する質問として扱うこと。
解釈のために研究質問に戻る
研究者は通常、「どの程度異なるのか、そしてこの差は研究の目的にとって重要か？」ということに、「差が 0 か？」ということよりも興味を持っている。効果量と不確実性は、この質問により直接的につながる。p値はさらに帰無モデルとの関係を示すが、研究の目的に対する重要性の基準を提供するものではない。
研究者が結果表で確認すべき項目
以下の4つの層で各比較を読み解く。まず、estimateにおける方向性と単位を確認する。次に、区間または標準誤差の広がりを目視する。その後、p値がどの帰無仮説と手順に基づいて算出されたかを確認する。最後に、観測単位と外挿の範囲を読む。
この順序に従うことで、「有意」という単一の言葉が結果全体を覆い隠すのを防ぐ。例えば、p値が小さくても、区間が研究上の最小重要差の大部分で下回っている場合、実用的な判断は異なる可能性がある。逆に、区間が広い場合、効果の方向性と大きさをさらに観察する必要があるかもしれない。
効果量の基準は分野や測定単位によって異なる。外部から導き出された閾値を生物学的重要性の普遍的な基準として適用してはならず、代わりに研究質問の根拠と事前計画を記録する。
一般的な失敗と確認点
- p値を帰無仮説が真である確率として使用しない。
- 効果量と区間を省略して有意性ステータスのみ報告しない。
- 小さなp値に基づいて生物学的重要性や因果関係を確認しない。
- 大きなp値を効果がないことの証明として使用しない。
- 事後閾値を事前仮説であるかのように使用しない。
重要なポイント
- 効果量は差の大きさと方向性を記述する。
- 不確実性は標本の変動性を表す。
- p値は特定の帰無仮説下でのデータの極端さを記述する。
- これら3つの情報は相互に交換可能ではない。
- 解釈は研究デザインの範囲と生物学的重要性に限定しなければならない。
次のトピック
次のセクションでは、二群比較、対応比較、非パラメトリック比較のデザインと分析単位を選択する。
参考文献
- ASA p値声明: https://www.amstat.org/asa/files/pdfs/p-valuestatement.pdf
- SciPy統計参照: https://docs.scipy.org/doc/scipy/reference/stats.html
このセクションの報告文と例は、BioStatPyによって独立して作成された教育的な構成である。