검정력과 표본수 계획
이 토픽을 마치면
검정력 계획에서 효과크기, 변동, 유의수준, 표본수와 설계를 분리해 기록할 수 있습니다. 관측 후의 사후 해석과 전향적 설계 계획을 구분하고, 표본수 계산값을 연구의 모든 불확실성을 해결하는 숫자로 취급하지 않습니다.
표본수는 계산 전에 결정되는 질문이 있다
“몇 개가 필요한가?”라는 질문은 분석법 이름만으로 답할 수 없습니다. 어떤 차이를 중요한 효과로 볼지, outcome의 변동이 어느 정도인지, 탈락과 결측을 어떻게 예상하는지, 독립 단위가 무엇인지 먼저 정해야 합니다.
검정력은 특정 효과와 설계 가정 아래에서 귀무가설을 기각할 확률을 생각하는 개념입니다. 효과가 작거나 변동이 크면 같은 검정력을 위해 더 많은 독립 단위가 필요할 수 있습니다. 그러나 기술적 반복만 늘리는 것은 biological replicate의 수를 늘리는 것과 같지 않습니다.
전향적 계획에 적을 항목
| 항목 | 기록할 내용 |
|---|---|
| primary outcome | 측정 정의와 단위 |
| target effect | 연구에서 의미 있는 최소 차이 또는 사전 효과 |
| variability | 근거와 추정 방법 |
| alpha | 오류 기준과 family |
| target power | 계획한 검출 확률 |
| analysis unit | 조건이 배정된 독립 단위 |
| attrition | 탈락·결측 예상과 보정 |
이 항목들은 계산기에 숫자를 넣기 위한 입력이면서, 연구 질문과 설계를 검토하는 체크리스트입니다.
Python API는 계획을 계산한다
statsmodels는 특정 검정과 설계에 대한 power 계산 API를 제공합니다. 계산을 실행하기 전 어떤 함수가 어떤 가정과 효과 척도를 사용하는지 공식 문서에서 확인합니다.
from statsmodels.stats.power import TTestIndPower
analysis = TTestIndPower()required_n = analysis.solve_power( effect_size=0.5, alpha=0.05, power=0.80, ratio=1.0, alternative="two-sided",)print(required_n)이 숫자는 독립 두 집단의 특정 효과 척도와 해당 API의 가정 아래 계산된 교육 예시입니다. 실제 outcome의 단위와 변동, 반복 구조, 탈락, 다중비교가 다른데도 그대로 사용하지 않습니다. 계산 결과를 반올림할 때도 독립 단위와 그룹 배정을 기준으로 기록합니다.
계획과 관측 후 분석을 구분하기
연구가 끝난 뒤 관측된 효과와 표본수로 power를 다시 계산해 “이번 연구의 확률”처럼 제시하면 해석이 불안정해질 수 있습니다. 전향적 power 계획은 아직 관측하지 않은 효과와 설계 가정으로 계획을 세우는 과정이고, 관측 후에는 실제 효과의 추정값과 불확실성을 보고하는 것이 우선입니다.
계획이 실패했다고 해서 표본수를 무한히 늘리는 것도 해결책이 아닙니다. 측정의 품질, 독립 단위, 탈락 원인, 질문의 중요성을 함께 재검토하고 변경 이유를 기록해야 합니다.
가정에 대한 민감도 계획
하나의 효과크기와 변동값만 넣은 표본수 계산은 입력값의 불확실성을 숨길 수 있습니다. 사전에 정한 합리적인 범위에서 효과크기, 변동, 탈락률을 바꿔 필요한 독립 단위가 어떻게 달라지는지 표나 그래프로 기록할 수 있습니다. 이 과정은 원하는 숫자가 나올 때까지 값을 조정하는 일이 아니라, 계획이 어떤 가정에 민감한지 확인하는 일입니다.
예를 들어 최소 중요 효과와 더 큰 기대 효과를 별도 시나리오로 적고, 각 시나리오의 근거를 남깁니다. 탈락률을 보정할 때도 단순히 측정 행을 늘리는 것이 아니라, 실제로 조건에 배정될 독립 단위와 분석에 남을 단위를 구분합니다.
계획 변경을 남기기
연구 중 설계가 바뀌면 원래 power 계획을 덮어쓰지 않습니다. 변경 날짜, 변경 이유, 영향받는 outcome·family·분석 단위와 새 계산을 별도 버전으로 기록합니다. 계획과 실제 분석이 다르다는 사실은 오류 자체가 아니라, 변경을 추적할 수 없을 때 재현성과 해석을 어렵게 만드는 문제입니다.
검정력 계획에서 계산되지 않은 요소도 있습니다. 선택 편향, 측정의 정확성, 모델 가정 위반, 데이터 provenance 문제는 표본수만으로 해결되지 않습니다. 표본수 산출물의 한계를 계획 문서에 함께 적습니다.
연구 질문으로 돌아가 해석하기
검정력 계획은 “유의한 결과를 얻기 위한 표본수”보다 “어떤 차이를 어느 설계로 구분할 수 있는가”를 사전에 명시하는 도구입니다. 계산된 표본수가 충분해 보여도 편향된 설계나 잘못된 단위를 고쳐주지는 않습니다.
표본수 계산을 읽는 질문
계산 결과를 받으면 바로 숫자를 복사하지 않고 다음을 확인합니다.
- effect size가 원래 outcome의 어떤 척도에서 변환됐는가?
- variance의 근거가 pilot, 과거 자료, 문헌, 가정 중 무엇인가?
- 양측 또는 단측 검정의 방향이 계획과 일치하는가?
- group ratio와 실제 배정 비율이 맞는가?
- 독립 단위와 기술적 반복을 구분했는가?
- 탈락 보정 후에도 분석할 최소 단위가 확보되는가?
이 질문에 답할 수 있어야 계산값을 설계 문서에 옮길 수 있습니다. 답을 모른 채 표본수만 늘리면 수치의 정밀함이 계획의 타당성으로 오해될 수 있습니다.
표본수와 윤리·자원 판단
더 많은 단위가 항상 더 좋은 연구를 뜻하지 않습니다. 연구 자원, 측정 부담, 시료의 제한, 탈락 가능성, 질문의 가치가 함께 고려돼야 합니다. 이 편의 통계적 계산은 그런 판단을 대신하지 않으며, 계획의 가정과 변경 이력을 투명하게 만드는 데 사용합니다.
자주 생기는 실패와 점검법
n을 기술적 측정 수로 늘리지 않습니다.- 관측 후 효과크기를 사용해 전향적 계획인 것처럼 꾸미지 않습니다.
- power 0.80을 모든 연구의 보편 기준으로 선언하지 않습니다.
- 다중비교와 탈락을 계획에서 누락하지 않습니다.
- API의 효과 척도와 연구 outcome의 단위를 연결하지 않습니다.
핵심 정리
- 검정력은 효과·변동·표본수·오류 기준·설계의 함수입니다.
- 표본수는 독립 분석 단위 기준으로 계획합니다.
- power API는 특정 가정 아래 계산하며 연구설계를 대신하지 않습니다.
- 전향적 계획과 관측 후 해석을 구분해야 합니다.
다음 토픽으로
다음 모듈에서는 무작위화·블로킹·짝짓기로 이어져, 표본수 이전에 assignment와 분석 단위를 정렬합니다.
참고 자료
- statsmodels API: https://www.statsmodels.org/stable/api.html
- ASA p-value statement: https://www.amstat.org/asa/files/pdfs/p-valuestatement.pdf
본 편의 계산 입력과 수치는 BioStatPy가 독립적으로 작성한 교육용 구성입니다.