기존 공정 A의 평균 수율은 84.2이고 개선 공정 B의 평균은 85.5였습니다. 관측된 차이는 1.3입니다. B의 숫자가 더 크니 개선에 성공했다고 바로 결론내려도 될까요?

아직은 아닙니다. 두 공정의 모집단 평균이 같더라도 서로 다른 표본을 뽑으면 표본평균은 달라질 수 있습니다. 먼저 물어야 할 것은 효과가 전혀 없는 기준 세계에서도 1.3 같은 차이가 얼마나 쉽게 나타나는가입니다.

가설검정은 데이터를 보고 “원인이 있다/없다”를 자동 판정하는 기계가 아닙니다. 기준이 되는 통계모형을 세우고, 그 모형 아래 현재 결과의 극단성을 측정해 증거의 한 부분을 제공합니다.

눈앞의 차이 뒤에는 적어도 두 설명이 있습니다

표본에서 1.3의 차이가 보였을 때 두 가능성을 생각할 수 있습니다.

• 실제 모집단 평균에는 차이가 없지만 표집변동 때문에 1.3이 관측됐다.
• 실제 모집단 평균에 차이가 있어 1.3이 관측됐다.

가설검정은 첫 번째 설명을 귀무가설 H0라는 기준 세계로 정식화합니다. 예를 들어 두 공정의 모집단 평균 차이가 0이라는 문장은 H0: μB−μA=0입니다.

연구 질문이 겨냥하는 다른 설명은 대립가설 H1입니다. 방향을 가리지 않고 차이를 찾는다면 H1: μB−μA≠0, 개선으로 더 커지는 방향만 사전에 묻는다면 H1: μB−μA>0처럼 씁니다.

H0와 H1은 자료를 본 뒤 유리하게 붙이는 설명문이 아닙니다. 무엇을 효과로 볼지, 어느 방향이 중요한지, 어떤 설계와 분석모형을 쓸지 연구 질문에서 연결해야 합니다.

검정통계량은 차이를 공통 척도로 바꿉니다

관측 차이 1.3만으로는 그것이 큰지 판단하기 어렵습니다. 개별 값들이 거의 흔들리지 않는 실험의 1.3과 산포가 매우 큰 실험의 1.3은 증거의 강도가 다릅니다.

검정통계량은 일반적으로 다음 직관을 갖습니다.

검정통계량 = H0에서 기대한 값과 관측 효과의 차이 / 그 효과의 표준오차

즉 효과가 표집변동에 비해 얼마나 멀리 있는지를 H0 기준 척도로 옮깁니다. 구체적인 통계량은 질문과 데이터 구조에 따라 t, F, χ², 순위통계량 등으로 달라집니다. 이번 단원에서는 선택표를 외우지 않습니다. 한 집단·두 집단·여러 집단, 연속형·범주형, 독립·대응 구조를 배우며 뒤 단원에서 다시 선택합니다.

p-value는 H0 아래의 꼬리확률입니다

p-value의 정확한 출발 조건을 생략하면 거의 모든 오해가 생깁니다.

H0와 검정모형의 가정이 맞다고 할 때, 관측된 검정통계량과 같거나 그보다 H1 방향으로 더 극단적인 결과가 나올 확률

예를 들어 양측 p=0.03이라면 H0와 모형 가정 아래 현재 결과 이상으로 양쪽 방향에서 극단적인 검정통계량이 나올 장기 비율이 약 3%라는 뜻입니다.

p=0.03은 다음을 뜻하지 않습니다.

• H0가 참일 확률이 3%다.
• 결과가 우연 때문에 생겼을 확률이 3%다.
• H1이 참일 확률이 97%다.
• 같은 실험을 반복하면 97%가 재현된다.
• 효과가 크거나 생물학적으로 중요하다.

유의수준 α는 데이터를 보기 전에 정합니다

유의수준 α는 H0가 참인데도 H0를 기각하는 제1종오류를 장기적으로 어느 정도 감수할지 정한 기준입니다. α=0.05를 선택하면 모든 가정과 절차가 맞고 H0가 참인 반복 상황에서 약 5%의 거짓 양성을 허용하는 검정 규칙을 사용한다는 뜻입니다.

판단 규칙은 간단하지만 표현은 정확해야 합니다.

p<α이면 현재 결과가 H0 기준에서 충분히 극단적이므로 H0를 기각합니다. p≥α이면 H0를 기각할 근거가 부족합니다. H0를 채택하거나 참이라고 증명한 것이 아닙니다.

표본이 작고 산포가 크면 중요한 효과가 있어도 p≥α가 나올 수 있습니다. 따라서 “유의하지 않음 = 차이 없음 = 동등함”은 성립하지 않습니다. 동등성을 보이려면 사전에 정한 동등성 한계와 그 목적에 맞는 별도 분석이 필요합니다.

단측과 양측은 질문의 방향입니다

양측 H1은 기준보다 크거나 작은 두 방향 모두를 차이로 봅니다. 오른쪽 단측 H1은 더 큰 방향만, 왼쪽 단측 H1은 더 작은 방향만 연구 질문으로 둡니다.

단측검정은 같은 α를 한쪽 꼬리에 모두 두므로 사전에 정한 방향의 효과를 더 쉽게 탐지할 수 있습니다. 대신 반대 방향의 큰 변화는 H1의 증거로 계산하지 않습니다. 그래서 다음 조건이 필요합니다.

1. 방향을 데이터를 보기 전에 연구 질문과 함께 정한다.
2. 반대 방향의 변화가 과학적으로 중요하지 않거나 별도 안전 판단으로 처리되는 근거가 있다.
3. 예상과 반대 방향의 결과도 숨기지 않고 보고한다.

데이터를 본 뒤 평균이 커졌다는 이유로 양측을 오른쪽 단측으로 바꾸면 실제 제1종오류율이 약속한 α보다 커질 수 있습니다.

두 종류의 오류는 서로 다른 실패입니다

검정 판단에는 네 칸이 있습니다.

• 제1종오류: H0가 참인데 기각함. 효과가 없는데 있다고 판단하는 거짓 양성
• 제2종오류: 특정 H1이 참인데 H0를 기각하지 못함. 실제 효과를 놓치는 거짓 음성
• 검정력 1−β: 특정 H1이 참일 때 H0를 올바르게 기각하는 확률

α는 분석 전에 정하지만 β는 하나의 고정 숫자가 아닙니다. 실제 효과의 크기, 산포, n, 검정방향과 분석법에 따라 달라집니다. 효과가 클수록, 산포가 작을수록, 독립 n이 클수록 탐지하기 쉬운 경향이 있습니다. 표본크기와 검정력의 완전한 관계는 U13에서 다룹니다.

반복하면 p-value도 달라집니다

아래 Lab은 평균 기준 μ0=10, 알려진 σ=3인 단순 정규모형에서 one-sample z 검정을 반복합니다. 실제 분석법을 대신하려는 것이 아니라 표집변동, p-value와 오류를 투명하게 보기 위한 교육 모형입니다.

1. δ=0, 양측검정에서 80개 p-value를 봅니다. H0가 참이어도 드물게 p<.05가 나옵니다.
2. 새 80회 묶음을 눌러 거짓 양성 개수가 묶음마다 달라지는지 봅니다.
3. δ를 0.5, 1.0, 1.5로 높이고 n을 8과 32로 비교합니다.
4. δ가 양수일 때 더 작다 단측 H1을 고르면 데이터와 질문 방향이 충돌하는 모습을 봅니다.

80회 중 정확히 4회가 p<.05여야 하는 것은 아닙니다. α=.05는 한 묶음에서 반드시 5%가 나온다는 할당량이 아니라, 같은 절차를 아주 오래 반복했을 때의 장기 오류율입니다.

p-value가 작아지는 세 경로를 구분하십시오

p-value는 효과의 크기만 반영하지 않습니다.

• 관측 효과가 커지면 검정통계량이 커질 수 있습니다.
• 산포가 작으면 같은 효과도 더 선명해집니다.
• 독립 n이 크면 표준오차가 작아져 아주 작은 효과도 낮은 p-value를 만들 수 있습니다.

따라서 대규모 표본에서 p<.001이어도 효과가 실험적으로 사소할 수 있고, 작은 탐색 실험에서 p=.08이어도 중요한 효과 가능성을 배제했다고 할 수 없습니다. 두 경우 모두 효과크기와 CI를 함께 봐야 합니다.

JMP 출력은 판단의 근거를 나누어 보여줍니다

JMP의 검정 보고서는 분석 구조에 따라 이름이 달라지지만, 핵심은 검정통계량·p-value·대립가설·효과와 신뢰구간의 관계입니다.

양측 t 검정의 Prob > |t|처럼 출력 이름 자체가 어느 꼬리를 계산했는지 표현하는 경우가 있습니다. 단측 p-value를 읽을 때는 부호와 사전에 정한 H1 방향이 맞는지 확인해야 합니다. 가장 작아 보이는 p-value를 사후 선택해서는 안 됩니다.

통계 프로그램은 p-value를 계산하지만 다음을 보증하지 않습니다.

1. 한 행이 올바른 독립 실험단위인지
2. 검정 가정과 표본 선택이 타당한지
3. 여러 결과 중 유리한 분석만 골라 보고하지 않았는지
4. 효과가 생물학적·임상적·품질적으로 중요한지
5. 결과가 새로운 실험에서 재현될지

결과는 기각 여부보다 풍부하게 씁니다

나쁜 문장:

p<.05이므로 개선 공정이 효과가 있다.

더 나은 문장:

독립 batch를 비교한 사전 지정 양측 분석에서 평균 수율 차이 B−A는 1.3 percentage points였고, 95% CI는 −1.8–4.4, p=.39였다. 이 표본에서는 H0를 기각하지 못했으며, 개선 효과가 없거나 두 공정이 동등하다고 결론내릴 근거는 아니다.

분석법, 독립 n, 효과의 단위, CI, 정확한 p-value, 검정 방향과 사전 계획 여부를 함께 남기십시오. p-value는 결론 한 글자가 아니라 증거 문장의 일부입니다.

단원을 마치며 확인할 일곱 문장

• H0는 효과 없음의 기준 모형이고 H1은 연구 질문의 방향을 담는다.
• 검정통계량은 관측 효과를 표준오차에 비춰 H0 척도로 바꾼다.
• p-value는 H0와 모형 아래 관측값 이상으로 극단적인 결과의 확률이다.
• p-value는 H0가 참일 확률이나 효과의 크기가 아니다.
• p≥α이면 H0를 채택하는 것이 아니라 기각하지 못한다.
• α는 H0가 참일 때의 제1종오류 기준이며 데이터 전에 정한다.
• 기각 여부는 효과크기, CI, 설계와 실질적 의미를 대신하지 않는다.

다음 단원에서는 두 집단 평균 비교에 들어가기 전에 퍼짐이 같은가라는 질문을 살펴봅니다. 등분산 가정이 무엇이고, 산포 검정 결과 하나로 분석법을 기계적으로 갈라서는 안 되는 이유를 연결하겠습니다.

공식 보충 자료

• NIST/SEMATECH · Critical values and p-values
• NIST/SEMATECH · Statistical tests
• ASA · Statement on Statistical Significance and P-Values
• JMP Statistics Knowledge Portal · Hypothesis Testing

이 글의 숫자, 그림과 In-Silico Lab은 통계 개념을 설명하기 위한 합성 자료입니다. 실제 연구·임상·품질·규제 판단의 근거로 사용할 수 없습니다.