유의하지 않으면 차이가 없는 걸까?
p값이 0.05보다 클 때 '차이 없음'이라고 써도 되는지, 신뢰구간으로 결론을 쓰는 법.
유의하지 않다는 결과는 결론이 아니라 질문입니다. 차이가 없어서인지, 아직 모르는 것인지는 p값이 아니라 신뢰구간이 알려 줍니다.
들어가며
실험이 끝났고 p = 0.210이 나왔습니다. 흔히 쓰는 기준 0.05보다 큽니다. 보고서에 두 안 사이에 차이가 없었다라고 적어도 될까요.
적으면 안 됩니다. 그런데 그렇다고 모르겠다로 끝낼 수도 없습니다. 이번 글에서는 겉보기에 똑같이 유의하지 않은 두 실험이 전혀 다른 결론으로 이어지는 과정을 봅니다. 그리고 신뢰구간으로 결론 문장을 쓰는 법을 정리하겠습니다.
유의하지 않음에는 두 종류가 있습니다
전환율 5%짜리 버튼 실험 두 건을 나란히 놓아 보겠습니다. 둘 다 유의하지 않습니다.
| 사례 C | 사례 D | |
|---|---|---|
| 그룹당 인원 | 100,000명 | 2,000명 |
| A안 / B안 | 5.00% / 5.04% | 5.00% / 5.90% |
| 차이 | +0.04%p | +0.90%p |
| p값 | 0.682 | 0.210 |
| 95% 신뢰구간 | −0.15%p ~ +0.23%p | −0.51%p ~ +2.31%p |
| 구간 폭 | 0.38%p | 2.81%p |
그림 1. 둘 다 유의하지 않지만 알려 주는 것이 다른 두 실험. 설명을 위해 만든 가상 예시입니다.
p값만 보면 둘 다 유의하지 않음입니다. 신뢰구간을 보면 이야기가 달라집니다.
사례 C의 구간은 −0.15%p에서 +0.23%p 사이에 갇혀 있습니다. 가장 좋게 봐도 0.23%p, 가장 나쁘게 봐도 −0.15%p라는 뜻입니다. 이 정도 폭이면 사업적으로 같다고 말해도 무리가 없습니다. 반면 사례 D의 구간은 −0.51%p에서 +2.31%p까지 벌어져 있습니다. B안이 조금 나쁠 수도 있고 전환율을 절반 가까이 끌어올릴 수도 있습니다. 이건 차이가 없다가 아니라 이 데이터로는 아무것도 못 말한다입니다.
참고로 신뢰구간은 참값이 그 안에 있을 확률이 95%라는 뜻이 아닙니다. 같은 방식으로 실험을 100번 하면 그렇게 만든 구간 가운데 약 95개가 참값을 품도록 설계된 구간입니다.
p값은 두 실험을 똑같이 유의하지 않음으로 묶지만, 신뢰구간은 하나를 결론으로, 다른 하나를 재실험으로 보냅니다.
신뢰구간이 가리키는 네 가지 결론
사례 두 개를 더해 네 가지를 한 그림에 올려 보겠습니다. 가로축은 B안에서 A안을 뺀 전환율 차이입니다.
| 사례 | 그룹당 | 차이 | p값 | 95% 신뢰구간 | 결론 |
|---|---|---|---|---|---|
| A | 20,000명 | +0.80%p | <0.001 | +0.36%p ~ +1.24%p | 채택 |
| B | 20,000명 | −0.70%p | 0.001 | −1.11%p ~ −0.29%p | 기각 |
| C | 100,000명 | +0.04%p | 0.682 | −0.15%p ~ +0.23%p | 실질적 차이 없음 |
| D | 2,000명 | +0.90%p | 0.210 | −0.51%p ~ +2.31%p | 판정 불가 |
그림 3. 네 사례의 숫자. 두 비율 z검정(양측, α = 0.05) 기준입니다.
읽는 순서는 간단합니다. 구간 전체가 0보다 오른쪽이면 채택, 전체가 왼쪽이면 기각입니다. 0을 품고 있다면 폭을 봅니다. 폭이 무시해도 되는 범위 안에 들어가면 실질적 차이 없음, 그 범위를 넘어 벌어져 있으면 판정 불가입니다.
0을 포함했는지만 보면 C와 D가 같아 보이고, 폭까지 보면 둘은 반대 결론이 됩니다.
무시해도 되는 선을 미리 정합니다
앞의 판정은 ±0.25%p까지는 같다고 본다는 선이 있어서 가능했습니다. 이 선이 없으면 0을 품은 구간은 전부 판정 불가가 됩니다. 영원히 더 봐야 한다만 반복하게 됩니다.
| 정하는 방법 | 예시 | 주의 |
|---|---|---|
| 비용으로 정한다 | 월 500만원 미만이면 대응하지 않는다 | 금액을 지표 단위로 환산해 둔다 |
| 기존 변동폭으로 정한다 | 최근 1년 주간 전환율 흔들림의 절반 | 계절성이 큰 지표면 구간을 길게 본다 |
| 의사결정 기준으로 정한다 | 이 정도면 개발 공수를 쓰지 않는다 | 팀 합의가 필요하다 |
그림 4. 무시 가능한 차이의 선을 정하는 방법.
중요한 것은 결과를 보기 전에 정하는 것입니다. 결과를 본 뒤에 선을 옮기면, 원하는 결론에 맞춰 기준을 조정하는 일이 됩니다. 실험 설계서에 목표 효과를 적을 때 이 선도 같이 적어 두면 됩니다. 두 숫자는 보통 짝으로 움직입니다. 잡고 싶은 최소 차이가 상대 +20%라면, 무시 가능한 선은 그보다 훨씬 작은 상대 ±5% 근처에서 정해집니다.
이 선을 놓고 구간을 비교하는 절차는 동등성 검정이라는 이름으로 정리되어 있습니다[2]. 도구를 따로 쓰지 않더라도, 신뢰구간과 선을 겹쳐 보는 것만으로 대부분의 판단은 끝납니다.
차이가 없다고 말하려면, 없다고 볼 기준을 먼저 정해야 합니다.
결론 문장 쓰기
네 가지 패턴에 대응하는 문장은 이렇게 쓸 수 있습니다. 숫자만 바꿔 넣으면 됩니다.
| 패턴 | 이렇게 씁니다 | 이렇게 쓰지 않습니다 |
|---|---|---|
| 채택 | B안이 A안보다 0.80%p 높았습니다(95% 신뢰구간 +0.36%p ~ +1.24%p). 최소 0.36%p의 개선은 기대할 수 있습니다. | B안이 16% 더 좋습니다 |
| 기각 | B안이 0.70%p 낮았습니다(−1.11%p ~ −0.29%p). 적용하면 손해입니다. | B안은 효과가 없었습니다 |
| 실질적 차이 없음 | 차이는 +0.04%p였고 구간이 −0.15%p ~ +0.23%p로, 미리 정한 무시 가능 범위 안에 들어갑니다. 전환율 기준으로는 같다고 보고 다른 기준으로 결정하면 됩니다. | 두 안은 차이가 없습니다 |
| 판정 불가 | 구간이 −0.51%p ~ +2.31%p로 넓어 방향조차 말할 수 없습니다. 상대 +20% 차이를 잡으려면 그룹당 8,158명이 필요하니, 판단하려면 그룹당 약 6,200명이 더 필요합니다. | 유의하지 않으므로 효과가 없습니다 |
그림 5. 패턴별 결론 문장. 오른쪽 칸은 같은 데이터로 자주 쓰이는 틀린 문장입니다.
네 문장의 공통점은 숫자 두 개, 즉 측정값과 구간을 함께 적는다는 것입니다. 구간을 적는 순간 읽는 사람이 스스로 판단할 수 있게 됩니다. 판정 불가일 때 필요한 추가 인원까지 적어 주면, 보고가 끝이 아니라 다음 행동으로 이어집니다.
결론 문장에 측정값과 구간을 함께 적으면, 읽는 사람이 다시 묻지 않아도 됩니다.
신뢰구간을 잘못 읽는 방법
| 흔한 오독 | 왜 틀렸나 |
|---|---|
| 참값이 이 구간에 있을 확률이 95%다 | 구간은 데이터마다 달라지는 값이다. 같은 방식으로 반복했을 때 약 95%가 참값을 품는다는 뜻이다 |
| 0을 포함하니 효과가 0이다 | 구간 안의 모든 값이 데이터와 어긋나지 않는다. 0도 그중 하나일 뿐이다 |
| 두 그룹의 구간이 겹치니 차이가 없다 | 각 그룹의 구간이 아니라 차이의 구간을 봐야 한다. 겹쳐도 차이가 유의할 수 있다 |
| 구간이 좁으니 결과가 정확하다 | 좁다는 것은 정밀하다는 뜻이지 편향이 없다는 뜻이 아니다. 배정이 틀어졌다면 좁고 정확히 틀린 답이 나온다 |
그림 6. 신뢰구간을 읽을 때 자주 나오는 오해.
마지막 줄은 특히 데이터가 많은 팀에서 자주 걸립니다. 모수가 크면 구간은 저절로 좁아집니다. 좁은 구간은 믿을 만해 보이지만, 그룹 배정이나 로그 수집에 문제가 있었다면 그 문제까지 정밀하게 재어 보여 줄 뿐입니다[1].
구간의 폭은 정밀도를 말할 뿐, 측정이 옳았는지는 말해 주지 않습니다.
나가며
- 유의하지 않다는 두 가지로 갈립니다. 사례 C는 구간이 ±0.25%p 안에 들어와 실질적 차이 없음이고, 사례 D는 −0.51%p에서 +2.31%p까지 벌어져 판정 불가입니다. p값은 둘을 구분하지 못합니다.
- 구간이 0의 어느 쪽에 있는지로 채택과 기각을 가르고, 0을 품었다면 폭으로 나머지 둘을 가릅니다. 그러려면 무시해도 되는 차이의 선을 결과를 보기 전에 정해 두어야 합니다.
- 결론 문장에는 측정값과 구간을 함께 적습니다. 판정 불가라면 얼마나 더 모아야 하는지까지 적습니다.
참고
- Amrhein, V., Greenland, S., & McShane, B. (2019). Scientists rise up against statistical significance. Nature, 567, 305-307. https://doi.org/10.1038/d41586-019-00857-9
- Lakens, D., Scheel, A. M., & Isager, P. M. (2018). Equivalence testing for psychological research: A tutorial. Advances in Methods and Practices in Psychological Science, 1(2), 259-269. https://doi.org/10.1177/2515245918770963
본문의 모든 수치는 설명을 위해 만든 가상 실험을 직접 계산한 값입니다. 차이의 신뢰구간은 두 비율의 표준오차를 합쳐 구했고(양측, α = 0.05), p값은 합동분산을 쓰는 두 비율 z검정으로 계산했습니다. 무시 가능한 차이의 선 ±0.25%p는 기저 전환율 5%의 상대 ±5%로 잡은 가정값입니다. 사례 D의 추가 인원은 관측된 차이가 아니라 상대 +20%(5.0% → 6.0%)를 검출력 80%로 잡는 필요 인원 8,158명에서 현재 2,000명을 뺀 값입니다. 코드 실행 환경은 Python 3.12, NumPy 2.5.3, SciPy 1.18.1입니다.