분석 칼럼
분석 중 발생할 수 있는 함정, 용어 설명, 분석 기법을 소개합니다.
A/B 테스트 설계 한 장 정리
가설, 표본 수, 판정 시점을 실험 전에 적는 법
고래가 평균을 바꿉니다
이상치를 자르면 결과의 부호가 바뀌는 경우
분모를 바꾸면 결론이 바뀝니다
인당 지표의 분모를 정하는 법
살아남은 유저만 보고 있습니다
생존자 편향과 선택 편향
리텐션은 왜 회사마다 다르게 나올까?
정의와 관찰 창, 코호트 절단
실험 기간을 절반으로 줄이는 방법
CUPED, 실험 전 데이터로 분산 줄이기
대조군 하나를 여러 실험이 나눠 써도 될까?
공유 대조군과 실험군 간 비교
B가 이길 확률 95%는 어디서 나온 숫자일까?
베이지안으로 읽는 A/B
두 그룹 인원이 안 맞습니다
SRM, 배정이 틀어졌다는 증거
지표를 10개 보면 열 번 중 네 번은 유의한 숫자가 뜬다
지표를 여러 개 보면 우연히 유의한 숫자가 나오는 이유와 보정 방법.
유의하지 않으면 차이가 없는 걸까?
p값이 0.05보다 클 때 '차이 없음'이라고 써도 되는지, 신뢰구간으로 결론을 쓰는 법.
몇 명이 모이면 실험을 끝낼 수 있을까?
A/B 테스트나 설문 전에 표본 수를 정하는 방법. MDE와 검출력을 숫자 예시로 설명.
결과를 매일 들여다보면 무슨 일이 생길까?
훔쳐보기(peeking)와 실험을 멈추는 시점
비즈니스 분석에 통계 검증이 필요할까?
p값 0.05가 무슨 뜻인지, 동전 던지기 예시로 풀어 봅니다. 숫자가 올랐을 때 우연인지 가려내는 기준.