[Statistics] A/B Testing(A/B 검정)

회사에 다니면서 A/B테스팅이라는걸 했는데 처음엔 이해를못했다가 알게된 검증기법이다.

 

단어에서도 보여주다시피 A버전 B버전을 준비해서 어느 버전이 사용자들에게 더 좋은평가를 받았는지 통계를내어서, 좀더 나은 버전을 시청자들에게 적용한다.

 

자주 쓰이는 용어

처리(treatment) - 어떤 대상에 주어지는 특별한 환경이나 조건(약, 가격, 인터넷 뉴스 제목)

처리군(treatment group) - 특정 처리에 노출된 대상들의 집단

대조군(control group) - 어떤 처리도 하지 않은 대상들의 집단

임의화(randomization) - 처리를 적용할 대상을 임의로 결정하는 과정

대상(subject) - 처리를 적용할 개체 대상 (유의어: 피실험자)

검정통계량(test statistic) - 처리 효과를 측정하기 위한 지표

*근데 원래 검증이 아니고 검정이라고 썻었나...

 

*국립국어원 답변

1. '검정'은 '일정한 규칙에 따라 자격이나 조건을 검사하여 결정함.'이라는 뜻의 명사로, '교과서 검정/검정 시험/검정 결과에 따라 납품업체를 결정한다.'와 같이 씁니다.

2. '검증'은 '검사하여 증명함.'이라는 뜻의 명사로, '검증 결과', '그 이론은 검증을 거치지 않은 것이므로 신뢰할 수 없다.'와 같이 씁니다.

고맙습니다.

 

A/B검정의 몇가지 예시로는..

- 종자 발아가 어디에서 더 잘되는지 알아보기 위해 두 가지 토양 처리를 검정한다

- 암을 더 효과적으로 억제하는 두 가지 치료법을 검정한다

 

Q. 왜 대조군이 필요할까? 단순하게 모든유저들을 대상으로 버전을 바꾸고 이전과 비교하면 되지않을까?

A. 동일한 환경에서 대조를 해야하므로 이외 요소들이 가미가 될수가있어서 대조군이 필요함

 

가설검정

귀무가설(null hypothesis) - 우연 때문이라는 가설

대립가설(alternative hypothesis) - 귀무가설과의 대조 (증명하고자 하는 가설)

일원검정(one-way test) - 한 방향으로만 우연히 일어날 확률을 계산하는 가설검정

이원검정(two-way test) - 양 방향으로 우연히 일어날 확률을 계산하는 가설검정