대립가설이 채택되는 것이 목표인 이유는, 가설을 세운 사람(분석가, 연구자)이 증명해 내고 싶은 주장이기 때문이다. 연구자 입장에서는 기존의 통념(귀무가설)을 기각시키고, 자신의 주장(대립가설)이 채택받은 것이 목표이다.
이를 무죄 추정의 원칙에 비유하면 다음과 같다. ‘피고인은 무죄다’가 기본 전제이며, 이는 귀무가설에 해당한다. 검사는 이 무죄 추정을 깨고 피고인의 유죄를 입증해야 한다. 때문에 대립가설은 ‘피고인은 유죄다’이며, 이는 검사의 주장이다. 검사는 귀무가설을 기각시키기 위해 피고인이 무죄라고 하기엔 증거가 너무 명백함을 보이면 된다.
이를 연구로 빗대어보자. 연구자가 다이어트 약을 개발했고, 이는 ‘효과가 있다’고 주장하고 싶다. 이때 귀무가설은 ‘그 약이 효과가 없다’이다. 연구자는 이 귀무가설을 기각하고 대립가설을 채택하기 위해 이 신약이 효과가 우연이라고 하기엔 확률이 너무 낮음을 보이면 된다. 실험 결과 약을 먹었더니 3kg가 빠졌다. 이때 귀무가설은 ‘이 약은 맹물이며, 3kg가 빠진건 우연이다’이며, 대립가설은 ‘이 약이 효과가 있기 때문에 3kg가 빠졌다’다. 이때 P-value가 0.03(3%)가 나왔다는 것은, 약이 효과가 없다는 귀무가설하에, 3kg 이상 체중이 감소하는 극단적인 결과가 관측될 조건부 확률이 3%라는 뜻이다. 즉, 3%밖에 안되는 희박한 확률이 실제 일어난 것은 우연이 아니라(귀무가설 기각) 진짜 약이 효과가 있기 때문(대립가설 채택)이라고 생각하는 것이다.

P-value는 귀무가설이 참이라는 전제하에 현재의 데이터가 관측될 확률 $P(D\vert H_0)$ 를 의미할 뿐, 대립가설이 참일 확률이나 동일한 실험을 반복했을 때 해당 현상이 다시 발생할 재현 확률을 의미하지 않는다.)
대립가설이 채택되는 경우는 이 결과가 우연이라고 하기엔 확률이 너무 낮기 때문이다.

대립가설이 기각되고 귀무가설이 채택된다면 이는 ‘귀무가설이 진실임이 증명되었다’기보다는, ‘대립가설이 맞다고 하기엔 증거가 부족하다’는 쪽에 가까우며, 통계적으로 유의미한 차이가 발견되지 않았다는 뜻이다. 법정에서 증거가 불충분해 무죄 판결이 난 것과 같다. 피고인이 정말 결백해서가 아니라, 유죄라고 할만한 확실한 증거를 못 찾았기 때문에 일단 풀어주는 것이다.

P-value는 어떻게 계산할까?
데이터를 표준 정규 분포와 대응시키기 위해 표준화(Z-score)를 해야한다. 그 다음, 분포위에서 z값을 찾은 다음, 그 부분부터 바깥쪽 꼬리 부분의 면적을 계산(적분)한다. 이 z값보다 더 극단적인 값이 나올 확률을 구해야 이 상황이 얼마나 우연인지 알 수 있기 때문이다. 이렇게 양쪽 꼬리 면적을 더해서 두 값을 합친 게 p-value다.

그렇다면 P-value만 보고 분석을 해도 되는가?
만약 데이터가 너무 많은 경우에 다이어트 약으로 0.1g 감량 효과를 보여도 이는 유의미하다고 판정된다. 반대로 데이터가 너무 적은 경우, 실제 큰 차이가 있다 해도 P-value가 크게 나와 차이가 없어 대립가설이 기각될 수 있다. 이는 통계적으로 유의미하지만, 비즈니스적으로 가치가 없는 결과이다. 때문에 적절한 표본 수를 확보했는지 먼저 확인해야 한다.
또한 P-value는 이 차이가 우연인지 아닌지만 알려줄 뿐, 그 차이가 얼마나 중요한지에 대한 정보는 갖고 있지 않다. 예를 들어, 두 반의 평균은 각각 80점, 80.1점이고 데이터가 10만명일때 P-value는 0.01보다 작다. 이때 통계적으로 두 반은 확실히 실력 차이가 유의미하다고 결론짓지만 현실적으로 평균 0.1점 차이는 작다. 때문에 P-value와 함께 그 차이가 정말 실질적으로 의미를 가지는지 따져봐야 한다.
P-value는 데이터가 특정 조건을 만족한다고 가정했을 때 그 결과가 의미를 갖는다. 분석 전에 데이터가 아래 조건들을 만족하는지 확인해야 한다.

• 정규성: 데이터가 정규 분포를 따르는가?
• 독립성: 데이터끼리 서로 영향을 주지 않는가?
• 등분산성: 두 집단의 퍼짐 정도가 비슷한가?

데이터가 위 세 조건을 만족하는지 어떻게 확인할까?
먼저 정규성은 데이터를 Q-Q plot을 통해 데이터들이 기준선 위에 잘 올라가 있으면 정규성을 만족한다고 본다.(왜?) 또는 히스토그램을 그려 종 모양인지 직관적으로 보는 방법도 있다. 샤피로-윌크 검정(shapiro-wilk test)과 KS 검정(kolmogorov-smirnov test)은 무엇인가? 데이터가 30개 이상이면 중심극한정리에 의해 정규성을 만족한다고 가정하기도 한다.
표본의 크기 $n$ 이 30 이상으로 충분히 크면 중심극한정리에 의해 원본 데이터가 아닌 표본 평균 $\bar{X}$ 의 표본분포가 정규분포 $\mathcal{N}(\mu, \frac{\sigma^2}{n})$ 에 근사한다. 개별 원본 데이터 자체가 정규분포를 띠게 되는 것은 아니다.
서로 다른 두 집단을 비교할 때, 두 집단의 분산이 다르다면 공정한 비교가 되지 않는다. 이는 박스 플롯을 그려 두 집단의 박스 크기(길이)가 비슷하면 등분산성을 만족한다고 본다. 다른 방법으로는 잔차도(residual plot)?를 사용하는데, 예측값에 따라 잔차들이 고르게 퍼져 있어야 한다. 만약 나팔 모양처럼 갈수록 퍼지거나 좁아지면 등분산성이 깨진 것이다. 숫자로 확인하는 경우는 levene’s test, bartlett’s test가 있다?.
데이터끼리 서로 영향을 주거나 순서에 패턴이 있으면 안된다. 독립성은 통계적인 수치보다 데이터 수집 과정에서 판별하는 것이 우선이다. 표본을 추출할 때 무작위로 추출했는지, 한 사람이 두 번 이상 응답하진 않았는지. 시간의 흐름에 따라 수집된 데이터(주가, 기온 등)는 보통 독립성이 깨져 있다. 회귀분석 시 독립성를 확인하는 방법은 durbin-watson test로 잔차들끼리 독립인지 확인하면 된다.