[가설검정] P-value란?(어떤 사건이 우연히 발생할 확률)

통계의 기본 P-value 편!

통계를 공부하다보면 P-value에 따라 이 값은 유의하다, 유의하지 않다를 판단하는데 도대체 P-value가 무엇일까요?

 

[이미지 링크]

 

어떤 사건이 우연히 발생할 확률이 얼마일까?


우선 P-value를 어느곳에 적용하는지 알기위해서 가설검정에 대한 이해가 선행되어야 합니다.

목차

• 가설검정
  • H0 : 귀무가설(Null Hypothesis) : 반증의 대상
  • H1 : 대립가설(Alternative Hypothesis) : 연구의 대상
•  P-value란?
  
  
• 그래서 P-value를 어디에 사용하나요?
  • 제 1종 오류 : 귀무가설이 참(true)임에도 불구하고 귀무가설을 기각할 때 발생하는 오류
  • 제 2종 오류 : 귀무가설이 거짓(false)임에도 불구하고 귀무가설을 채택하는 오류
  • 유의수준(α) 
  • 유의확률(P-value)
    
    

• P-value의 한계

---

가설검정

가설검정이란 대상 집단에 대하여 어떤 가설을 설정하고 검토하는 통계적 추론을 의미합니다.

 

H0 : 귀무가설(Null Hypothesis) : 반증의 대상
⇒ 대립가설과 상반되는 가설 (효과가 없다, 차이가 없다, 서로 다르지 않다) 

H1 : 대립가설(Alternative Hypothesis) : 연구의 대상
⇒ 확인하고 싶은 연구와 관심의 대상이 되는 가설 (효과가 있다, 차이가 있다, 서로 다르다) 

 

예를들어, A회사, B회사로부터 각각 200명씩 표본을 추출하여 고객만족도 조사를 한 결과 아래와 같은 결과가 나타났다고 가정해보겠습니다.

• A회사 : 80점
• B회사 : 90점

 

 

그렇다면 A회사의 *표본 평균 점수인 80보다 B회사의 표본 평균 점수인 90점이 높은데, 실제로 "A회사의 모평균인 μa < B회사의 모평균인 μb" 인지 아니면 표본의 점수일 뿐 모평균의 점수는 차이가 없는지를 가설을 설정하고 검정을 해야 할 것입니다. (여기서 모평균이란 전체 고객을 대상으로 고객만족도 조사를 했을 때(*모집단) 나타나는 평균을 의미합니다.)
*모집단(population) : 정보를 알고자하는 대상들의 전체 집합
*표본(sample) : 모집단에 관한 정보를 얻기 위하여 추출된 모집단의 일부분

 

• 가설1 : μa = μb
• 가설2 : μa < μb (v)

 

 

여기서 우리가 확인하고 싶은 것은 실제 A회사의 모집단 점수보다 B회사의 점수가 높은가? 입니다. 확인하고 싶은 부분을 귀무가설과 대립가설로 정의합니다.

 

• 귀무가설(H0) : μa = μb  vs  대립가설(H1): μa < μb
  • 귀무가설: A회사와 B회사의 점수 차이가 없다
  • 대립가설: A회사와 B회사의 점수 차이가 있다.

 

 

즉, A회사와 B회사의 점수차이가 10점인데 이 10점 차이가 실제 통계적으로 유의한 차이인지 아니면 통계적으로 유의하지 않은 점수차이인지를 확인하는 것과 같은 개념입니다.

⇒ 통계적 유의성 유무에 대한 검정(통계적으로 유의한가?)

통계적 가설에 대한 검정방법은 귀무가설을 기각할 수 있는지에 대한 확률적 확인 과정을 통해 진행합니다.

귀무가설을 기각할 수 있는지에 대한 여부 판단 방법 중 하나로, P-value(유의확률)를 확인하는 방법이 있습니다.

 

 

---

 

P-value란?

P-value는 Probability-value의 줄임말로 확률 값을 뜻하며 어떤 사건이 우연히 발생할 확률을 말합니다.

예를 들어, P값이 0.05보다 작다는 것은 어떤 사건이 우연히 일어날 확률이 0.05(5%)보다 작다라는 의미입니다.

 

우연히 발생할 확률이 5%보다 작다는 것은 이 사건이 우연히 일어났을 가능성이 거의 없다는 것으로 생각할 수 있습니다. (우연히 발생한 것이 아니라 분명히 인과관계가 있다고 추정하는 것)

 

 

만약 P값이 0.05보다 크면 이 사건은 우연히 발생한 것이다라고 생각하고 이 사건에는 어떠한 의미 즉, 인과관계가 없다고 판단

 

---

 

그래서 P-value를 어디에 사용하나요?

통계적 가설 검정은 모집단의 일부인 표본의 통계량을 사용하는 과정이기 때문에 확률적 오류가 발생할 수 밖에 없습니다. 귀무가설을 기각할 수 있는지 판단하기 위해 조금 깊게 이해하려면, 가설검정에 있어 귀무가설의 채택/기각 중 하나를 결정할 때 오류에 대한 내용이 선행되어야 합니다.

 

귀무가설의 참일 때 귀무가설을 기각하는 경우인 제 1종의 오류와, 귀무가설이 거짓일 때 귀무가설을 기각하지 않은 제 2종의 오류에 대한 내용입니다. (일반적으로 가설 검정은 제 1종 오류를 중심으로 진행됩니다.)

 

• 제 1종 오류 : 귀무가설이 참(true)임에도 불구하고 귀무가설을 기각할 때 발생하는 오류
• 제 2종 오류 : 귀무가설이 거짓(false)임에도 불구하고 귀무가설을 채택하는 오류

 

귀무가설을 기각할 것인지는, 제 1종 오류가 발생될 최대 확률인 유의수준(α)과, 현재의 실험결과에 의해서 귀무가설을 기각할 때 제 1종 오류를 저지를 확률인 유의확률(p-value)의 계산으로 판단할 수 있습니다. (요즘에는 유의수준(α)과 유의확률(P-value)을 판단해주는 함수 혹은 기능들로 쉽게 구할 수 있습니다.)

 

유의확률(P-value) < 유의수준(α) 
: (1-유의수준(α)) * 100% 신뢰수준에서 귀무가설을 기각한다.

 

 

• 귀무가설(H0) : μa = μb  vs  대립가설(H1): μa < μb
  • 귀무가설: A회사와 B회사의 점수 차이가 없다
  • 대립가설: A회사와 B회사의 점수 차이가 있다.

 

 

그래서 위 예시에서 귀무가설을 기각할 수 있다면 "A회사와 B회사의 점수차이가 없다(μa = μb)"라는 귀무가설을 기각함으로 2개의 회사의 평균 점수는 실제로 차이가 난다고 결론을 낼 수 있는 것입니다.

 

• 귀무가설을 기각 한다면 A회사의 점수보다 B회사의 고객만족도 점수가 실제로 높다.
• 또는 2개 회사 점수 차이인 10점은 통계적으로 유의미하다.

 

---

 

P-value의 한계

하지만 이러한 P-value에도 한계점은 존재합니다.

 

1) 관측치를 증가시켜, 억지로 유의하게 만들 수 있습니다.

분석에 사용되는 데이터가 많을수록 P-value가 작아지기 때문에 P값이 0.05보다 작아질 때 까지 데이터를 계속 수집할 수 있습니다. (이론적으로는 데이터가 무한히 있으면 P-value를 0으로 만들 수 있습니다.)

 

 

2) 유의한 P-value를 제시하여 눈속임 할수도 있습니다.

애초부터 *종속변수에 영향을 끼칠 만한 *독립변수들을 한꺼번에 조사하여 그것들 중 통계적으로 유의한 결과가 나온 것만 제시할 수 있습니다.
*독립변수 : 실험 또는 연구에서 자극을 주는 변수(=원인 변수), 어떤 것의 원인이 되는 변수이며 종속변수에 영향을 미침
*종속변수 : 자극에 대한 반응이나 결과를 나타내는 변수(=반응변수, 결과변수), 독립변수의 영향을 받아 변함

 

예를들어 ‘A가 B에게 어떠한 변화를 줄 것이다’ 라는 연구가설이 있을 때 여기서 원인이 되는 A를 독립변수(=원인변수, 설명변수, 예측변수)라고 합니다. 원인에 의해서 결과가 나타나는 B를 종속변수(=결과변수)라고 합니다.

ex) 커피가 수면시간에 영향을 줄 것이다.

독립변수 = 커피, 종속변수 = 수면시간

 

---

 

 

여기까지 P-value가 무엇인지에 대해서 알아보았습니다.

통계적으로 유의미한지를 검증할 때 사용하는 P-value가 무엇인지 조금 감이 잡히시나요?
조금 더 알차고 자세한 컨텐츠로 돌아올게요! 읽어주셔서 감사합니다😄

(잘못된 개념이나 피드백은 언제든 환영입니다)