Goodness-of-fit test

Goodness-of-fit test라 하면 비교하고 싶은 모델에 관측된 데이터가 얼마나 잘 맞는지 확인하는 작업이다.

 

Poisson distribution

: 포아송 분포는 확률론에서 단위 시간 안에 어떤 사건이 몇 번 발생할 것인지를 표현하는 이산 확률 분포이다.

: 정해진 시간 안에 어떤 사건이 일어날 횟수에 대한 기댓값을 λ 라고 했을 때, 그 사건이 n회 일어날 확률은 다음과 같다. (λ=np) [WIKIPEDIA]

[ Poisson distribution ]

정해진 시간 안에 발생한 event가 poisson distribution을 따른다고 가정했을 때, expectation value를 구할 수 있고 observed value와 expected value를 chi-square goodness-of-fit test를 통해 observed value가 poisson distribution을 따르는지 확인 할 수 있다.

 

chi-square test 값과 dof, degrees of freedom,으로 p-value를 구할 수 있고, alpha(significant level)를 얼마로 정하느냐에 따라 observed value는 poisson distribution을 따르는지 아닌지 이야기할 수 있다.

 

chi-square distribution은 낮은 dof에서는 left skewed distribution을 보이며, 주로 right tail test가 이루어진다. observed value와 expected value의 차이가 크면 chi-square 값은 큰 값을 가질 수 있는 가능성이 크며, distribution의 오른쪽에 위치하게 되고 작은 p-value값을 가지게 된다. p-value가 alpha값보다 작게되면 null hypothesis로 설정한 'observed value는 poisson distribution을 따른다'는 가정은 rule out이 된다. 다시말해, alpha를 기준으로 확률이 작으면 poisson distribution을 따른다고 볼 수 있다는 가설이 rule out된다.

 

위와 같은 방법을 통해 observed value의 goodness-of-fit test를 진행할 수 있다.