Multiple test correction

2020.11.30 - [Statistics] - P-value

2020.10.26 - [Statistics] - FDR : False Discovery Rate

FWER, Family-wise error rate = Pr(FP ≥ 1)

: false positive를 적어도 한개 이상 가지고 있을 확률.

Significance level을 alpha 로 놓고 m번의 테스트가 있을 때, false positive 적어도 한 개 이상을 가지고 있을 확율은 다음과 같다.

이렇게 되면 테스트가 많을 수록 FWER이 높아지게 된다. 즉, 허용하는 false positive 많다는 얘기다.

False positive를 줄이기 위해 Bonferronni limit을 적용하여 FWER을 고정하는 방법이 있다.

위 방법은 false positive를 줄이는 효과는 있지만 true positive도 함께 줄며, false negative가 증가한다.

이를 보완하기 위해 P-value에 따라 significance level을 달리 적용하여 FWER을 조절하는 Holm-Bonferroni method가 있다. 이렇게하면 significance한 것을 더 찾아낼 수 있다.

Benjamini-Hochberg procedure는 FDR을 조절하는 방법이다. 이때 몇 개의 단위로 나누어 여러번 계산하는 bootstrap 개념이 나오게 된다. 알아야 할 사항은, significance level을 조절하는 것이 아니라 p-value를 수정하는 것이다.