Bayesian Statistics

예전부터 랩 세미나 등에서 이야기가 오갔던 주제인데, 최근에 'Bayesian and Frequentism'이라는 talk을 듣고 나서야 이 이야기가 왜 중요한지 이해를 할 수 있었다.

A와 B의 진리집합의 교집합을 생각해보면 P(A|B)P(B)=P(B|A)P(A) 라는 아주 간단한 관계식이 성립한다. 여기서 P(A|B)=P(B|A)P(A)/P(B) 가 이른바 'Bayes Theorem'이다.

이 Bayes Theorem의 내용은 간단하다. 위키피디아(http://en.wikipedia.org/wiki/Bayes_theorem)에 나온 예인데, 봉지가 두개 있다. 첫번쨰 봉지에는 검은돌이 1개, 흰돌이 3개, 두번째 봉지에는 검은돌 2개, 흰돌 2개가 들어있다. 이 경우 눈 감고 (어떤 봉지인지 모르고) 돌을 뽑았을 때 검은돌이 나왔다. 그럼 이 검은돌은 어디서 온 것인가...가 우리가 내미는 질문이다.

이 경우 P(첫번째 봉지|검은돌)=P(검은돌|첫번째봉지)P(첫번째봉지)/P(검은돌)=(1/4)*(1/2)/(3/8)이 되겠다. 이건 아주 간단한 예고 이건 딱히 Bayesian Philosophy가 들어가있지도 않은 예이다. 사실 이런 예만 들으면 Bayes Theorem이 정말 쓸데없는 거구나...하고 생각하기 십상이다.

정말 예는 여기서부터인데, P(A|B)=P(B|A)P(A)/P(B)에서 P(A)부분에 있다. 다시 말해서 '검은돌이 어디서 왔느냐'에 대한 대답을 하려면 '우리가 눈을 감고 봉지를 집었을 때 첫번째 봉지를 잡을 확률'에 대해 알아야한다. 앞선 위키피디아의 예에서는 이걸 단순히 1/2이라고 했지만 사실 Bayesian에서는 이 P(A), Bayesian의 용어에 따르면 'prior'가 중요한 것이다.

이를 테면 이런 예를 생각할 수 있다. 길거리를 지나가다가 동전을 주웠고 그것이 biased 동전, 즉, head와 tail이 나올 확률이 각각 1/2이 되지 않는 동전일 확률이 얼마인가...를 생각하는 거다. 그래서 우리가 동전을 단 1회 던져보았더니 앞면이 나왔다.

P(biased|head)=P(head|biased)P(biased)/P(head)

이 된다. 사실 여기서 우리가 아는 부분은 아무것도 없다. 다만 한번 던져서 head가 나왔으니 'so far', P(head)=1이고, P(biased)는 우리가 모르는 부분이다. 하지만 P(head|biased)는 부분적으로 알 수 있는 부분인데, bias된 정도를 우리가 가정을 해줄 수도 있는 부분이다. 이를테면 언제나 앞면만 나오는 동전이라던지 하는 식으로... 하여간 여기서 우리가 아예 모르는 부분은 P(biased)이다.

즉 동전을 주워서 이게 도박장에서 나왔는지 화폐국에서 나왔는지가 궁금해서 한번 던졌더니 앞면이 나왔다. 이때 이 동전이 도박장에서 나왔을 확률을 P(biased)과 비례한다. 당연한 얘기겠지만 P(head)=1인 상태에서 P(biased)는 P(biased|head)와 같다.

하여간 P(biased)를 결정해줘야하는데, 이건 우리의 '경험'에 관계되는 부분이라는 거다. 즉, 우리가 동전을 주운 위치가 라스베가스이냐, 뉴욕의 월스트리트이냐가 중요하다는 것이다. 또한 다시 동전을 더 던져서. 이를 반복하여 계속 앞면만이 나올 때와 앞면과 뒷면이 고루고루 나올 때 prior에 대한 우리의 판단은 달라진다.

Neyman을 위시한 Frequentism과 Bayesian의 가장 큰 차이점은, Frequentist들이 'Given parameter에서 사건이 일어날 확률'을 묻는 반면 Bayesian들은 '사건이 일어났을 때 parameter들이 어떻게 주어졌을지에 대한 확률'을 본다는 것이다. P(A|B)에서 A와 B가 동등한 사건인 경우가 아니라 하나가 사건이고, 다른 하나가 우리가 반복실험을 하려고 하지 않는 실험의 조건일 때서야 Bayesian의 철학이 묻어나오는 것이다. Frequentist들은 하나의 사건을 두고 통계를 이야기하지 않지만 Bayesian들은 그걸 할 수 있다. Talk은 재미있는 문장으로 마무리되었는데, 나도 이 글 그걸로 마무리해본다.

"Frequentist들은 누구나 믿는 근거로 아무도 관심을 가지지 않는 문제에 대답하는 것이고, Bayesian statistics는 아무도 믿지 않는 근거로 모두가 관심을 가지는 문제를 다루는 것이다."

나중에 이 주제에 담긴 철학에 대한 이해가 깊어지면 다시 써봐야겠다. -_-

IK