Computer Vision : models, learning and inference (2) Introduction to probability
http://www.computervisionmodels.com/
Part 1 : Probability
거의 모든 컴퓨터 비전 모델들은 확률적 관점에서 표현이 가능합니다. 이 책에서도 또한 그렇게 표현하였습니다. 하지만 확률적 표현을 처음 보았을 때는 조금 혼란스러울 수 있지만 이는 다음과 같은 강점을 갖습니다.
- 책 전체에서 동일한 기호를 통하여 표현 가능
- 다른 모델들과 관계를 설명할 때
카메라로 촬영한 영상은 삼차원 세계가 이차원 관측을 통해 이미지로 변환됩니다. 우리의 목적은 이 관측 값들을 이용하여 세상의 정보를 얻고자 함입니다. 하지만 두가지 문제가 있습니다. 하나는 관측 과정에서 노이즈가 들어간다는 문제고, 다른 하나는 세계와 관측 값으로 변화하는 관계는 많은 정보들을 하나로 압축하는 관계라는 것입니다. 따라서 많은 상황들이 동일한 관측 값을 가져올 수 있습니다. 따라서 가능성을 가진 여러 경우에 대해서 확률로 표현하는 것이 강점을 가질 수 있습니다.
2.1 Random variables
랜덤 변수 $x$는 확실성에 대한 어떤 수치로, 실험의 결과를 설명한다고도 할 수 있습니다. 실험의 결과에 따라 이는 다른 값들을 가지며 각각의 값들에 대하여 확률 분포 $Pr(x)$를 가집니다.
랜덤 변수는 discrete하거나 continuous할 수 있습니다.
2.2 Joint probability
두개의 랜덤 변수 $x, y$가 있다고한다면 두개의 변수를 동시에 관측하는 경우를 생각해 볼 수 있습니다. 이러한 경우 그 확률 $Pr(x, y)$을 Joint probability, 그리고 그 분포를 Joint distribution이라고 합니다.
2.3 Marginalization
Joint probability로부터 그 중 하나의 변수에 대한 확률 분포를 계산할 수 있습니다. 이는 나머지 변수에 대한 확률을 모두 더하여 만들게 됩니다.
$$Pr(x) = \int Pr(x, y) dy$$
$$Pr(y) = \int Pr(x, y) dx$$
이를 Marginalization 이라고 합니다.
2.4 Conditional probability
두개 랜덤 변수로 이루어진 Joint probability가 있다고 하였을 때, 만약 $y=y^*$로 관측된 상황이 이미 일어났다고 한다면 그러한 상황에서의 $x$의 분포를 생각할 수 있습니다. 이를 $Pr(x|y=y^*$로 표시합니다.
일반적으로 이는 $Pr(x, y=y^*)$인 슬라이스를 살펴보면 알 수 있지만 정확히는 이는 확률이 아닙니다. 그 합계가 1이 아니기 때문에 Normalzation 과정이 필요합니다.
$$Pr(x|y=y^*) = \frac{Pr(x,y=y^*)}{\int Pr(x, y=y^*) dx} = \frac{Pr(x, y=y^*)}{Pr(y=y^*)}$$
$$Pr(x|y) = \frac{Pr(x,y)}{Pr(y)}$$
$$Pr(x,y) = Pr(x|y) Pr(y)$$
$$Pr(x,y) = Pr(y|x) Pr(x)$$
3개 이상의 변수가 있을 경우엔 다음과 같습니다.
$$Pr(w,x,y,z) = Pr(w|x,y,z) Pr(x|y,z) Pr(y|z) Pr(z)$$
2.5 Bayes’ rule
앞의 식들을 이용하면 다음을 유도할 수 있습니다.
$$Pr(y|x)Pr(x) = Pr(x|y)Pr(y)$$
$$Pr(y|x) = \frac{Pr(x|y)Pr(y)}{\int Pr(x|y)Pr(y) dy}$$
여기서 $Pr(y|x)$를 posterior, $Pr(y)$를 prior, $Pr(x|y)$를 likelihood, $Pr(x)$를 evidence라고 합니다.
2.6 Independence
두개의 변수 x, y가 서로 전혀 연관이 없을 경우 아래가 성립합니다.
$$Pr(x|y) = Pr(x), Pr(y|x) = Pr(y)$$
$$Pr(x,y) = Pr(x|y) Pr(y) = Pr(x)Pr(y)$$
2.7 Expectation
함수 $f[ ]$ 가 주어졌을 경우, 랜덤 변수 가능한 값 $x^*$들에 대하여 일어날 수 있는 가능성을 고려하여 기대값을 계산할 수 있습니다.
$$E[f[x]] = \sum f[x]Pr(x)$$
$$E[f[x]] = \int f[x]Pr(x) dx$$
$$E[f[x,y]] = \int \int f[x,y]Pr(x,y) dx dy$$
- 상수의 기대값은 상수입니다.
- 기대값과 함수 $f[x]$의 곱으로 이루어진 랜덤 변수의 기대값은 서로 분리할 수 있습니다. $E[s f[x]] = s E[f[x]] $
- 두 함수의 기대값을 합한 것은 각기 따로 계산하여 더한 것과 같습니다.
- 두 함수의 곱의 기대값은 따로 구하 다음에 곱한 것과 같습니다.