지수족 확률분포
정의 1 2
모수 $\theta$ 인 확률분포의 확률질량함수 혹은 확률밀도함수가 어떤 함수 $p,K,H,q,h,c,w_{i},t_{i}$ 들에 대해 다음과 같이 나타낼 수 있으면 지수족exponential Family 혹은 익스포넨셜 클래스exponential class에 속한다고 한다. $$ \begin{align*} f \left( x ; \theta \right) =& \exp \left( p (\theta) K (x) + H(x) + q(\theta) \right) \\ =& h(x) c (\theta) \exp \left( \sum_{i=1}^{k} w_{i} (\theta) t_{i} (x) \right) \end{align*} $$
설명
정의에서 두 수식의 형태가 사실상 같다는 것이 한 눈에 보여야한다.
정리
$$ T_{i} \left( X_{1} , \cdots , X_{n} \right) := \sum_{j=1}^{n} t_{i} \left( X_{j} \right) $$ 분포함수 $f (x;\theta)$ 를 갖는 랜덤 샘플 $\left\{ X_{j} \right\}_{j=1}^{n}$ 에 대해통계량 $T_{1} , \cdots , T_{k}$ 이 위와 같이 정의되어 있다면, 그 조인트 확률 밀도 함수는 어떤 함수 $H$ 에 대해 다음과 같이 나타낼 수 있다. $$ f_{T} \left( u_{1} , \cdots , u_{k} ; \theta \right) = H \left( u_{1} , \cdots , u_{k} \right) \left[ c (\theta) \right]^{n} \exp \left( \sum_{i=1}^{k} w_{i} (\theta) u_{i} \right) $$
예시
확률 $p \in (0,1)$ 인 베르누이 시행을 생각해보면 $$ \begin{align*} p^{x} (1-p)^{1-x} =& \left( {{ p } \over { 1-p }} \right)^{x} (1-p) \\ =& (1-p) \exp \left( x \log {{ p } \over { 1-p }} \right) \end{align*} $$ 와 같이 나타낼 수 있으므로 베르누이 분포는 지수족에 속한다. 단지 이를 $n$번 반복한 분포, 즉 이항분포는 항등함수 $t_{j}(x) = \text{id} (x) = x$ 에 대해 $$ T_{1} = X_{1} + \cdots + X_{n} = \sum_{j=1}^{n} t_{j} \left( X_{j} \right) $$ 로 표현할 수 있다. 실제로 이항분포는 다음과 같이 나타낼 수 있다. $$ \begin{align*} \binom{n}{x} p^{x} (1-p)^{n-x} =& \binom{n}{x} \left( {{ p } \over { 1-p }} \right)^{x} (1-p)^{n} \\ =& (1-p)^{n} \exp \left( x \log {{ p } \over { 1-p }} + \log \binom{n}{x} \right) \end{align*} $$