📂수리통계학

지수족 확률분포

정의 ^{1 2}

모수 $\theta$ 인 확률분포의 확률질량함수 혹은 확률밀도함수가 어떤 함수 $p,K,H,q,h,c,w_{i},t_{i}$ 들에 대해 다음과 같이 나타낼 수 있으면 지수족^{exponential Family} 혹은 익스포넨셜 클래스^{exponential class}에 속한다고 한다. $$ \begin{align*} f \left( x ; \theta \right) =& \exp \left( p (\theta) K (x) + H(x) + q(\theta) \right) \\ =& h(x) c (\theta) \exp \left( \sum_{i=1}^{k} w_{i} (\theta) t_{i} (x) \right) \\ =& h(x) g (\theta) \exp \Big( \eta(\theta) \cdot T(x) \Big) \end{align*} $$

설명

정의에서 세 수식의 형태가 사실상 같다는 것이 한 눈에 보여야한다.

1956년 Robbins의 논문³에서는 Laplacian type이라는 이름도 사용되었다. 아마 exponential family라는 말이 정착하기 전인 것 같다.

정리

$$ T_{i} \left( X_{1} , \cdots , X_{n} \right) := \sum_{j=1}^{n} t_{i} \left( X_{j} \right) $$ 분포함수 $f (x;\theta)$ 를 갖는 랜덤 샘플 $\left\{ X_{j} \right\}_{j=1}^{n}$ 에 대해통계량 $T_{1} , \cdots , T_{k}$ 이 위와 같이 정의되어 있다면, 그 조인트 확률 밀도 함수는 어떤 함수 $H$ 에 대해 다음과 같이 나타낼 수 있다. $$ f_{T} \left( u_{1} , \cdots , u_{k} ; \theta \right) = H \left( u_{1} , \cdots , u_{k} \right) \left[ c (\theta) \right]^{n} \exp \left( \sum_{i=1}^{k} w_{i} (\theta) u_{i} \right) $$

예시

이항분포

확률 $p \in (0,1)$ 인 베르누이 시행을 생각해보면 $$ \begin{align*} p^{x} (1-p)^{1-x} =& \left( {{ p } \over { 1-p }} \right)^{x} (1-p) \\ =& (1-p) \exp \left( x \log {{ p } \over { 1-p }} \right) \end{align*} $$ 와 같이 나타낼 수 있으므로 베르누이 분포는 지수족에 속한다. 단지 이를 $n$번 반복한 분포, 즉 이항분포는 항등함수 $t_{j}(x) = \text{id} (x) = x$ 에 대해 $$ T_{1} = X_{1} + \cdots + X_{n} = \sum_{j=1}^{n} t_{j} \left( X_{j} \right) $$ 로 표현할 수 있다. 실제로 이항분포는 다음과 같이 나타낼 수 있다. $$ \begin{align*} \binom{n}{x} p^{x} (1-p)^{n-x} =& \binom{n}{x} \left( {{ p } \over { 1-p }} \right)^{x} (1-p)^{n} \\ =& (1-p)^{n} \exp \left( x \log {{ p } \over { 1-p }} + \log \binom{n}{x} \right) \end{align*} $$

정규분포

평균이 $\mu$, 분산이 $\sigma^{2}$인 정규분포의 확률밀도함수는 다음과 같다.

$$ \begin{align*} p(x; \mu) &= \dfrac{1}{\sqrt{2 \pi \sigma^{2}}}\exp \left( - \dfrac{(x-\mu)^{2}}{2\sigma^{2}} \right) \\ &= \exp \left( \dfrac{\mu x}{\sigma^{2}} - \dfrac{x^{2}}{2\sigma^{2}} - \dfrac{\mu^{2}}{2\sigma^{2}} - \log \sqrt{2 \pi \sigma^{2}} \right) \end{align*} $$

같이보기

• 지수족 확률분포의 완비통계량
• 로케이션 패밀리
• 스케일 패밀리