일양 분포

정의 ¹

연속형

$[a,b] \subset \mathbb{R}$ 에 대해 다음과 같은 확률 밀도 함수를 가지는 연속 확률 분포 $U(a,b)$ 를 일양 분포^{uniform distribution}라 한다. $$ f(x) = {{ 1 } \over { b - a }} \qquad , x \in [a,b] $$

이산형

유한집합 $\left\{ x_{k} \right\}_{k=1}^{n}$ 에 대해 다음과 같은 확률 질량 함수를 가지는 이산 확률 분포를 일양 분포라 한다. $$ p \left( x_{k} \right) = P \left( X = x_{k} \right) = {{ 1 } \over { n }} \qquad , k = 1, \cdots , n $$

설명

흔히 일양 분포는 균등 분포로 불리기도 한다. 이산 일양 분포의 대표적인 예로써 $x_{k} = k$ 인 주사위 등이 있으며, 이 경우 수리적인 성질은 크게 관심을 둘 필요가 없는 경우가 많다. 기본적으로 별다른 언급이 없다면 일양 분포는 연속 이산 분포를 말한다.

일양 분포가 중요한 이유는 따로 있다기보단 우리가 생각할 수 있는 가장 단순한 분포기 때문이다. 분포 이론에 익숙한 통계학도에겐 너무 소박해 보일지 모르겠지만 아직도 수학이나 인공지능 등의 분야에서는 생각보다 많이 사용한다.

정보이론

정보이론의 관점에선 아주 중요한 분포인데, 이산형이든 연속형이든 샤넌 엔트로피가 극대화되는 분포기 때문이다. 생각해보면 다른 분포는 확률함수에서 높고 낮음이라도 있지만 일양분포는 샘플이 어떨지 일말의 힌트도 없으니 당연한 일이다.

이산 일양분포가 엔트로피를 극대화한다는 것은 라그랑주 승수법에 대한 좋은 예시기도 하다.

기초 성질

적률 생성 함수

[1]: $$m(t) = {{ e^{tb} - e^{ta} } \over { t(b-a) }}$$

평균과 분산

[2]: $X \sim U(a,b)$ 면 $$ E(X) = {{ a+b } \over { 2 }} \\ \text{Var}(X) = {{ (b-a)^{2} } \over { 12 }} $$

충분통계량과 최대우도추정량

[3]: 랜덤샘플 $\mathbf{X} := \left( X_{1} , \cdots , X_{n} \right) \sim U \left( 0 , \theta \right)$ 이 주어져 있다고 하자.

$\theta$ 에 대한 충분통계량 $T$ 와 최대우도추정량 $\hat{\theta}$ 는 다음과 같다. $$ \begin{align*} T =& \max_{k=1 , \cdots , n} X_{k} \\ \hat{\theta} =& \max_{k=1 , \cdots , n} X_{k} \end{align*} $$

증명

[1]

$$ \begin{align*} m(t) = \int_{a}^{b} e^{tx} {{ 1 } \over { b-a }} dx =& {{ 1 } \over { b-a }} \left[ {{ 1 } \over { t }} e^{tx} \right]_{a}^{b} \\ =& {{ e^{tb} - e^{ta} } \over { t(b-a) }} \end{align*} $$

■

[2]

직접 연역한다.

■

[3]