logo

최소충분통계량 📂수리통계학

최소충분통계량

정의 1

T(X)T \left( \mathbf{X} \right) 가 충분통계량이라고 하자. 모든 다른 충분통계량 T′(X)T ' \left( \mathbf{X} \right) 에 대해 T(x)T \left( \mathbf{x} \right) 가 T′(x)T ' \left( \mathbf{x} \right) 의 함수로 나타나면 T(X)T \left( \mathbf{X} \right) 를 최소충분통계량minimal Sufficient statistic이라 한다.

정리

f(x;θ)f \left( \mathbf{x} ; \theta \right) 가 샘플 X\mathbf{X} 의 확률밀도함수 혹은 확률질량함수라 하자. 모든 실현 x,y\mathbf{x} , \mathbf{y} 에 대해 f(x;θ)f(y;θ)=c(θ) is constant as function a of θ  ⟺  T(x)=T(y) {{ f \left( \mathbf{x} ; \theta \right) } \over { f \left( \mathbf{y} ; \theta \right) }} = c (\theta) \text{ is constant as function a of }\theta \iff T (\mathbf{x}) = T (\mathbf{y}) 를 만족하는 x\mathbf{x} 의 함수 TT 가 존재한다면, T(X)T \left( \mathbf{X} \right) 는 θ\theta 에 대한 최소충분통계량이다.

설명

정의에서 TT 가 다른 모든 T′T ' 의 무언가로 나타난다는 것은 상당히 수학다운 스테이트먼트다. T′T ' 가 마찬가지로 충분통계량인 어떤 TT 로써 나타나지 않는다는 것은 T′T ' 가 TT 에 비해 어딘가 부족함이 있다는 의미고, ‘모든’ T′T ' 에 대해서 성립해야한다는 점에서 ‘최소’라는 표현이 적절함을 알 수 있다.

예시

(충분통계량의 와닿는 예시에 이어)

X1,⋯ ,Xn∼U(0,θ) with f(x;θ)={1,if x∈(0,θ)0,otherwise=1θI(0,θ)(x) X_{1} , \cdots , X_{n} \sim U (0,\theta) \text{ with } f \left( x ; \theta \right) = \begin{cases} 1 & , \text{if } x \in (0,\theta) \\ 0 & , \text{otherwise} \end{cases} = {{ 1 } \over { \theta }} I_{(0,\theta)} (x)

최대값의 모수가 θ\theta 인 유니폼분포에서 얻은 랜덤 샘플을 생각해보면, 표본의 최대값 max⁡kXk=X(n)\max_{k} X_{k} = X_{(n)} 이 θ\theta 에 대한 충분통계량이 될 수 있었다. 직관적으로 봤을 때 이보다 좋은 충분통계량은 없어보이는데, 위 정리에 따라 실제로 확인해보자.

지시함수의 곱: ∏i=1nI(−∞,θ](xi)=I(−∞,θ](max⁡i∈[n]xi) \prod_{i=1}^{n} I_{(-\infty, \theta]} \left( x_{i} \right) = I_{(-\infty, \theta]} \left( \max_{i \in [n]} x_{i} \right)

x:=(x1,⋯ ,xn)y:=(y1,⋯ ,yn) \begin{align*} \mathbf{x} :=& \left( x_{1} , \cdots , x_{n} \right) \\ \mathbf{y} :=& \left( y_{1} , \cdots , y_{n} \right) \end{align*} 두 데이터 x,y\mathbf{x} , \mathbf{y} 에 대해 조인트확률밀도함수의 비는 지시함수의 곱에 따라 f(x;θ)f(y;θ)=∏k=1nθ−1I(0,θ)(xk)∏k=1nθ−1I(0,θ)(yk)=θ−nI(0,θ)(max⁡kxk)θ−nI(0,θ)(max⁡kyk)=I(0,θ)(max⁡kxk)I(0,θ)(max⁡kyk) \begin{align*} {{ f \left( \mathbf{x} ; \theta \right) } \over { f \left( \mathbf{y} ; \theta \right) }} =& {{ \prod_{k = 1}^{n} \theta^{-1} I_{(0,\theta)} \left( x_{k} \right) } \over { \prod_{k = 1}^{n} \theta^{-1} I_{(0,\theta)} \left( y_{k} \right) }} \\ =& {{ \theta^{-n} I_{(0,\theta)} \left( \max_{k} x_{k} \right) } \over { \theta^{-n} I_{(0,\theta)} \left( \max_{k} y_{k} \right) }} \\ =& {{ I_{(0,\theta)} \left( \max_{k} x_{k} \right) } \over { I_{(0,\theta)} \left( \max_{k} y_{k} \right) }} \end{align*} 이고, 이는 max⁡kxk=max⁡kyk\max_{k} x_{k} = \max_{k} y_{k} 면 θ\theta 와 무관하게 항상 같은 값이고 오직 그 경우에만 같은 값일 수 있다. 따라서 max⁡kxk\max_{k} x_{k} 는 θ\theta 에 대한 충분통계량일뿐만 아니라 최소충분통계량임을 보장할 수 있다.

증명

편의를 위해 f(x;θ)=0f \left( \mathbf{x} ; \theta \right) = 0 인 경우는 생각하지 않아도 되도록 가정하자. 이하로는 X\mathbf{X} 의 치역을 X\mathcal{X} 라 하고, 모든 x∈X\mathbf{x} \in \mathcal{X} 와 θ\theta 에 대해 f(x;θ)⪈0f \left( \mathbf{x} ; \theta \right) \gneq 0 이다.

Part 1. 충분성

TT 에 대한 X\mathcal{X} 의 이미지를 T:=T(X)\mathcal{T} := T \left( \mathcal{X} \right) 와 같이 나타내고, 모든 t>0t > 0 에 대해 T\mathcal{T} 의 부분집합 At:={x∈X:T(x)=t}⊂T A_{t} := \left\{ \mathbf{x} \in \mathcal{X} : T (\mathbf{x}) = t \right\} \subset \mathcal{T} 를 정의함으로써 집합 T\mathcal{T} 의 분할을 생각할 수 있다. 각각의 tt 마다 하나의 원소 xt∈At\mathbf{x}_{t} \in A_{t} 를 잡고, xT(x)\mathbf{x}_{T(\mathbf{x})} 를 각각의 ∀x∈X\forall \mathbf{x} \in \mathcal{X} 에 대응하는 xt\mathbf{x}_{t} 라 나타내면 x∈At  ⟺  xt∈At\mathbf{x} \in A_{t} \iff \mathbf{x}_{t} \in A_{t} 이므로 T(x)=T(xT(x))T \left( \mathbf{x} \right) = T \left( \mathbf{x}_{T(\mathbf{x})} \right) 다. 가정에서 f(x;θ)f(y;θ)=c(θ) is constant as function a of θ  ⟸  T(x)=T(y) {{ f \left( \mathbf{x} ; \theta \right) } \over { f \left( \mathbf{y} ; \theta \right) }} = c (\theta) \text{ is constant as function a of }\theta \impliedby T (\mathbf{x}) = T (\mathbf{y}) 이었으므로 h(x):=f(x;θ)f(xT(x);θ) h \left( \mathbf{x} \right) := {{ f \left( \mathbf{x} ; \theta \right) } \over { f \left( \mathbf{x}_{T(\mathbf{x})} ; \theta \right) }} 와 같이 정의된 함수 h:X→Rh : \mathcal{X} \to \mathbb{R} 는 θ\theta 에 대해서는 상수함수다. 이에 함수 g:T→Rg : \mathcal{T} \to \mathbb{R} 를 g(t;θ):=f(xt;θ)g(t ; \theta) := f \left( \mathbf{x}_{t} ; \theta \right) 와 같이 정의하면 다음이 성립한다. f(x;θ)=f(xT(x);θ)f(x;θ)f(xT(x);θ)=g(T(x);θ)⋅h(x) \begin{align*} & f \left( \mathbf{x} ; \theta \right) \\ =& f \left( \mathbf{x}_{T \left( \mathbf{x} \right)} ; \theta \right) {{ f \left( \mathbf{x} ; \theta \right) } \over { f \left( \mathbf{x}_{T \left( \mathbf{x} \right)} ; \theta \right) }} \\ =& g \left( T \left( \mathbf{x} \right) ; \theta \right) \cdot h \left( \mathbf{x} \right) \end{align*}

네이만 인수분해 정리: 랜덤 샘플 X1,⋯ ,XnX_{1} , \cdots , X_{n} 이 모수 θ∈Θ\theta \in \Theta 에 대해 같은 확률질량/밀도함수 f(x;θ)f \left( x ; \theta \right) 를 가진다고 하자. 통계량 Y=u1(X1,⋯ ,Xn)Y = u_{1} \left( X_{1} , \cdots , X_{n} \right) 이 θ\theta 의 충분통계량인 것은 다음을 만족하는 음이 아닌 두 함수 k1,k2≥0k_{1} , k_{2} \ge 0 이 존재하는 것이다. f(x1;θ)⋯f(xn;θ)=k1[u1(x1,⋯ ,xn);θ]k2(x1,⋯ ,xn) f \left( x_{1} ; \theta \right) \cdots f \left( x_{n} ; \theta \right) = k_{1} \left[ u_{1} \left( x_{1} , \cdots , x_{n} \right) ; \theta \right] k_{2} \left( x_{1} , \cdots , x_{n} \right) 단, k2k_{2} 는 θ\theta 에 종속되지 않아야한다.

소인수분해 정리에 따라, TT 는 θ\theta 에 대한 충분통계량이다.

Part 2. 최소성

TT 외의 충분통계량 T′T' 을 생각해보면, 소인수분해 정리에 따라 f(x;θ)=g′(T′(x);θ)⋅h’(x) f \left( \mathbf{x} ; \theta \right) = g' \left( T ' \left( \mathbf{x} \right) ; \theta \right) \cdot h’ \left( \mathbf{x} \right) 를 만족시키는 두 함수 g′g' 와 h′h ' 가 존재한다. x\mathbf{x} 과 y\mathbf{y} 가 T′(x)=T′(y)T ' \left( \mathbf{x} \right) = T ' \left( \mathbf{y} \right) 를 만족시키는 임의의 두 실현이라고 하면 f(x;θ)f(y;θ)=g′(T’(x);θ)h’(x)g′(T’(y);θ)h’(x)=h’(x)h’(y) {{ f \left( \mathbf{x} ; \theta \right) } \over { f \left( \mathbf{y} ; \theta \right) }} = {{ g' \left( T’ (\mathbf{x}) ; \theta \right) h’ \left( \mathbf{x} \right) } \over { g' \left( T’ (\mathbf{y}) ; \theta \right) h’ \left( \mathbf{x} \right) }} = {{ h’ (\mathbf{x}) } \over { h’ (\mathbf{y}) }} 는 θ\theta 에 종속되지 않았으므로, 가정 f(x;θ)f(y;θ)=c(θ) is constant as function a of θ  ⟹  T(x)=T(y) {{ f \left( \mathbf{x} ; \theta \right) } \over { f \left( \mathbf{y} ; \theta \right) }} = c (\theta) \text{ is constant as function a of }\theta \implies T (\mathbf{x}) = T (\mathbf{y}) 에 따라 T(x)=T(y)T (\mathbf{x}) = T (\mathbf{y}) 이다. 즉 T’(x)=T’(y)  ⟹  T(x)=T(y) T’ (\mathbf{x}) = T’ (\mathbf{y}) \implies T (\mathbf{x}) = T (\mathbf{y}) 이고, 어떤 함수 λ\lambda 에 대해 T(x)=λ(T’(x)) T (\mathbf{x}) = \lambda \left( T’ (\mathbf{x}) \right) 다. 따라서 TT 는 T′T' 의 함수고, TT 는 최소충분통계량이다.

■

  1. Casella. (2001). Statistical Inference(2nd Edition): p280. ↩︎