指数族の確率分布
定義 1 2
パラメーター $\theta$ を持つ確率分布の確率質量関数または確率密度関数が、いくつかの関数 $p,K,H,q,h,c,w_{i},t_{i}$ に対して以下のように表せる場合、それは 指数族exponential Familyまたはエクスポネンシャルクラスexponential classに属すると言われる。 $$ \begin{align*} f \left( x ; \theta \right) =& \exp \left( p (\theta) K (x) + H(x) + q(\theta) \right) \\ =& h(x) c (\theta) \exp \left( \sum_{i=1}^{k} w_{i} (\theta) t_{i} (x) \right) \end{align*} $$
説明
定義の中で二つの式が事実上同じ形をしていることが一目でわかるべきである。
定理
$$ T_{i} \left( X_{1} , \cdots , X_{n} \right) := \sum_{j=1}^{n} t_{i} \left( X_{j} \right) $$ 分布関数 $f (x;\theta)$ を持つランダムサンプル $\left\{ X_{j} \right\}_{j=1}^{n}$ について、統計量 $T_{1} , \cdots , T_{k}$ が上記のように定義されている場合、その同時確率密度関数は、ある関数 $H$ に対して以下のように表せる。 $$ f_{T} \left( u_{1} , \cdots , u_{k} ; \theta \right) = H \left( u_{1} , \cdots , u_{k} \right) \left[ c (\theta) \right]^{n} \exp \left( \sum_{i=1}^{k} w_{i} (\theta) u_{i} \right) $$
例
確率 $p \in (0,1)$ のベルヌーイ試行を考えると、 $$ \begin{align*} p^{x} (1-p)^{1-x} =& \left( {{ p } \over { 1-p }} \right)^{x} (1-p) \\ =& (1-p) \exp \left( x \log {{ p } \over { 1-p }} \right) \end{align*} $$ 上記のように表せるため、ベルヌーイ分布は指数族に属する。ただし、これを $n$ 回繰り返した分布、すなわち二項分布は、恒等関数 $t_{j}(x) = \text{id} (x) = x$ に対して $$ T_{1} = X_{1} + \cdots + X_{n} = \sum_{j=1}^{n} t_{j} \left( X_{j} \right) $$ と表せる。実際、二項分布は以下のように表される。 $$ \begin{align*} \binom{n}{x} p^{x} (1-p)^{n-x} =& \binom{n}{x} \left( {{ p } \over { 1-p }} \right)^{x} (1-p)^{n} \\ =& (1-p)^{n} \exp \left( x \log {{ p } \over { 1-p }} + \log \binom{n}{x} \right) \end{align*} $$