📂数理統計学

確率変数の独立性とiid

定義¹

1. 確率変数$X_{1} , \cdots , X_{n}$が次を満たすとき、$X_{1} , \cdots , X_{n}$はペアワイズ独立と言われる。 $$ i \ne j \implies X_{i} \perp X_{j} $$
2. 連続確率変数$X_{1} , \cdots , X_{n}$の結合確率密度関数$f$が、それぞれの確率密度関数$f_{1} , \cdots , f_{n}$に対して次を満たす場合、$X_{1} , \cdots , X_{n}$は相互独立であると言う。 $$ f(x_{1} , \cdots , x_{n} ) \equiv f_{1} (x_{1}) \cdots f_{n} (x_{n}) $$
3. 離散確率変数$X_{1} , \cdots , X_{n}$の結合確率質量関数$p$が、それぞれの確率密度関数$p_{1} , \cdots , p_{n}$に対して次を満たす場合、$X_{1} , \cdots , X_{n}$は相互独立であると言う。 $$ p(x_{1} , \cdots , x_{n} ) \equiv p_{1} (x_{1}) \cdots p_{n} (x_{n}) $$
4. 確率変数$X_{1} , \cdots , X_{n}$が相互に独立であり、同じ分布を持つとき、iid（独立同分布）と呼ぶ。

説明

• ペアワイズ独立の概念はそれ自体が重要であるというよりも、相互独立という望ましい条件を満たさない、より良くない条件というニュアンスを強く持つものである。自然と相互独立であればペアワイズにも独立であるが、その逆は成立しない。これをよく示す反例がベルンスタイン分布である。
• iidは相互独立が数学的に扱いやすく、各々が同一という点で、数理統計学において重要な仮定として好まれる。例えば、その分布が$D$である場合、$X_{1} , \cdots , X_{n}$を分布$D$に従うiid確率変数と言い、次のように表すこともできる。 $$ X_{1} , \cdots , X_{n} \overset{\text{iid}}{\sim} D $$

定理

• [1] 期待値: $X_{1} , \cdots , X_{n}$が相互に独立である場合、それぞれに適用されるある関数$u_{1} , \cdots , u_{n}$について $$ E \left[ u_{1}(X_{1}) \cdots u_{n}(X_{n}) \right] = E \left[ u_{1}(X_{1}) \right] \cdots E \left[ u_{n}(X_{n}) \right] $$
• [2] モーメント生成関数: $X_{1} , \cdots , X_{n}$が相互に独立であり、それぞれのモーメント生成関数が$M_{i}(t) \qquad , -h_{i} < t < h_{i}$である場合、その線形組み合わせ$\displaystyle T := \sum_{i=1}^{n} a_{i} X_{i}$のモーメント生成関数は $$ M_{T} (t) = \prod_{i=1}^{n} M_{i} \left( a_{i} t \right) \qquad , -\text{min}_{i=1, \cdots, n} h_{i} < t < \text{min}_{i=1, \cdots, n} h_{i} $$