logo

確率変数の独立性とiid 📂数理統計学

確率変数の独立性とiid

定義1

  1. 確率変数X1,,XnX_{1} , \cdots , X_{n}が次を満たすとき、X1,,XnX_{1} , \cdots , X_{n}ペアワイズ独立と言われる。 ij    XiXj i \ne j \implies X_{i} \perp X_{j}
  2. 連続確率変数X1,,XnX_{1} , \cdots , X_{n}の結合確率密度関数ffが、それぞれの確率密度関数f1,,fnf_{1} , \cdots , f_{n}に対して次を満たす場合、X1,,XnX_{1} , \cdots , X_{n}相互独立であると言う。 f(x1,,xn)f1(x1)fn(xn) f(x_{1} , \cdots , x_{n} ) \equiv f_{1} (x_{1}) \cdots f_{n} (x_{n})
  3. 離散確率変数X1,,XnX_{1} , \cdots , X_{n}の結合確率質量関数ppが、それぞれの確率密度関数p1,,pnp_{1} , \cdots , p_{n}に対して次を満たす場合、X1,,XnX_{1} , \cdots , X_{n}相互独立であると言う。 p(x1,,xn)p1(x1)pn(xn) p(x_{1} , \cdots , x_{n} ) \equiv p_{1} (x_{1}) \cdots p_{n} (x_{n})
  4. 確率変数X1,,XnX_{1} , \cdots , X_{n}が相互に独立であり、同じ分布を持つとき、iid(独立同分布)と呼ぶ。

説明

  • ペアワイズ独立の概念はそれ自体が重要であるというよりも、相互独立という望ましい条件を満たさない、より良くない条件というニュアンスを強く持つものである。自然と相互独立であればペアワイズにも独立であるが、その逆は成立しない。これをよく示す反例がベルンスタイン分布である。
  • iidは相互独立が数学的に扱いやすく、各々が同一という点で、数理統計学において重要な仮定として好まれる。例えば、その分布がDDである場合、X1,,XnX_{1} , \cdots , X_{n}を分布DDに従うiid確率変数と言い、次のように表すこともできる。 X1,,XniidD X_{1} , \cdots , X_{n} \overset{\text{iid}}{\sim} D

定理

  • [1] 期待値: X1,,XnX_{1} , \cdots , X_{n}が相互に独立である場合、それぞれに適用されるある関数u1,,unu_{1} , \cdots , u_{n}について E[u1(X1)un(Xn)]=E[u1(X1)]E[un(Xn)] E \left[ u_{1}(X_{1}) \cdots u_{n}(X_{n}) \right] = E \left[ u_{1}(X_{1}) \right] \cdots E \left[ u_{n}(X_{n}) \right]
  • [2] モーメント生成関数: X1,,XnX_{1} , \cdots , X_{n}が相互に独立であり、それぞれのモーメント生成関数がMi(t),hi<t<hiM_{i}(t) \qquad , -h_{i} < t < h_{i}である場合、その線形組み合わせT:=i=1naiXi\displaystyle T := \sum_{i=1}^{n} a_{i} X_{i}のモーメント生成関数は MT(t)=i=1nMi(ait),mini=1,,nhi<t<mini=1,,nhi M_{T} (t) = \prod_{i=1}^{n} M_{i} \left( a_{i} t \right) \qquad , -\text{min}_{i=1, \cdots, n} h_{i} < t < \text{min}_{i=1, \cdots, n} h_{i}

  1. Hogg et al. (2013). Mathematical Statistics の導入 (第7版): p122~125. ↩︎