📂数理統計学

数理統計学における確率収束

定義 ¹

確率変数 $X$ と確率変数のシーケンス $\left\{ X_{n} \right\}$ が次を満たすとき、$n \to \infty$ のとき $X$ に確率収束すると言い、$X_{n} \overset{P}{\to} X$ と示される。 $$ \forall \varepsilon > 0 , \lim_{n \to \infty} P \left[ \left| X_{n} - X \right| < \varepsilon \right] = 1 $$

説明

確率収束の条件は、文字通り確率のセンスで収束を定義したもので、簡単に言えば、$n$が大きくなると二つの確率変数が非常に小さい誤差 $\varepsilon$ をもって同じになる確率が $100%$ だと見ればいい。まさに確率収束の言葉とピッタリ合う。数式に使われるときは、同等でありながらより便利な次の表現をよく使う。 $$ \forall \varepsilon > 0 , \lim_{n \to \infty} P \left[ \left| X_{n} - X \right| \ge \varepsilon \right] = 0 $$ 確率変数はサンプル空間から実数への関数として知られているが、二つの関数を比較した時、その差が $\varepsilon$ に比較されるので、解析学的なセンスでは関数の一様収束に相当するだろう。このような類似性は、一様収束すれば点収束するように、確率収束すれば分布収束するという事実にも繋がる。急に出てきた エプシロンが嬉しくないなら、今からでも慣れるか数理統計学を諦めるか選ばないといけない。統計学で $n$ が大きくなるとは、単に任意の数を無限大に送るという意味ではなく、サンプルが十分に多いという仮定を数学的に表現したものだから、確率論を使って理論を展開する数理統計学でサンプルの数を議論できなければ、まさに言うことができないだろう。解析学がどれほど不得意でも、このポストでの証明[3]のPart 1.くらいは読んで理解できるように努力した方がいい。確率収束について次のような常識的な性質を紹介する。

定理

$X_{n} \overset{P}{\to} X$ とする。

• [1] 連続写像定理: 連続関数 $g$ に対して $$ g\left( X_{n} \right) \overset{P}{\to} g (X) $$
• $$ X_{n} \overset{P}{\to} X \implies X_{n} \overset{D}{\to} X $$
• [3]: $a \in \mathbb{R}$ が定数で $ Y_{n} \overset{P}{\to} Y$ ならば $$ aX_{n} \overset{P}{\to} a X \\ X_{n} + Y_{n} \overset{P}{\to} X + Y \\ X_{n} Y_{n} \overset{P}{\to} XY $$

証明

[1]

学部レベルを超える証明があって、わざわざ数理統計学のレベルまで落ちて知る必要はない。受け入れて先に進んでも構わない。

■

2

直接演繹する。

■

[3]

Part 1. $aX_{n} \overset{P}{\to} a X $

連続写像定理の直接的な結論としても得ることができるが、解析学的な証明の例として直接演繹を試みる。$a = 0$ の場合は自明に成立するので、$a \ne 0$ としよう。

$\varepsilon > 0$ とすると、確率 $P$ の中の式から $|a|$ を割ることによって次の等式を得る。 $$ \begin{align*} P \left( \left| a X_{n} - aX \right| \ge \varepsilon \right) =& P \left( |a| \left| X_{n} - X \right| \ge \varepsilon \right) \\ =& P \left( \left| X_{n} - X \right| \ge {{ \varepsilon } \over { |a| }} \right) \end{align*} $$ $n \to \infty$ の時 $X_{n} \overset{P}{\to} X$ と仮定したので、最後の項は $n \to \infty$ の時 $0$ に収束し、したがって最初の項に極限をとると次を得る。 $$ \lim_{n \to \infty} P \left( \left| a X_{n} - aX \right| \ge \varepsilon \right) = 0 $$

---

Part 2. $X_{n} + Y_{n} \overset{P}{\to} X + Y$

不等式の向きを間違えなければ、それほど難しくない。三角不等式によると $$ \left| \left( X_{n} - X \right) + \left( Y_{n} - Y \right) \right| \le \left| X_{n} - X \right| + \left| Y_{n} - Y \right| $$ である。以下の図に従って 二つの事象の包含関係 $$ \color{blue}{\left( \left| X_{n} - X \right| + \left| Y_{n} - Y \right| \ge \varepsilon \right) } \subset \color{orange}{ \left[ \left( \left| X_{n} - X \right| \ge \varepsilon / 2 \right) \cup \left( \left| Y_{n} - Y \right| \ge \varepsilon / 2 \right) \right] } $$ が成立することがわかる。今、$\varepsilon \le \left| \left( X_{n} - X \right) + \left( Y_{n} - Y \right) \right|$ と仮定すると $$ \begin{align*} P \left[ \left| \left( X_{n} + Y_{n} \right) - \left( X + Y \right) \right| \ge \varepsilon \right] =& P \left[ \left| \left( X_{n} - X \right) + \left( Y_{n} - Y \right) \right| \ge \varepsilon \right] \\ \le & P \left[ \color{blue}{ \left| X_{n} - X \right| + \left| Y_{n} - Y \right| \ge \varepsilon } \right] \\ \le & P \left[ \color{orange}{ \left( \left| X_{n} - X \right| \ge \varepsilon / 2 \right) \cup \left( \left| Y_{n} - Y \right| \ge \varepsilon / 2 \right) } \right] \\ \le & P \left[ \left| X_{n} - X \right| \ge \varepsilon / 2 \right] + P \left[ \left| Y_{n} - Y \right| \ge \varepsilon / 2 \right] \end{align*} $$ $n \to \infty$ の時最後の項が $0$ に収束するので、次を得る。 $$ \lim_{n \to \infty} P \left[ \left| \left( X_{n} + Y_{n} \right) - \left( X + Y \right) \right| \ge \varepsilon \right] \le 0 $$

---

Part 3. $X_{n} Y_{n} \overset{P}{\to} XY$

$$ g(x) := x^{2} $$ は連続関数なので、定理 [1] により $X_{n}^{2} \overset{P}{\to} X^{2}$ であり、 $$ \begin{align*} X_{n} Y_{n} =& {{ 1 } \over { 2 }} X_{n}^{2} + {{ 1 } \over { 2 }} Y_{n}^{2} - {{ 1 } \over { 2 }} \left( X_{n} - Y_{n} \right)^{2} \\ \overset{P}{\to}& {{ 1 } \over { 2 }} X^{2} + {{ 1 } \over { 2 }} Y^{2} - {{ 1 } \over { 2 }}\left( X - Y \right)^{2} \\ =& XY \end{align*} $$

■

厳密な定義

• 測度論で定義される確率収束