📂数理統計学

数理統計学における確率変数と確率分布

定義 ¹

標本空間 $\Omega$ で 確率 $P$ が定義されているとする。

1. 定義域が標本空間の関数 $X : \Omega \to \mathbb{R}$ を 確率変数^{random variable}と呼ぶ。確率変数の値域 $X(\Omega)$ を 空間^spaceとも呼ぶ。
2. 以下を満たす関数 $F_{X} : \mathbb{R} \to [0,1]$ を $X$ の累積分布関数(Cumulative Distribution Function, cdf) とする。 $$F_{X}(x) = P_{X}\left( (-\infty,x] \right) = P \left( \left\{ \omega \in \Omega : X(\omega) \le x \right\} \right)$$

離散

• D1: 確率変数 $X$ の空間が可算集合ならば $X$ を 離散確率変数^{discrete Random variable}と呼び、離散確率分布に従うとする。
• D2: 以下を満たす $p_{X} : \mathbb{R} \to [0,1]$ を離散確率変数 $X$ の確率質量関数(Probability Mass Function, pmf) と呼ぶ。 $$p_{X}(x) := P\left( X=x \right)$$
• D3: $\mathcal{S}_{X} := \left\{ x \in \mathbb{R} : p_{X}(x) > 0 \right\}$ を $X$ のサポート^supportと呼ぶ。

連続

• C1: 確率変数 $X$ の累積分布関数 $F_{X}$ が全ての $x \in \mathbb{R}$ で連続ならば $X$ を 連続確率変数^{continuous Random variable}と呼び、連続確率分布に従うとする。
• C2: 以下を満たす関数 $f_{X} : \mathbb{R} \to [0,\infty)$ を連続確率変数 $X$ の確率密度関数(Probability Density Function, pdf) と呼び、$X$ が 絶対連続^{absolutely Continuous}であるとする。 $$F_{X}(x) = \int_{-\infty}^{x} f_{X}(t) dt$$
• C3. $\mathcal{S}_{X} := \left\{ t \in \mathbb{R} : f_{X}(t) > 0 \right\}$ を $X$ のサポート^supportと呼ぶ。

解説

サポート 、または 支持集合 は、簡単に言えば、私たちが興味を持つ部分だけを選び出した集合である。よく使われる表現ではないが、確率論が何を表現したいのかを確かに伝える。確率は確定的な何かに関心がなく、確率が $0$ とは決して起こらないということなので、無関心で良い。だから $\mathcal{S}$ は「本当に重要な集合」や「私たちが知るべき集合」と見なせるようになり、限られたエネルギーを $\Omega$ 全体ではなく $\mathcal{S}$ にだけ注ぐことができるようになる。

高校で確率に触れたときも、教師が「確率変数は関数だ」と強調した記憶があるだろう。しかし、それとは別に、本当に確率変数を関数として考えて扱うことは、もう少し高いレベルの抽象化能力を必要とする。ここで紹介されている定義はまだ数学的に厳密ではないが、集合と関数で確率の概念を描写することは簡単ではない。わからないからといって絶望することもなければ、わかったと思って軽く見ることもない。

定義を読めば、離散確率変数と連続確率変数には本質的な違いがあり、それが形式的な違いにもつながることがわかる。学部生レベルでは混乱することもあるかもしれないが、連続確率変数を扱うときのみヤコビアンが付くことをしっかり理解しておこう。

定理

サポート $\mathcal{S}_{X}$ を持つ連続確率変数 $X$ と微分可能な単射関数 $g$ に対して、確率変数 $Y$ を $Y:=g(X)$ のように定義すると、$Y$ の確率密度関数は $y \in \mathcal{S}_{Y}$ に関して次のように求められる。[ 注: 実際には$g$ は全単射とは仮定されていないため、逆関数 $g^{-1}$ の存在が常に保証されるわけではない。] $$f_{Y} (y) = f_{X} \left( g^{-1}(y) \right) \left| {{ d x } \over { d y }} \right|$$

---

• ここで $\mathcal{S}_{Y}$ は $Y$ のサポート、$x$ は $x = g^{-1}(y)$ を意味する。

証明

$g$ は単射で連続なので、増加関数か減少関数である。ケースを分けて考えよう。

ケース 1. $g$ が増加関数の場合 $$\begin{align*} F_{Y}(y) =& P \left( Y \le y \right) \\ =& P \left( g(X) \le y \right) \\ =& P \left( X \le g^{-1}(y) \right) \\ =& F_{X}\left( g^{-1}(y) \right) \end{align*}$$ 微積分の基本定理により、$Y$ の確率密度関数は $$\begin{align*} f_{Y}(y) =& {{ d } \over { d y }} F_{Y}(y) \\ =& {{ d } \over { d y }} \int_{-\infty}^{x} f_{X}(t) dt \\ =& {{ d } \over { d x }} \int_{-\infty}^{x} f_{X}(t) dt {{ d x } \over { d y }} \\ =& f_{X} \left( x \right) {{ d x } \over { d y }} \\ =& f_{X} \left( g^{-1} (y) \right) {{ d x } \over { d y }} \end{align*}$$ $g$ が増加関数なので $\displaystyle {{ d x } \over { d y }} = {{ d g^{-1}(y) } \over { d y }} >0$ であり、したがって $${{ d x } \over { d y }} = \left| {{ d x } \over { d y }} \right|$$

---

ケース 2. $g$ が減少関数の場合 $$\begin{align*} F_{Y}(y) =& P \left( Y \le y \right) \\ =& P \left( g(X) \le y \right) \\ =& P \left( X \le g^{-1}(y) \right) \\ =& 1- F_{X}\left( g^{-1}(y) \right) \end{align*}$$ 同様に $\displaystyle f_{Y}(y) = - f_{X} \left( g^{-1} (y) \right) {{ d x } \over { d y }}$ である。$g$ が減少関数なので $\displaystyle {{ d x } \over { d y }} < 0$ であり、したがって $$- {{ d x } \over { d y }} = \left| {{ d x } \over { d y }} \right|$$

■

厳密な定義

• 測度論で定義される確率変数と確率分布
• 測度論で定義される累積分布関数
• 測度論で定義される離散確率分布
• 測度論における絶対連続