期待値の公式(性質)総まとめ
定義
連続確率変数 $X$の確率密度関数 $f$が $\displaystyle \int_{-\infty}^{\infty} |x| f(x) dx \lt \infty$を満たすとき、$X$の期待値 $\mathbb{E}_{X}(X)$を次のように定義する。 $$ \mathbb{E}_{X}(X) := \int_{-\infty}^{\infty} x f(x) dx $$
離散確率変数 $X$の確率質量関数 $p$が $\displaystyle \sum_{x} |x| p(x) \lt \infty$を満たすとき、$X$の期待値 $\mathbb{E}_{X}(X)$を次のように定義する。 $$ \mathbb{E}_{X}(X) := \sum_{x} x p(x) $$
二つの確率変数 $X$, $Y$に対して、$Y = y$が与えられたとき $X$の条件付き期待値を以下のように定義する。 $$ \mathbb{E}_{X|Y}(X|Y) := \int_{-\infty}^{\infty} x f(x|y) dx $$
ランダムベクトル $\mathbf{X} = \begin{bmatrix} X_{1} & X_{2} & \cdots & X_{n} \end{bmatrix}^{\mathsf{T}}$の期待値 $\mathbb{E}_{\mathbf{X}}(\mathbf{X})$を次のように定義する。 $$ \mathbb{E}_{\mathbf{X}}(\mathbf{X}) := \begin{bmatrix} \mathbb{E}_{X_{1}}(X_{1}) \\ \mathbb{E}_{X_{2}}(X_{2}) \\ \vdots \\ \mathbb{E}_{X_{n}}(X_{n}) \end{bmatrix} $$
説明
$\mathbb{E}$は expectation の頭文字に由来し、曖昧さがないときは下のように添字を外して簡潔に表記する。表記は $\mathbb{E}$と $E$の双方がよく使われ、括弧も () と [] の両方がよく用いられる。
$$ \mathbb{E}(X), \quad \mathbb{E}[X], \quad E(X), \quad E[X] $$
公式および性質
線形性: 確率変数 $X \in \mathbb{R}$と定数 $a, b \in \mathbb{R}$に対して、 $$ \mathbb{E}_{X}(aX + b) = a\mathbb{E}_{X}(X) + b \tag{1} $$ 確率変数 $X, Y \in \mathbb{R}$に対して、 $$ \mathbb{E}_{X,Y}(X + Y) = \mathbb{E}_{X}(X) + \mathbb{E}_{Y}(Y) $$
確率変数 $X$と関数 $g$に対して $Y = g(X)$のとき、 $$ \mathbb{E}_{Y}(Y) = \mathbb{E}_{X}[g(X)] $$
線形性: 確率変数 $X$と二つの関数 $g_{1}$, $g_{2}$および定数 $a, b \in \mathbb{R}$に対して、 $$ \mathbb{E}_{X}[a g_{1}(X) + b g_{2}(X)] = a \mathbb{E}_{X}[g_{1}(X)] + b \mathbb{E}_{X}[g_{2}(X)] \tag{2} $$ $(1)$は $(2)$のうち $g_{1}(X) = X, g_{2}(X) = 1$である特殊な場合である。
分散との関係: 分散 $\Var(X) = \mathbb{E}_{X}[(X-\mathbb{E}_{X}(X))^2]$に対して、 $$ \Var(X) = \mathbb{E}_{X}(X^{2}) - [\mathbb{E}_{X}(X)]^{2} $$
確率変数 $X$の分散が存在すれば、次が成り立つ。 $$ \mathbb{E}_{X} (X^{2}) \ge [\mathbb{E}_{X} (X)]^{2} $$ これは結局分散が $0$以上であること $(\Var(X) \ge 0)$を意味する。
補間的性質: 確率変数 $X$と自然数 $m$に対して $\mathbb{E}_{X}(X^{m})$が存在すれば、すべての自然数 $k \le m$に対して $\mathbb{E}_{X}(X^{k})$が存在する。 $$ \exist \mathbb{E}_{X}(X^{m}) \implies \exist \mathbb{E}_{X}(X^{k}) \quad \forall k \le m $$
ヤンセンの不等式: 確率変数 $X$と凸関数 $\phi$に対して次が成り立つ。 $$ \phi[\mathbb{E}_{X}(X)] \le \mathbb{E}_{X}[\phi(X)] $$
条件付き期待値について次が成り立つ。 $$ \mathbb{E}_{X} \left[ \mathbb{E}_{Y} (Y | X) \right] = \mathbb{E}_{Y} (Y) $$
独立な二つの確率変数 $X$, $Y$と関数 $f$, $g$に対して次が成り立つ。 $$ \mathbb{E}_{X, Y} \left[ f(X) g(Y) \right] = \mathbb{E}_{X} \left[ f(X) \right] \mathbb{E}_{Y} \left[ g(Y) \right] $$