기댓값 공식(성질) 총 정리
정의
연속 확률 변수 $X$의 확률 밀도 함수 $f$가 $\displaystyle \int_{-\infty}^{\infty} |x| f(x) dx \lt \infty$를 만족하면, $X$의 기댓값 $\mathbb{E}_{X}(X)$를 다음과 같이 정의한다. $$ \mathbb{E}_{X}(X) := \int_{-\infty}^{\infty} x f(x) dx $$
이산 확률 변수 $X$의 확률 질량 함수 $p$가 $\displaystyle \sum_{x} |x| p(x) \lt \infty$를 만족하면, $X$의 기댓값 $\mathbb{E}_{X}(X)$를 다음과 같이 정의한다. $$ \mathbb{E}_{X}(X) := \sum_{x} x p(x) $$
두 확률 변수 $X$, $Y$에 대해서, $Y = y$가 주어졌을 때 $X$의 조건부 기댓값을 아래와 같이 정의한다. $$ \mathbb{E}_{X|Y}(X|Y) := \int_{-\infty}^{\infty} x f(x|y) dx $$
랜덤 벡터 $\mathbf{X} = \begin{bmatrix} X_{1} & X_{2} & \cdots & X_{n} \end{bmatrix}^{\mathsf{T}}$의 기댓값 $\mathbb{E}_{\mathbf{X}}(\mathbf{X})$를 다음과 같이 정의한다. $$ \mathbb{E}_{\mathbf{X}}(\mathbf{X}) := \begin{bmatrix} \mathbb{E}_{X_{1}}(X_{1}) \\ \mathbb{E}_{X_{2}}(X_{2}) \\ \vdots \\ \mathbb{E}_{X_{n}}(X_{n}) \end{bmatrix} $$
설명
$\mathbb{E}$는 expectation의 앞글자를 따온 것으로, 모호함이 없을 땐 아래와 같이 아랫첨자를 빼고 간단히 표기한다. 글씨체는 $\mathbb{E}$와 $E$ 둘 다 많이 쓰이며, 괄호도 ()와 [] 모두 많이 쓰이는 편이다.
$$ \mathbb{E}(X), \quad \mathbb{E}[X], \quad E(X), \quad E[X] $$
공식 및 성질
선형성: 확률 변수 $X \in \mathbb{R}$와 상수 $a, b \in \mathbb{R}$에 대해서, $$ \mathbb{E}_{X}(aX + b) = a\mathbb{E}_{X}(X) + b \tag{1} $$ 확률 변수 $X, Y \in \mathbb{R}$에 대해서, $$ \mathbb{E}_{X,Y}(X + Y) = \mathbb{E}_{X}(X) + \mathbb{E}_{Y}(Y) $$
확률 변수 $X$와 함수 $g$에 대해서 $Y = g(X)$일 때, $$ \mathbb{E}_{Y}(Y) = \mathbb{E}_{X}[g(X)] $$
선형성: 확률 변수 $X$와 두 함수 $g_{1}$, $g_{2}$와 상수 $a, b \in \mathbb{R}$에 대해서, $$ \mathbb{E}_{X}[a g_{1}(X) + b g_{2}(X)] = a \mathbb{E}_{X}[g_{1}(X)] + b \mathbb{E}_{X}[g_{2}(X)] \tag{2} $$ $(1)$은 $(2)$에서 $g_{1}(X) = X, g_{2}(X) = 1$인 특수한 경우이다.
분산과의 관계: 분산 $\Var(X) = \mathbb{E}_{X}[(X-\mathbb{E}_{X}(X))^2]$에 대해서, $$ \Var(X) = \mathbb{E}_{X}(X^{2}) - [\mathbb{E}_{X}(X)]^{2} $$
확률 변수 $X$의 분산이 존재하면, 다음이 성립한다. $$ \mathbb{E}_{X} (X^{2}) \ge [\mathbb{E}_{X} (X)]^{2} $$ 이는 결국 분산이 $0$보다 같거나 크다는 것$(\Var(X) \ge 0)$을 의미한다.
보간 성질: 확률 변수 $X$와 자연수 $m$에 대해서 $\mathbb{E}_{X}(X^{m})$이 존재하면, 모든 자연수 $k \le m$에 대해서 $\mathbb{E}_{X}(X^{k})$이 존재한다. $$ \exist \mathbb{E}_{X}(X^{m}) \implies \exist \mathbb{E}_{X}(X^{k}) \quad \forall k \le m $$
옌센 부등식: 확률 변수 $X$와 컨벡스 함수 $\phi$에 대해서 다음이 성립한다. $$ \phi[\mathbb{E}_{X}(X)] \le \mathbb{E}_{X}[\phi(X)] $$
조건부 기댓값에 대해서 다음이 성립한다. $$ \mathbb{E}_{X} \left[ \mathbb{E}_{Y} (Y | X) \right] = \mathbb{E}_{Y} (Y) $$
독립인 두 확률변수 $X$, $Y$와 함수 $f$, $g$에 대해서 다음이 성립핟나. $$ \mathbb{E}_{X, Y} \left[ f(X) g(Y) \right] = \mathbb{E}_{X} \left[ f(X) \right] \mathbb{E}_{Y} \left[ g(Y) \right] $$