📂数理統計学

数理統計学におけるデルタ法

定理

定数$\theta \in \mathbb{R}$と確率変数のシーケンス$\left\{ Y_{n} \right\}_{n \in \mathbb{N}}$について、$\sqrt{n} \left( Y_{n} - \theta \right)$が正規分布$N \left(0, \sigma^{2} \right)$に分布収束するとしよう。

$1$次のデルタメソッド¹

$g ' (\theta) \ne 0$が存在すれば、 $$ \sqrt{n} \left[ g \left( Y_{n} \right) - g(\theta) \right] \overset{D}{\to} N \left( 0, \sigma^{2} \left[ g ' (\theta) \right]^{2} \right) $$

$2$次のデルタメソッド²

$g ' (\theta) = 0$であり$g''(\theta) \ne 0$が存在すれば、 $$ n \left[ g \left( Y_{n} \right) - g(\theta) \right] \overset{D}{\to} \sigma^{2} {{ g''\left( \theta \right) } \over { 2 }} \chi_{1}^{2} $$

一般化されたデルタメソッド

ある$k_{n}$について$n$に依存する$k_{n} \left( Y_{n} - \theta \right) \overset{D}{\to} Y$とする。もし

• $k \in [r-1]$に対して$g^{(k)} (\theta) = 0$
• $g^{(r)} (\theta) \ne 0$が存在
• $g^{(r)}$が$\theta$で連続

ならば、 $$ k_{n}^{r} \left[ g \left( Y_{n} \right) - g (\theta) \right] \overset{D}{\to} {{ g^{(r)} (\theta) } \over { r! }} Y^{r} $$

---

• $\overset{D}{\to}$は分布収束を意味する。
• $\chi_{1}^{2}$はカイ二乗分布を表す。
• $g^{(k)}$は$k$次の導関数だ。
• $[r-1]$は$r-1$までの自然数を集めた集合$\left\{ 1, \cdots, r-1 \right\}$だ。

説明

デルタメソッド^{delta method}は、数理統計学で多くの分布収束を説明する補助定理として広く使われる。

例

例えば$X$の平均と分散を知っている時、 $$ g(X) = g (\mu) + g ' (\mu) \left( X - \mu \right) $$ であれば、 $$ \begin{align*} E g(X) \approx & g (\mu) \\ \text{Var} g (X) \approx & \left[ g ' (\mu) \right]^2 \text{Var} X \end{align*} $$ だ。元々$X$の逆数に関する平均と分散が気になるなら、関数$g(x) := 1/x$について次のような結果が得られる。 $$ \begin{align*} E {{ 1 } \over { X }} \approx & {{ 1 } \over { \mu }} \\ \text{Var} {{ 1 } \over { X }} \approx & \left[ {{ 1 } \over { \mu }} \right]^{4} \text{Var} X \end{align*} $$ これが正確なデルタメソッドの結果ではないが、確率変数の関数形を扱うことができる道具として、いつでもデルタメソッドを思い出せるべきだ。

証明

戦略：本質的にはテイラー展開とスルツキーの定理で終わる。

スルツキーの定理：定数$a,b$と確率変数$A_{n}, B_{n} ,X_{n} , X$について$a_{n} \overset{P}{\to} a $、$ B_{n} \overset{P}{\to} b $、$ X_{n} \overset{D}{\to} X $ならば、 $$ A_{n} + B_{n} X_{n} \overset{D}{\to} a + b X $$

一般化されたデルタメソッドの証明は省略する。

$1$次のデルタメソッドの証明

$Y_{n} = \theta$の近くで、$g \left( Y_{n} \right)$は$\lim_{Y_{n} \to \theta} R \to 0$の余項$R$を持つ、 $$ g \left( Y_{n} \right) = g (\theta) + g ' (\theta) \left( Y_{n} - \theta \right) + R $$ $g(\theta)$を左辺に移動して$\sqrt{n}$を掛けると、 $$ \sqrt{n} \left[ g \left( Y_{n} \right) - g(\theta) \right] \approx g ' (\theta) \sqrt{n} \left( Y_{n} - \theta \right) $$ そして、スルツキーの定理により証明が終わる。

■

$2$次のデルタメソッドの証明

同様に、$Y_{n} = \theta$の近くで、$g \left( Y_{n} \right)$は$\lim_{Y_{n} \to \theta} R \to 0$の余項$R$を持つ、 $$ \begin{align*} g \left( Y_{n} \right) =& g (\theta) + g ' (\theta) \left( Y_{n} - \theta \right) + {{ g''(\theta) } \over { 2 }} \left( Y_{n} - \theta \right)^{2} + R \\ =& g (\theta) + 0 \cdot \left( Y_{n} - \theta \right) + {{ \sigma^{2} } \over { \sigma^{2} }} {{ g''(\theta) } \over { 2 }} \left( Y_{n} - \theta \right)^{2} + R \end{align*} $$ 再び、$g(\theta)$を左辺に移動して$n$を掛けると、 $$ n \left[ g \left( Y_{n} \right) - g (\theta) \right] \approx \sigma^{2} {{ g''(\theta) } \over { 2 }} {{ \left( Y_{n} - \theta \right)^{2} } \over { \sigma^{2}/n }} $$ そして、標準正規分布の平方がカイ二乗分布$\chi_{1}^{2}$に分布収束することで、スルツキーの定理により証明が終わる。

■