📂確率分布論

ガンマ分布

定義 ¹

$k, \theta > 0$に対して、以下の確率密度関数を持つ連続確率分布$\Gamma ( k , \theta )$をガンマ分布^{gamma distribution}と呼ぶ。 $$f(x) = {{ 1 } \over { \Gamma ( k ) \theta^{k} }} x^{k - 1} e^{ - x / \theta} \qquad , x > 0$$

---

• $\Gamma$はガンマ関数を示す。
• ガンマ分布の確率密度関数は$\alpha , \beta > 0$に対して、以下のようにも定義される。本質的には$\theta = {{ 1 } \over { \beta }}$かの違いだけだ。 $$f(x) = {{ \beta^{\alpha } } \over { \Gamma ( \alpha ) }} x^{\alpha - 1} e^{ - \beta x} \qquad , x > 0$$

基本性質

モーメント生成関数

• [1]: $$m(t) = \left( 1 - \theta t\right)^{-k} \qquad , t < {{ 1 } \over { \theta }}$$

平均と分散

• [2]: $X \sim \Gamma ( \alpha , \beta )$ならば $$\begin{align*} E(X) =& k \theta \\ \Var (X) =& k \theta^{2} \end{align*}$$

十分統計量

• [3]: ガンマ分布に従うランダムサンプル$\mathbf{X} := \left( X_{1} , \cdots , X_{n} \right) \sim \Gamma \left( k, \theta \right)$が与えられているとする。

$\left( k, \theta \right)$に対する十分統計量$T$は次の通り。 $$T = \left( \prod_{i} X_{i}, \sum_{i} X_{i} \right)$$

定理

スケーリング

• [a]: $X \sim \Gamma ( k , \theta )$ならばスカラー$c > 0$に対して$c X \sim \Gamma ( k , c \theta )$

ポアソン分布との関係

• $$\int_{\mu}^{\infty} { { z^{k-1} e^{-z} } \over { \Gamma (k) } } dz = \sum_{x=0}^{k-1} { { {\mu}^{x} e^{-\mu} } \over {x!} }$$

指数分布との関係

• [c]: $$\Gamma \left(1, { 1 \over \lambda } \right) \iff \text{exp} (\lambda)$$

カイ二乗分布との関係

• [d]: $$\Gamma \left( { r \over 2 } , 2 \right) \iff \chi ^2 (r)$$

ベータ分布導出

• [e]: 2つの確率変数$X_{1},X_{2}$が独立であり、$X_{1} \sim \Gamma ( \alpha_{1} , 1)$、$X_{2} \sim \Gamma ( \alpha_{2} , 1)$とすると $${{ X_{1} } \over { X_{1} + X_{2} }} \sim \text{beta} \left( \alpha_{1} , \alpha_{2} \right)$$

説明

ガンマ分布は、ガンマ関数にちなんで名付けられた関数であり、その確率密度関数の積分が$1$になることはオイラー積分に由来する。直感的な意味を持つというよりは、統計学的に有用な特性が多いため人為的に導入された分布である。このような分布をサンプリング分布^{sampling distribution}とも呼ばれるが、ガンマ分布は特有の形状のおかげで様々な分布へと姿を変え、多くの便利な特性を提供してくれる。

ベイズ理論

ベイジアンでは、ポアソン分布の共役事前分布として使用されることもある。

証明

[1]

$\displaystyle t < {{ 1 } \over { \theta }}$の時、$\displaystyle y := x {{ ( 1 - \theta t ) } \over { \theta }}$と置くと$\displaystyle dy = {{ ( 1 - \theta t ) } \over { \theta }} dx$であるから $$\begin{align*} m(t) =& \int_{0}^{\infty} e^{tx} {{ 1 } \over { \Gamma ( k ) \theta^{k} }} x^{k - 1} e^{ - x / \theta} dx \\ =& \int_{0}^{\infty} {{ 1 } \over { \Gamma ( k ) \theta^{k} }} x^{k - 1} e^{ x (t - 1 / \theta) } dx \\ =& \int_{0}^{\infty} {{ 1 } \over { \Gamma ( k ) \theta^{k} }} x^{k - 1} e^{ - x {{( 1 - \theta t)} \over {\theta}} } dx \\ =& \int_{0}^{\infty} {{ 1 } \over { \Gamma ( k ) \theta^{k} }} \left( {{ y \theta } \over { 1 - \theta t }} \right)^{k - 1} e^{ - y } {{ \theta } \over { 1 - \theta t }}dy \\ =& \left( {{ 1 } \over { 1 - \theta t }} \right)^{k } \int_{0}^{\infty} {{ \theta^{k} } \over { \Gamma ( k ) \theta^{k} }} y^{k-1} e^{ - y } dy \end{align*}$$ オイラー積分により、$\displaystyle \int_{0}^{\infty} {{ 1 } \over { \Gamma ( k ) }} y^{k-1} e^{ - y } dy = 1$である。 $$m(t) = \left( 1 - \theta t\right)^{-k} \qquad , t < {{ 1 } \over { \theta }}$$

■

[2]

直接演繹する。

■

[3]

直接演繹する。

[a]

$X \sim \Gamma ( k , \theta )$と$c >0$に対して$Y = c X$とすると $$\begin{align*} m_{X}(t) =& \int_{0}^{\infty} e^{tx} {{ 1 } \over { \Gamma ( k ) \theta^{k} }} x^{k - 1} e^{ - x / \theta} dx \\ =& \int_{0}^{\infty} e^{tx} {{ c^{k} } \over { \Gamma ( k ) (c\theta)^{k} }} x^{k - 1} e^{ - cx / c\theta} dx \\ =& \int_{0}^{\infty} e^{{{ t } \over { c }} cx} {{ 1 } \over { \Gamma ( k ) (c\theta)^{k} }} (cx)^{k - 1} e^{ - cx / c\theta} c dx \\ =& \int_{0}^{\infty} e^{{{ t } \over { c }} y} {{ 1 } \over { \Gamma ( k ) (c\theta)^{k} }} y^{k - 1} e^{ - y / c\theta} dy \end{align*}$$ [1]モーメント生成関数により $$\begin{align*} m_{Y}(t) =& E \left( e^{tY} \right) \\ =& E \left( e^{tcX} \right) \\ =& \int_{0}^{\infty} e^{{{ tc } \over { c }} y} {{ 1 } \over { \Gamma ( k ) (c\theta)^{k} }} y^{k - 1} e^{ - y / c\theta} dy \\ =& \int_{0}^{\infty} e^{tz} {{ 1 } \over { \Gamma ( k ) (c\theta)^{k} }} z^{k - 1} e^{ - z / c\theta} dz \\ =& (1 - c \theta)^{-k} \end{align*}$$ それ故に$Y \sim \Gamma ( k , c \theta)$である。

■

b

数学的帰納法で示す。

■

[c]

モーメント生成関数で示す。

■

[d]

モーメント生成関数で示す。

■

コード

こちらは、ガンマ分布の確率密度関数をGIFアニメで表示するJuliaのコードです。

@time using LaTeXStrings
@time using Distributions
@time using Plots

cd(@__DIR__)

x = 0:0.1:20
Θ = collect(0.1:0.1:10.0); append!(Θ, reverse(Θ))

animation = @animate for θ ∈ Θ
    plot(x, pdf.(Gamma(1, θ), x),
     color = :black,
     label = "r = 1, θ = $(rpad(θ, 4, '0'))", size = (400,300))
    xlims!(0,20); ylims!(0,0.5); title!(L"\mathrm{pmf\,of\,} \Gamma (1, \theta)")
end
gif(animation, "pdf1.gif")

animation = @animate for θ ∈ Θ
    plot(x, pdf.(Gamma(2, θ), x),
     color = :black,
     label = "r = 2, θ = $(rpad(θ, 4, '0'))", size = (400,300))
    xlims!(0,20); ylims!(0,0.5); title!(L"\mathrm{pmf\,of\,} \Gamma (2, \theta)")
end
gif(animation, "pdf2.gif")

animation = @animate for θ ∈ Θ
    plot(x, pdf.(Gamma(4, θ), x),
     color = :black,
     label = "r = 4, θ = $(rpad(θ, 4, '0'))", size = (400,300))
    xlims!(0,20); ylims!(0,0.5); title!(L"\mathrm{pmf\,of\,} \Gamma (4, \theta)")
end
gif(animation, "pdf4.gif")