📂確率分布論

ベータ分布

定義 ¹

$\alpha , \beta > 0$について、次のような確率密度関数をもつ連続確率分布$\text{Beta}(\alpha,\beta)$をベータ分布^{beta distribution}と言う。 $$ f(x) = {{ 1 } \over { B(\alpha,\beta) }} x^{\alpha - 1} (1-x)^{\beta - 1} \qquad , x \in [0,1] $$

---

• $B$はベータ関数を示している。

基本性質

モーメント生成関数

• [1]: $$m(t) = 1 + \sum_{k=1}^{\infty} \left( \prod_{r=0}^{k-1} {{ \alpha + r } \over { \alpha + \beta + r }} {{ t^{k} } \over { k! }} \right) \qquad , t \in \mathbb{R}$$

平均と分散

• [2]: $X \sim \text{Beta}(\alpha,\beta)$ならば $$ \begin{align*} E(X) =& {\alpha \over {\alpha + \beta} } \\ \operatorname{Var} (X) =& { { \alpha \beta } \over {(\alpha + \beta + 1) { ( \alpha + \beta ) }^2 } } \end{align*} $$

十分統計量

• [3]: ベータ分布に従うランダムサンプル$\mathbf{X} := \left( X_{1} , \cdots , X_{n} \right) \sim \text{Beta} \left( \alpha, \beta \right)$が与えられているとする。

$\left( \alpha, \beta \right)$に対する十分統計量$T$は以下のようである。 $$ T = \left( \prod_{i} X_{i}, \prod_{i} \left( 1 - X_{i} \right) \right) $$

定理

ガンマ分布からの導出

• [a]: 二つの確率変数$X_{1},X_{2}$が独立であり、$X_{1} \sim \Gamma ( \alpha_{1} , 1)$、$X_{2} \sim \Gamma ( \alpha_{2} , 1)$であるとすると $$ {{ X_{1} } \over { X_{1} + X_{2} }} \sim \text{beta} \left( \alpha_{1} , \alpha_{2} \right) $$

F分布からの導出

• [b]: 自由度$r_{1} , r_{2}$のF分布に従う確率変数$X \sim F \left( r_{1}, r_{2} \right)$について、定義された$Y$はベータ分布に従う。 $$ Y := {{ \left( r_{1} / r_{2} \right) X } \over { 1 + \left( r_{1} / r_{2} \right) X }} \sim \text{Beta} \left( {{ r_{1} } \over { 2 }} , {{ r_{2} } \over { 2 }} \right) $$

説明

ガンマ分布がガンマ関数から来たように、ベータ分布もベータ関数から名前がついた分布だ。ベータ関数は次のようにガンマ関数との関係を持っており、ガンマ関数で表すことができる。 $$ B(p,q) = {{\Gamma (p) \Gamma (q)} \over {\Gamma (p+q) }} $$ 実際に、ガンマ分布はベータ分布を導出することができる。

ベータ関数が二項係数の一般化と考えられるように、ベータ分布の確率密度関数をよく観察すると、その形状が二項分布の確率質量関数$P(k) = { _n {C} _k }{ p ^ k }{ (1-p) ^ { n - k } }$に似ていることがわかる。正確にベータ分布の定義に一致するわけではないが、$\alpha$を成功回数、$\beta$を失敗回数と考えると、 $$ n = \alpha + \beta \\ \displaystyle p = {{\alpha } \over {\alpha + \beta}} \\ \displaystyle q = {{\beta } \over {\alpha + \beta}} $$ 似た感じがする。実際に、ベイズでは二項分布の共役事前分布としても使われる。

証明

[1]

式が複雑だが、論理的に難しい部分はない。

指数関数の級数展開: $$ { { e ^ x } }=\sum _{ n=0 }^{ \infty }{ \frac { { x } ^{ n } }{ n! } } $$

オイラー積分: $$ B(p,q)=\int_0^1 t^{p-1}(1-t)^{q-1}dt $$

$$ \begin{align*} m(t) =& \int_{0}^{1} e^{tx} {{ 1 } \over { B(\alpha,\beta) }} x^{\alpha - 1} (1-x)^{\beta - 1} dx \\ =& {{ 1 } \over { B(\alpha,\beta) }} \int_{0}^{1} \left( \sum_{k=0}^{\infty} {{ (tx)^{k} } \over { k! }} \right) x^{\alpha - 1} (1-x)^{\beta - 1} dx \\ =& {{ 1 } \over { B(\alpha,\beta) }} \sum_{k=0}^{\infty} {{ t^{k} } \over { k! }} \int_{0}^{1} x^{\alpha + k - 1} (1-x)^{\beta - 1} dx \\ =& {{ 1 } \over { B(\alpha,\beta) }} \sum_{k=0}^{\infty} {{ t^{k} } \over { k! }} B \left( \alpha + k , \beta \right) \\ =& \sum_{k=0}^{\infty} {{ t^{k} } \over { k! }} {{ B \left( \alpha + k , \beta \right) } \over { B(\alpha,\beta) }} \\ =& {{ t^{0} } \over { 0! }} {{ B \left( \alpha + 0 , \beta \right) } \over { B(\alpha,\beta) }} + \sum_{k=1}^{\infty} {{ t^{k} } \over { k! }} {{ B \left( \alpha + k , \beta \right) } \over { B(\alpha,\beta) }} \end{align*} $$

ベータ関数とガンマ関数の関係: $$B(p,q) = {{\Gamma (p) \Gamma (q)} \over {\Gamma (p+q) }}$$

ベータ関数をガンマ関数で展開すると

$$ \begin{align*} m(t) =& 1 + \sum_{k=1}^{\infty} {{ t^{k} } \over { k! }} {{ B \left( \alpha + k , \beta \right) } \over { B(\alpha,\beta) }} \\ =& 1 + \sum_{k=1}^{\infty} {{ t^{k} } \over { k! }} {{ \Gamma ( \alpha + k ) \Gamma ( \beta ) } \over { \Gamma \left( \alpha + \beta + k \right) }} {{ \Gamma ( \alpha + \beta ) } \over { \Gamma \left( \alpha \right) \Gamma \left( \beta \right) }} \\ =& 1 + \sum_{k=1}^{\infty} {{ t^{k} } \over { k! }} {{ \Gamma ( \alpha + k ) } \over { \Gamma \left( \alpha + \beta + k \right) }} {{ \Gamma ( \alpha + \beta ) } \over { \Gamma \left( \alpha \right) }} \\ =& 1 + \sum_{k=1}^{\infty} {{ t^{k} } \over { k! }} {{ \Gamma ( \alpha + k ) } \over { \Gamma \left( \alpha \right) }} {{ \Gamma ( \alpha + \beta ) } \over { \Gamma \left( \alpha + \beta + k \right) }} \\ =& 1 + \sum_{k=1}^{\infty} {{ t^{k} } \over { k! }} {{ \Gamma ( \alpha ) \prod_{r=0}^{k-1} ( \alpha + r) } \over { \Gamma \left( \alpha \right) }} {{ \Gamma ( \alpha + \beta ) } \over { \Gamma \left( \alpha + \beta \right) \prod_{r=0}^{k-1} ( \alpha + \beta + r) }} \\ =& 1 + \sum_{k=1}^{\infty} {{ t^{k} } \over { k! }} \prod_{r=0}^{k-1} {{ \alpha + r } \over { \alpha + \beta + r }} \end{align*} $$

■

[2]

直接導く。

■

[3]

$(1 - x)$で何か気持ち悪さがあるかもしれないが、ただ直接導く。

[a]

確率密度関数を使って直接導く。

■

[b]

確率密度関数を使って直接導く。

■

コード

以下は、ベータ分布の確率密度関数をGIFで示すJuliaコードである。

@time using LaTeXStrings
@time using Distributions
@time using Plots

cd(@__DIR__)

x = 0:0.01:1
B = collect(0.1:0.1:10.0); append!(B, reverse(B))

animation = @animate for β ∈ B
    plot(x, pdf.(Beta(0.5, β), x),
     color = :black,
     label = "α = 0.5, β = $(rpad(β, 3, '0'))", size = (400,300))
    xlims!(0,1); ylims!(0,5); title!(L"\mathrm{pmf\,of\,Beta} (0.5, \beta)")
end
gif(animation, "pdf0.gif")

animation = @animate for β ∈ B
    plot(x, pdf.(Beta(1, β), x),
     color = :black,
     label = "α = 1, β = $(rpad(β, 3, '0'))", size = (400,300))
    xlims!(0,1); ylims!(0,5); title!(L"\mathrm{pmf\,of\,Beta} (1, \beta)")
end
gif(animation, "pdf1.gif")

animation = @animate for β ∈ B
    plot(x, pdf.(Beta(2, β), x),
     color = :black,
     label = "α = 2, β = $(rpad(β, 3, '0'))", size = (400,300))
    xlims!(0,1); ylims!(0,5); title!(L"\mathrm{pmf\,of\,Beta} (2, \beta)")
end
gif(animation, "pdf2.gif")