📂確率分布論

二項分布

定義 ¹

連続型

$[a,b] \subset \mathbb{R}$に対して、次のような確率密度関数を持つ連続確率分布 $U(a,b)$を一様分布という。 $$f(x) = {{ 1 } \over { b - a }} \qquad , x \in [a,b]$$

離散型

有限集合 $\left\{ x_{k} \right\}_{k=1}^{n}$に対して、次のような確率質量関数を持つ離散確率分布を一様分布という。 $$p \left( x_{k} \right) = P \left( X = x_{k} \right) = {{ 1 } \over { n }} \qquad , k = 1, \cdots , n$$

説明

一般に一様分布は均一分布とも呼ばれる。離散一様分布の代表的な例として$x_{k} = k$のようなサイコロがあり、この場合、数理的な性質にはあまり関心を持つ必要がないことが多い。特に断りがない限り、一様分布は連続離散分布を指す。

一様分布が重要な理由は、特別な理由があるというより、我々が考えうる最もシンプルな分布だからである。分布理論に慣れ親しんだ統計学の学生にはあまりにも素朴に見えるかもしれないが、まだ数学や人工知能などの分野で思ったよりも広く使われている。

情報理論

情報理論の視点では非常に重要な分布で、離散型でも連続型でもシャノンエントロピーが最大化される分布だからである。考えてみれば、他の分布は確率関数で高低があっても、一様分布はサンプルがどうなるかのヒントすらないので、当然のことである。

離散型でエントロピーが最大化されることは、ラグランジュ乗数法にとっても良い例である。

基本性質

モーメント生成関数

• [1]: $$m(t) = {{ e^{tb} - e^{ta} } \over { t(b-a) }}$$

平均と分散

• [2]: $X \sim U(a,b)$なら $$E(X) = {{ a+b } \over { 2 }} \\ \Var(X) = {{ (b-a)^{2} } \over { 12 }}$$

十分統計量と最尤推定量

• [3]: ランダムサンプル $\mathbf{X} := \left( X_{1} , \cdots , X_{n} \right) \sim U \left( 0 , \theta \right)$が与えられたとする。

$\theta$の十分統計量 $T$と最尤推定量 $\hat{\theta}$は次の通りである。 $$\begin{align*} T =& \max_{k=1 , \cdots , n} X_{k} \\ \hat{\theta} =& \max_{k=1 , \cdots , n} X_{k} \end{align*}$$

証明

[1]

$$\begin{align*} m(t) = \int_{a}^{b} e^{tx} {{ 1 } \over { b-a }} dx =& {{ 1 } \over { b-a }} \left[ {{ 1 } \over { t }} e^{tx} \right]_{a}^{b} \\ =& {{ e^{tb} - e^{ta} } \over { t(b-a) }} \end{align*}$$

■

[2]

直接演繹する。

■

[3]

直接演繹する。

■