📂確率分布論

カテゴリ分布

定義¹

$k (\ge 2)$個のカテゴリーがあるサンプル空間$\Omega = \left\{ 1, 2, \dots, k \right\}$と確率ベクトル$\mathbf{p} = (p_{1}, \dots, p_{k})$が与えられたとき、次のような確率質量関数を持つ離散確率分布をカテゴリ分布^{Categorical distribution}と呼ぶ。

$$p(x = i) = p_{i}, \qquad x \in \left\{ 1, 2, \dots, k \right\}$$

説明

$k$個の各カテゴリーが発生する確率を$\mathbf{p} = (p_{1}, \dots, p_{k})$で表現する。したがって、$\mathbf{p}$は次の条件を満たさなければならない。

$$\sum_{i=1}^{k} p_{i} = 1, \qquad p_{i} \ge 0$$

ベルヌーイ分布を「コインを一度投げる」と例えるならば、カテゴリ分布は「サイコロを一度投げる」と例えることができる。

$\Omega = \Big\{$ $\includegraphics[height=2em]{https://img1.daumcdn.net/thumb/R1280x0/?scode=mtistory2&fname=https\includegraphics[height=2em]{https://img1.daumcdn.net/thumb/R1280x0/?scode=mtistory2&fname=https\includegraphics[height=2em]{https://img1.daumcdn.net/thumb/R1280x0/?scode=mtistory2&fname=https\includegraphics[height=2em]{https://img1.daumcdn.net/thumb/R1280x0/?scode=mtistory2&fname=https\includegraphics[height=2em]{https://img1.daumcdn.net/thumb/R1280x0/?scode=mtistory2&fname=https\includegraphics[height=2em]{https://img1.daumcdn.net/thumb/R1280x0/?scode=mtistory2&fname=https$ $\Big\}$

$$\mathbf{p} = \left( \dfrac{1}{6}, \dfrac{1}{6}, \dfrac{1}{6}, \dfrac{1}{6}, \dfrac{1}{6}, \dfrac{1}{6} \right)$$

次のような表記法が用いられる。

$$\operatorname{Cat}(k; p_{1}, \dots, p_{k}) = \operatorname{Cat}(k; \mathbf{p})$$

ベルヌーイ分布からカテゴリーを$k$に一般化したものと見ることができる。ここで試行回数まで$n$回に一般化すると多項分布になる。

カテゴリー 試行回数	$1$回	$n$回
$2$個	ベルヌーイ分布	二項分布
$k$個	カテゴリ分布	多項分布

確率質量関数は次のように書くこともできる。

$$p(j) = \prod\limits_{i=1}^{k} p_{i}^{\delta_{ji}} = \sum\limits_{i=1}^{k} \delta_{ji} p_{i}, \qquad j \in \left\{ 1, 2, \dots, k \right\}$$

$\delta_{ji}$はクロネッカーのデルタである。

一方、サンプル空間はユークリッド空間の標準基底と見ることができ、その場合、実現はそれぞれワンホットベクトルとみなせる。この場合、次を満たすランダムベクトル$\mathbf{x} = (x_{1}, \dots, x_{k})$と確率質量関数に対してカテゴリ分布を$\operatorname{Cat}(\mathbf{x}; \mathbf{p})$のように表記できる。

$$x_{i} \in \left\{ 0, 1 \right\}, \qquad \sum_{i=1}^{k} x_{i} = 1$$

$$p(\mathbf{x}) = p(x_{1}, \dots, x_{k}) = \prod\limits_{i=1}^{k} p_{i}^{x_{i}}$$