カテゴリ分布
定義1
$k (\ge 2)$個のカテゴリーがあるサンプル空間$\Omega = \left\{ 1, 2, \dots, k \right\}$と確率ベクトル$\mathbf{p} = (p_{1}, \dots, p_{k})$が与えられたとき、次のような確率質量関数を持つ離散確率分布をカテゴリ分布Categorical distributionと呼ぶ。
$$ p(x = i) = p_{i}, \qquad x \in \left\{ 1, 2, \dots, k \right\} $$
説明
$k$個の各カテゴリーが発生する確率を$\mathbf{p} = (p_{1}, \dots, p_{k})$で表現する。したがって、$\mathbf{p}$は次の条件を満たさなければならない。
$$ \sum_{i=1}^{k} p_{i} = 1, \qquad p_{i} \ge 0 $$
ベルヌーイ分布を「コインを一度投げる」と例えるならば、カテゴリ分布は「サイコロを一度投げる」と例えることができる。
$\Omega = \Big\{$ $ \includegraphics[height=2em]{https://img1.daumcdn.net/thumb/R1280x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FrbQJE%2FbtsMXyblpbo%2FZMTO1PeHbafLH3g97P0q41%2Fimg.png}, \includegraphics[height=2em]{https://img1.daumcdn.net/thumb/R1280x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FxAbA3%2FbtsMW8KMCtK%2FodmS8gakkTAp7dP2Lk6JO0%2Fimg.png}, \includegraphics[height=2em]{https://img1.daumcdn.net/thumb/R1280x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FcgXAjB%2FbtsMYNLR5E3%2FIED729aUwdNa093xix0sz1%2Fimg.png}, \includegraphics[height=2em]{https://img1.daumcdn.net/thumb/R1280x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FdITnZE%2FbtsMX1qB6Eo%2FLh1bDQ0SkBl4k0PVHtjZDK%2Fimg.png}, \includegraphics[height=2em]{https://img1.daumcdn.net/thumb/R1280x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FnR6Ka%2FbtsMW7kMTqC%2FM4VQF9U2wgbCfcRKfE1KdK%2Fimg.png}, \includegraphics[height=2em]{https://img1.daumcdn.net/thumb/R1280x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2Fcsx5aP%2FbtsMXPKIgHh%2FbnXAmN8iHjFOwzhyjtcdTK%2Fimg.png} $ $\Big\}$
$$ \mathbf{p} = \left( \dfrac{1}{6}, \dfrac{1}{6}, \dfrac{1}{6}, \dfrac{1}{6}, \dfrac{1}{6}, \dfrac{1}{6} \right) $$
次のような表記法が用いられる。
$$ \operatorname{Cat}(k; p_{1}, \dots, p_{k}) = \operatorname{Cat}(k; \mathbf{p}) $$
ベルヌーイ分布からカテゴリーを$k$に一般化したものと見ることができる。ここで試行回数まで$n$回に一般化すると多項分布になる。
カテゴリー
試行回数 | $1$回 | $n$回 |
| $2$個 | ベルヌーイ分布 | 二項分布 |
| $k$個 | カテゴリ分布 | 多項分布 |
確率質量関数は次のように書くこともできる。
$$ p(j) = \prod\limits_{i=1}^{k} p_{i}^{\delta_{ji}} = \sum\limits_{i=1}^{k} \delta_{ji} p_{i}, \qquad j \in \left\{ 1, 2, \dots, k \right\} $$
$\delta_{ji}$はクロネッカーのデルタである。
一方、サンプル空間はユークリッド空間の標準基底と見ることができ、その場合、実現はそれぞれワンホットベクトルとみなせる。この場合、次を満たすランダムベクトル$\mathbf{x} = (x_{1}, \dots, x_{k})$と確率質量関数に対してカテゴリ分布を$\operatorname{Cat}(\mathbf{x}; \mathbf{p})$のように表記できる。
$$ x_{i} \in \left\{ 0, 1 \right\}, \qquad \sum_{i=1}^{k} x_{i} = 1 $$
$$ p(\mathbf{x}) = p(x_{1}, \dots, x_{k}) = \prod\limits_{i=1}^{k} p_{i}^{x_{i}} $$