📂確率論

가우스 과정

定義 ¹

確率過程 $\left\{ X_{t} \right\}$ のすべての有限 部分集合 $S = \left\{ X_{t_{k}} \right\}_{k=1}^{n} \subset \left\{ X_{t} \right\}$ について、$S$ の要素のすべての線形結合 $$\sum_{k=1}^{n} a_{k} X_{t_{k}} \qquad , \left\{ a_{k} \right\}_{k=1}^{n} \subset \mathbb{R}$$ が多変量正規分布に従う場合、$\left\{ X_{t} \right\}$ はガウス過程^{Gaussian process}と呼ばれる。

説明

非専門家から見ると定義がやや数学的過ぎるかもしれないが、直感的に見ればウィーナープロセスと大きくは異ならない。ただし定義に基づいて厳密に判断すると、ウィーナープロセスはガウス過程であるがその逆は成り立たない。

幾何ブラウン運動は各時点で対数正規分布に従うため、ガウス過程ではない。

応用

ベイズ理論では事前分布そのものとして。機械学習ではランダムデータを生成するなどによく用いられる。例として、$\left[ x_{1} , x_{n} \right]$ においてガウス過程を作る手段としては次のようにガウスカーネル $k = k(u,v)$ で共分散行列 $\Sigma$ を作り、多変量正規分布からサンプリングする方法が広く使われている。 $$\begin{align*} k \left( u, v \right) =& \exp \left( - {\frac{ 1 }{ 2 }} \left( u - v \right)^{2} \right) \\ \Sigma =& \begin{bmatrix} k \left( x_{1} , x_{1} \right) & k \left( x_{1} , x_{2} \right) & \cdots & k \left( x_{1} , x_{n} \right) \\ k \left( x_{2} , x_{1} \right) & k \left( x_{2} , x_{2} \right) & \cdots & k \left( x_{2} , x_{n} \right) \\ \vdots & \vdots & \ddots & \vdots \\ k \left( x_{n} , x_{1} \right) & k \left( x_{n} , x_{2} \right) & \cdots & k \left( x_{n} , x_{n} \right) \end{bmatrix} \end{align*}$$

次に、ガウス過程をサンプリングするサンプルコードをジュリアで実装したものである。途中で $\Sigma$ にごく小さく $\varepsilon I$ を足す理由は、数値的誤差を防ぐためである。

using Distributions, LinearAlgebra, Plots

k(u, v) = exp(-abs2(u - v) / 2)
x = LinRange(-5, 5, 100)
Σ = [k(x[i],x[j],1) for i ∈ 1:100, j ∈ 1:100]
ϵ = 1e-6
Σ += ϵ*I
plot(x, [rand(MvNormal(zeros(100), Σ)) for _ in 1:10],
    legend = :none, title = "Gaussian Process", lw = 2, alpha = .5)

関連記事

• ガウス空間プロセス