logo

ラプラス分布の最尤推定量 📂確率分布論

ラプラス分布の最尤推定量

定理

ラプラス分布に従うランダムサンプル X:=(X1,,Xn)Laplace(μ,b)\mathbf{X} := \left( X_{1} , \cdots , X_{n} \right) \sim \operatorname{Laplace}(\mu, b)が与えられているとする。

(μ,b)(\mu, b)に対する最尤推定量 (μ^,b^)(\hat{\mu}, \hat{b})は次の通り。

μ^=median(x1,,xn) \hat{\mu} = \text{median}(\mathbf{x}_{1}, \cdots, \mathbf{x}_{n})

b^=1nk=1nxkμ \hat{b} = \dfrac{1}{n} \sum\limits_{k=1}^{n} |x_{k} - \mu|

証明

ラプラス分布:

μR\mu \in \mathbb{R}b>0b > 0に対して、次のような確率密度関数を持つ連続確率分布 Laplace(μ,b)\operatorname{Laplace}(\mu, b)ラプラス分布Laplace distributionと呼ぶ。

f(x)=12bexp(xμb) f(x) = \dfrac{1}{2b} \exp \left( -\dfrac{|x - \mu|}{b} \right)

ログ尤度を求めると次の通りになる。

logL(μ,b;x)=logf(x;μ,b)=logk=1nf(xk;μ,b)=k=1nlogf(xk;μ,b)=k=1nlog(12bexp(xkμb))=nlog2b1bk=1nxkμ \begin{align*} \log L(\mu, b ; \mathbf{x}) &= \log f(\mathbf{x}; \mu, b) = \log \prod\limits_{k=1}^{n} f(x_{k}; \mu, b) \\ &= \sum\limits_{k=1}^{n} \log f(x_{k}; \mu, b) \\ &= \sum\limits_{k=1}^{n} \log \left( \dfrac{1}{2b} \exp \left( -\dfrac{|x_{k} - \mu|}{b} \right) \right) \\ &= -n \log 2b - \dfrac{1}{b} \sum\limits_{k=1}^{n} |x_{k} - \mu| \end{align*}

したがって、 arg maxμlogL(μ,b;x)\argmax\limits_{\mu} \log L(\mu, b; \mathbf{x})を求めると、

arg maxμ(nlog2b1bk=1nxkμ)=arg maxμ(k=1nxkμ)=arg minμ(k=1nxkμ) \begin{align*} \argmax_{\mu} \left( -n \log 2b - \dfrac{1}{b} \sum\limits_{k=1}^{n} |x_{k} - \mu| \right) &= \argmax_{\mu} \left( -\sum\limits_{k=1}^{n} |x_{k} - \mu| \right) \\ &= \argmin_{\mu} \left( \sum\limits_{k=1}^{n} |x_{k} - \mu| \right) \\ \end{align*}

絶対値を最小化するのは中央値なので、

μ^=median(x1,,xn) \hat{\mu} = \text{median}(\mathbf{x}_{1}, \cdots, \mathbf{x}_{n})

また、arg maxblogL(μ,b;x)\argmax\limits_{b} \log L(\mu, b; \mathbf{x})は次を満たす bbである。

blogL(μ,b;x)=0 \dfrac{\partial}{\partial b} \log L(\mu, b; \mathbf{x}) = 0

    n1b+1b2k=1nxkμ=0 \implies -n\dfrac{1}{b} + \dfrac{1}{b^{2}} \sum\limits_{k=1}^{n} |x_{k} - \mu| = 0

    b=1nk=1nxkμ \implies b = \dfrac{1}{n} \sum\limits_{k=1}^{n} |x_{k} - \mu|

    b^=1nk=1nxkμ \implies \hat{b} = \dfrac{1}{n} \sum\limits_{k=1}^{n} |x_{k} - \mu|