logo

라플라스분포의 최대우도추정량 📂확률분포론

라플라스분포의 최대우도추정량

정리

라플라스분포를 따르는 랜덤샘플 X:=(X1,⋯ ,Xn)∼Laplace⁡(μ,b)\mathbf{X} := \left( X_{1} , \cdots , X_{n} \right) \sim \operatorname{Laplace}(\mu, b)가 주어져 있다고 하자.

(μ,b)(\mu, b)에 대한 최대우도추정량 (μ^,b^)(\hat{\mu}, \hat{b})는 다음과 같다.

μ^=median(x1,⋯ ,xn) \hat{\mu} = \text{median}(\mathbf{x}_{1}, \cdots, \mathbf{x}_{n})

b^=1n∑k=1n∣xk−μ∣ \hat{b} = \dfrac{1}{n} \sum\limits_{k=1}^{n} |x_{k} - \mu|

증명

라플라스 분포:

μ∈R\mu \in \mathbb{R}와 b>0b > 0에 대해, 다음과 같은 확률밀도함수를 가지는 연속확률분포 Laplace⁡(μ,b)\operatorname{Laplace}(\mu, b)를 라플라스 분포Laplace distribution라고 한다.

f(x)=12bexp⁡(−∣x−μ∣b) f(x) = \dfrac{1}{2b} \exp \left( -\dfrac{|x - \mu|}{b} \right)

로그 우도를 구해보면 다음과 같다.

log⁡L(μ,b;x)=log⁡f(x;μ,b)=log⁡∏k=1nf(xk;μ,b)=∑k=1nlog⁡f(xk;μ,b)=∑k=1nlog⁡(12bexp⁡(−∣xk−μ∣b))=−nlog⁡2b−1b∑k=1n∣xk−μ∣ \begin{align*} \log L(\mu, b ; \mathbf{x}) &= \log f(\mathbf{x}; \mu, b) = \log \prod\limits_{k=1}^{n} f(x_{k}; \mu, b) \\ &= \sum\limits_{k=1}^{n} \log f(x_{k}; \mu, b) \\ &= \sum\limits_{k=1}^{n} \log \left( \dfrac{1}{2b} \exp \left( -\dfrac{|x_{k} - \mu|}{b} \right) \right) \\ &= -n \log 2b - \dfrac{1}{b} \sum\limits_{k=1}^{n} |x_{k} - \mu| \end{align*}

따라서 arg max⁡μlog⁡L(μ,b;x)\argmax\limits_{\mu} \log L(\mu, b; \mathbf{x})를 구해보면,

arg max⁡μ(−nlog⁡2b−1b∑k=1n∣xk−μ∣)=arg max⁡μ(−∑k=1n∣xk−μ∣)=arg min⁡μ(∑k=1n∣xk−μ∣) \begin{align*} \argmax_{\mu} \left( -n \log 2b - \dfrac{1}{b} \sum\limits_{k=1}^{n} |x_{k} - \mu| \right) &= \argmax_{\mu} \left( -\sum\limits_{k=1}^{n} |x_{k} - \mu| \right) \\ &= \argmin_{\mu} \left( \sum\limits_{k=1}^{n} |x_{k} - \mu| \right) \\ \end{align*}

절댓값을 최소화하는 것은 중앙값이므로,

μ^=median(x1,⋯ ,xn) \hat{\mu} = \text{median}(\mathbf{x}_{1}, \cdots, \mathbf{x}_{n})

또한 arg max⁡blog⁡L(μ,b;x)\argmax\limits_{b} \log L(\mu, b; \mathbf{x})는 다음을 만족하는 bb이다.

∂∂blog⁡L(μ,b;x)=0 \dfrac{\partial}{\partial b} \log L(\mu, b; \mathbf{x}) = 0

  ⟹  −n1b+1b2∑k=1n∣xk−μ∣=0 \implies -n\dfrac{1}{b} + \dfrac{1}{b^{2}} \sum\limits_{k=1}^{n} |x_{k} - \mu| = 0

  ⟹  b=1n∑k=1n∣xk−μ∣ \implies b = \dfrac{1}{n} \sum\limits_{k=1}^{n} |x_{k} - \mu|

  ⟹  b^=1n∑k=1n∣xk−μ∣ \implies \hat{b} = \dfrac{1}{n} \sum\limits_{k=1}^{n} |x_{k} - \mu|

■