📂확률분포론

파레토 분포

정의 ¹

스케일^scale 파라미터 $x_{0} > 0$ 과 쉐이프^shape 파라미터 $\alpha > 0$ 에 대해 다음과 같은 확률함수를 가지는 확률분포를 파레토 분포^{pareto distribution} 혹은 멱법칙^{power Law}, 무척도 분포^{scale-free distribution}라 한다.

1. 연속형: 상수 $\displaystyle \int_{x_{0}}^{\infty} p(x) dx = 1$ 를 만족시키는 상수 $C$ 에 대해 $$ p(x) = C x^{-\alpha} \qquad , x > x_{0} $$
2. 이산형: 리만 제타 함수 $\zeta$ 에 대해 $$ p_{k} = {{ 1 } \over { \zeta (\alpha) }} k^{-\alpha} \qquad , k \in \mathbb{N} $$

기초 성질

• [1] 적률 생성 함수: 파레토 분포의 적률생성함수는 존재하지 않는다.
• [2] 평균과 분산: $X \sim \text{Pareto} \left( x_{0}, \alpha \right)$ 면 $$ \begin{align*} E (X) =& {{ \alpha - 1 } \over { \alpha - 2 }} x_{0} & , \alpha > 2 \\ \text{Var} (X) =& {{ (\alpha - 1) } \over { \left( \alpha -2 \right)^{2} (\alpha - 3) }} x_{0}^{2} & , \alpha > 3 \end{align*} $$

정리

• [a] 무척도성: 파레토 분포는 유일한 무척도분포^{scale-free distribution}다. 다시 말해, 모든 $b$ 에 어떤 상수 $\alpha$ 가 존재해서 다음이 성립한다. $$ p(bx) = g(b) p(x) \implies p(x) = p(1) x^{-\alpha} $$
• [b] $k$차 적률: $0 < k < \alpha - 1$ 이면 $X \sim \text{Pareto} \left( x_{0} , \alpha \right)$ 는 $k$차 적률이 존재하고 $$ E X^{k} = {{ \alpha - 1 } \over { \alpha - 1 - k }} x_{0}^{k} $$

설명

파레토 분포는 이 현실세계에 만연한 불평등을 설명하는 대표적인 분포로써, 다음과 같은 개념들과 매우 밀접한 관계가 있다.

• 힙스의 법칙과 지프의 법칙: 어휘의 빈도에 관한 경험법칙이다.
• 책 판매량
• 통신량
• 지진 강도
• 크레이터의 지름
• 재산
• 인용수

확률밀도함수의 모양을 보면 쉐이프 $\alpha$ 가 크면 클수록 불평등이 극심해지는 것을 직관적으로 파악할 수 있다. 경제 상황으로 말할것 같으면, 재벌은 돈이 한도 끝도 없고 가난한 사람은 넘쳐나는 것이다.

파레토 분포가 무척도성을 가진다고 하는 이야기는 말 그대로 스케일이 없다는 것이다. 가령 푸아송분포를 따르는 두 확률 변수의 모수가 $\lambda_{1} = 10$, $\lambda_{2} = 1000$ 이라고 하면 이들은 어떤 곳을 보는지에 따라 큰 차이가 있지만, 파레토 분포는 어디를 보든 본질적으로 차이가 없기 때문이다. 수식적으로는 $b$ 가 어떤 값으로 주어지든 결론이 똑같은 것에 해당한다.

증명

[1]

확률 변수의 적률 생성 함수가 존재한다는 것은 모든 $k \in \mathbb{N}$ 에 대해 $k$차 적률이 존재한다는 것이다. 그러나 정리 [2]에서 파레토 분포의 $1$차 적률은 $\alpha > 1$ 일 때만 존재하므로 적률 생성 함수가 존재할 수 없다.

■

[2]

전략: 적률 공식 [b]를 이용한다.

---

$$ \begin{align*} EX^{1} =& {{ \alpha - 1 } \over { \alpha - 1 - 1 }} x_{0}^{1} \\ =& {{ \alpha - 1 } \over { \alpha - 2 }} x_{0}^{1} \end{align*} $$ 이고, $\displaystyle EX^{2} = {{ \alpha - 1 } \over { \alpha - 3 }} x_{0}^{2}$ 이므로 $$ \begin{align*} \text{Var} X =& {{ \alpha - 1 } \over { \alpha - 3 }} x_{0}^{2} - \left[ {{ \alpha - 1 } \over { \alpha - 2 }} x_{0}^{1} \right]^{2} \\ =& \left[ {{ 1 } \over { \alpha - 3 }} - {{ \alpha - 1 } \over { \left( \alpha - 2 \right)^{2} }} \right] (\alpha - 1) x_{0}^{2} \\ =& \left[ \alpha^{2} - 4 \alpha + 4 - \alpha^{2} + 4 \alpha - 3 \right] {{ (\alpha - 1) } \over { (\alpha - 3) \left( \alpha -2 \right)^{2} }} x_{0}^{2} \\ =& {{ (\alpha - 1) } \over { \left( \alpha -2 \right)^{2} (\alpha - 3) }} x_{0}^{2} \end{align*} $$

■

[a]

모든 $b$ 에 대해 어떤 함수 $g$ 가 존재해서 $$ p(bx) = g(b) p(x) $$ 가 성립한다고 가정하자. 여기에 $x = 1$ 을 대입해보면 $p(b) = g(b) p(1)$ 이므로, $g(b) = p(b) / p(1)$ 이고 $$ p(bx) = {{ p(b) p(x) } \over { p(1) }} $$ 이다. 이를 $b$ 에 대해 미분해보면 $$ x p '(bx) = {{ p ' (b) p(x) } \over { p(1) }} $$ 이다. $b=1$ 를 대입해보면 로그함수의 미분법을 이용한 트릭에 따라² $$ \begin{align*} & x p '(x) = {{ p ' (1) p(x) } \over { p(1) }} \\ \implies & {{ p '(x) } \over { p(x) }} = {{ p '(1) } \over { p(1) }} \cdot {{ 1 } \over { x }} \\ \implies & {{ d \log p(x) } \over { dx }} = {{ p '(1) } \over { p(1) }} \cdot {{ 1 } \over { x }} \\ \implies & d \log p(x) = {{ p '(1) } \over { p(1) }} {{ 1 } \over { x }} dx \end{align*} $$ 이는 간단한 분리가능 1계 미분방정식으로, 어떤 상수 $\text{constant}$ 에 대해 다음을 얻는다. $$ \log p(x) = {{ p '(1) } \over { p(1) }} \log x + \text{constant} $$ $x = 1$ 을 대입해보면 $\text{constant} = \log p(1)$ 임을 알 수 있다. $\displaystyle \alpha := - {{ p '(1) } \over { p(1) }}$ 이라 정의하면 우리가 원하던 다음의 식을 얻는다. $$ \begin{align*} & \log p(x) = - \alpha \log x + \log p(1) \\ \implies & \log p(x) = \log x^{-\alpha} + \log p(1) \\ \implies & \log p(x) = \log x^{-\alpha} p(1) \\ \implies & p(x) = p(1) x^{-\alpha} \end{align*} $$

■

[b]

$0 < \alpha -1$ 이므로 $\displaystyle \int_{x_{0}}^{\infty} C x^{-\alpha} dx = 1$ 에서 $C = \left( \alpha - 1 \right) x_{0}^{\alpha - 1}$ 을 얻는다. 따라서 $$ \begin{align*} E X^{k} =& \int_{x_{0}}^{\infty} x^{k} C x^{-\alpha} dx \\ =& C \int_{x_{0}}^{\infty} x^{k-\alpha} dx \\ =& \left( \alpha - 1 \right) x_{0}^{\alpha - 1} \left[ {{ 1 } \over { k - \alpha + 1 }} x^{k - \alpha + 1} \right]_{x_{0}}^{\infty} \\ =& \left( \alpha - 1 \right) x_{0}^{\alpha - 1} \left( 0 - {{ 1 } \over { k - \alpha + 1 }} x_{0}^{k - \alpha + 1} \right) \\ =& {{ \alpha - 1 } \over { \alpha - 1 - k }} x_{0}^{k} \end{align*} $$

■

시각화

다음은 파레토분포의 확률밀도함수를 움짤로 보여주는 줄리아 코드다.

@time using LaTeXStrings
@time using Distributions
@time using Plots

cd(@__DIR__)

x = 1:0.1:10
A = collect(0.5:0.01:3.5); append!(A, reverse(A))

animation = @animate for α ∈ A
    plot(x, pdf.(Pareto(α), x),
     color = :black,
     label = "α = $(round(α, digits = 2))", size = (400,300))
    xlims!(0,5); ylims!(0,4); title!(L"\mathrm{pdf\,of\,Pareto}(\alpha)")
end
gif(animation, "pdf.gif")