정규분포
📂확률분포론 정규분포 정의
평균 μ ∈ R \mu \in \mathbb{R} μ ∈ R σ 2 > 0 \sigma^{2} > 0 σ 2 > 0 연속 확률 분포 N ( μ , σ 2 ) N \left( \mu,\sigma^{2} \right) N ( μ , σ 2 ) 정규 분포 normal distribution 라고 한다.
f ( x ) = 1 2 π σ exp [ − 1 2 ( x − μ σ ) 2 ] , x ∈ R
f(x) = {{ 1 } \over { \sqrt{2 \pi} \sigma }} \exp \left[ - {{ 1 } \over { 2 }} \left( {{ x - \mu } \over { \sigma }} \right)^{2} \right] \qquad, x \in \mathbb{R}
f ( x ) = 2 π σ 1 exp [ − 2 1 ( σ x − μ ) 2 ] , x ∈ R
특히 다음과 같은 확률 밀도를 함수를 가지는 정규분포 N ( 0 , 1 2 ) N \left( 0,1^{2} \right) N ( 0 , 1 2 ) 표준정규분포 라고 한다.
f ( z ) = 1 2 π exp [ − z 2 2 ]
f(z) = {{ 1 } \over { \sqrt{2 \pi} }} \exp \left[ - {{ z^{2} } \over { 2 }} \right]
f ( z ) = 2 π 1 exp [ − 2 z 2 ]
설명 정규분포의 다른 이름으로는 가우스 분포 Gaussian distribution 가 있다. 역사적으로는 가우스가 1809년 최소제곱법 에 대한 연구에서 정규분포를 소개함으로써 널리 알려지게 되었다. 정규분포의 실체를 처음으로 깨달은 사람이 가우스라고 단언할 수는 없지만, 가우스는 정규분포의 별칭이 될 자격이 있다.
1794년, 고작 열일곱살이었던 가우스는 일상이나 연구에서 접할 수 있는 측정값들에서 참값을 구하는 방법에 대한 영감을 떠올렸다. 가우스는 자주 다니는 길에서 자기 발걸음수를 세며 데이터를 모으고, 그 데이터를 그래프로 그려 종형의 곡선을 얻었다. 아직 히스토그램이라는 개념이 없던 시대의 발견인데, 가우스 스스로는 이러한 정규분포와 최소제곱법의 개념이 이미 널리 알려져있어 다들 사용하는 기술이라고 생각했었다가우스 적분 이 쓰이기도 한다.
이후 정규분포는 널리 연구되어 과학 전반에 없어서는 안 될 툴이 되었다. 그만큼 친숙하다보니 문외한들은 통계학이란 결국 데이터가 정규분포를 따른다고 가정하고 평균 분산 구하면 끝이 아니냐는 착각을 하곤한다. 만약 그러한 과소평가가 통계학과 진학으로 이어졌다면 가슴 아픈 일이지만, 비전공자에게는 그 정도 설명이면 충분할지도 모르겠다. 그만큼 정규분포가 중요하고 강력하다는 뜻에서 하는 말이다.
기초 성질 적률 생성 함수 [1]: m ( t ) = exp ( μ t + σ 2 t 2 2 ) , t ∈ R m(t) = \exp \left( \mu t + {{ \sigma^{2} t^{2} } \over { 2 }} \right) \qquad , t \in \mathbb{R} m ( t ) = exp ( μ t + 2 σ 2 t 2 ) , t ∈ R [2] : X ∼ N ( μ , σ 2 ) X \sim N\left( \mu , \sigma^{2} \right) X ∼ N ( μ , σ 2 ) E ( X ) = μ Var ( X ) = σ 2
\begin{align*}
E(X) =& \mu
\\ \operatorname{Var} (X) =& \sigma^{2}
\end{align*}
E ( X ) = Var ( X ) = μ σ 2 [3] :정규분포 를 따르는 랜덤샘플 X : = ( X 1 , ⋯ , X n ) ∼ N ( μ , σ 2 ) \mathbf{X} := \left( X_{1} , \cdots , X_{n} \right) \sim N \left( \mu , \sigma^{2} \right) X := ( X 1 , ⋯ , X n ) ∼ N ( μ , σ 2 ) ( μ , σ 2 ) \left( \mu, \sigma^{2} \right) ( μ , σ 2 ) 충분통계량 T T T 최대우도추정량 ( μ ^ , σ 2 ^ ) \left( \hat{\mu}, \widehat{\sigma^{2}} \right) ( μ ^ , σ 2 ) T = ( ∑ k X k , ∑ k X k 2 ) ( μ ^ , σ 2 ^ ) = ( 1 n ∑ k X k , 1 n ∑ k ( X k − X ‾ ) 2 )
\begin{align*}
T =& \left( \sum_{k} X_{k}, \sum_{k} X_{k}^{2} \right)
\\ \left( \hat{\mu}, \widehat{\sigma^{2}} \right) =& \left( {{ 1 } \over { n }} \sum_{k} X_{k}, {{ 1 } \over { n }} \sum_{k} \left( X_{k} - \overline{X} \right)^{2} \right)
\end{align*}
T = ( μ ^ , σ 2 ) = ( k ∑ X k , k ∑ X k 2 ) ( n 1 k ∑ X k , n 1 k ∑ ( X k − X ) 2 )
엔트로피 [4] : (자연로그를 택했을 때) 정규분포의 엔트로피는 다음과 같다.
H = ln 2 π e σ 2
H = \ln \sqrt{2\pi e \sigma^{2}}
H = ln 2 π e σ 2 정리 정규분포가 구체적으로 왜 중요한지는 긴 말도 필요없고, 다음과 같이 그저 정리들을 나열하는 것만으로도 충분하다. 보아라.
[a]: { X k } k = 1 n \left\{ X_{k} \right\}_{k=1}^{n} { X k } k = 1 n iid 확률 변수 들이고 확률분포 ( μ , σ 2 ) \left( \mu, \sigma^2 \right) ( μ , σ 2 ) n → ∞ n \to \infty n → ∞ n X ‾ n − μ σ → D N ( 0 , 1 )
\sqrt{n} {{ \overline{X}_n - \mu } \over {\sigma}} \overset{D}{\to} N (0,1)
n σ X n − μ → D N ( 0 , 1 ) [b]: X ∼ N ( μ , σ 2 ) X \sim N(\mu,\sigma ^2) X ∼ N ( μ , σ 2 ) V = ( X − μ σ ) 2 ∼ χ 2 ( 1 )
V=\left( { X - \mu \over \sigma} \right) ^2 \sim \chi ^2 (1)
V = ( σ X − μ ) 2 ∼ χ 2 ( 1 ) [c]: X i ∼ B ( 1 , p ) X_i \sim B(1,p) X i ∼ B ( 1 , p ) Y n = X 1 + X 2 + ⋯ + X n Y_n = X_1 + X_2 + \cdots + X_n Y n = X 1 + X 2 + ⋯ + X n Y n ∼ B ( n , p ) Y_n \sim B(n,p) Y n ∼ B ( n , p ) Y n − n p n p ( 1 − p ) → D N ( 0 , 1 )
{ { Y_n - np } \over {\sqrt{ np(1-p) } } }\overset{D}{\to} N(0,1)
n p ( 1 − p ) Y n − n p → D N ( 0 , 1 ) [d]: X n ∼ Poi ( n ) X_{n} \sim \text{Poi} \left( n \right) X n ∼ Poi ( n ) Y n : = X n − n n \displaystyle Y_{n} := {{ X_{n} - n } \over { \sqrt{n} }} Y n := n X n − n Y n → D N ( 0 , 1 )
Y_{n} \overset{D}{\to} N(0,1)
Y n → D N ( 0 , 1 ) [e]: T n ∼ t ( n ) T_n \sim t(n) T n ∼ t ( n ) T n → D N ( 0 , 1 )
T_n \ \overset{D}{\to} N(0,1)
T n → D N ( 0 , 1 ) [f]: 두 확률 변수 W , V W,V W , V 독립 이고 W ∼ N ( 0 , 1 ) W \sim N(0,1) W ∼ N ( 0 , 1 ) V ∼ χ 2 ( r ) V \sim \chi^{2} (r) V ∼ χ 2 ( r ) T = W V / r ∼ t ( r )
T = { {W} \over {\sqrt{V/r} } } \sim t(r)
T = V / r W ∼ t ( r ) 증명 전략: 가우스 적분을 사용할 수 있게끔 지수 부분을 완전제곱꼴로 만들어 표준정규분포의 적률생성함수부터 유도하고, 치환으로 정규분포의 적률생성함수를 얻는다.
가우스 적분 :
∫ − ∞ ∞ e − x 2 d x = π
\int_{-\infty}^{\infty} e^{-x^2} dx= \sqrt{\pi}
∫ − ∞ ∞ e − x 2 d x = π
[1] Z : = X − μ σ ∼ N ( 0 , 1 ) \displaystyle Z := {{ X - \mu } \over { \sigma }} \sim N(0,1) Z := σ X − μ ∼ N ( 0 , 1 )
m Z ( t ) = ∫ − ∞ ∞ exp ( t z ) 1 2 π exp [ − 1 2 z 2 ] d z = 1 π ∫ − ∞ ∞ 1 2 exp [ − 1 2 z 2 + t z ] d z = 1 π ∫ − ∞ ∞ 1 2 exp [ − 1 2 ( z − t ) 2 + t 2 2 ] d z = 1 π ∫ − ∞ ∞ 1 2 exp [ − 1 2 ( z − t ) 2 ] exp [ t 2 2 ] d z = exp [ t 2 2 ] 1 π ∫ − ∞ ∞ 1 2 exp [ − w 2 ] 2 d w = exp [ t 2 2 ]
\begin{align*}
m_{Z}(t) =& \int_{-\infty}^{\infty} \exp (tz) {{ 1 } \over { \sqrt{2 \pi} }} \exp \left[ - {{ 1 } \over { 2 }} z^{2} \right] dz
\\ =& {{ 1 } \over { \sqrt{\pi} }} \int_{-\infty}^{\infty} {{ 1 } \over { \sqrt{2} }} \exp \left[ - {{ 1 } \over { 2 }} z^{2} + tz \right] dz
\\ =& {{ 1 } \over { \sqrt{\pi} }} \int_{-\infty}^{\infty} {{ 1 } \over { \sqrt{2} }} \exp \left[ - {{ 1 } \over { 2 }} \left( z - t \right)^{2} + {{ t^{2} } \over { 2 }} \right] dz
\\ =& {{ 1 } \over { \sqrt{\pi} }} \int_{-\infty}^{\infty} {{ 1 } \over { \sqrt{2} }} \exp \left[ - {{ 1 } \over { 2 }} \left( z - t \right)^{2} \right] \exp \left[ {{ t^{2} } \over { 2 }} \right] dz
\\ =& \exp \left[ {{ t^{2} } \over { 2 }} \right] {{ 1 } \over { \sqrt{\pi} }} \int_{-\infty}^{\infty} {{ 1 } \over { \sqrt{2} }} \exp \left[ - w^{2} \right] \sqrt{2} dw
\\ =& \exp \left[ {{ t^{2} } \over { 2 }} \right]
\end{align*}
m Z ( t ) = = = = = = ∫ − ∞ ∞ exp ( t z ) 2 π 1 exp [ − 2 1 z 2 ] d z π 1 ∫ − ∞ ∞ 2 1 exp [ − 2 1 z 2 + t z ] d z π 1 ∫ − ∞ ∞ 2 1 exp [ − 2 1 ( z − t ) 2 + 2 t 2 ] d z π 1 ∫ − ∞ ∞ 2 1 exp [ − 2 1 ( z − t ) 2 ] exp [ 2 t 2 ] d z exp [ 2 t 2 ] π 1 ∫ − ∞ ∞ 2 1 exp [ − w 2 ] 2 d w exp [ 2 t 2 ]
그러면 X ∼ N ( μ , σ 2 ) X \sim N \left( \mu , \sigma^{2} \right) X ∼ N ( μ , σ 2 )
m X ( t ) = E [ exp ( t X ) ] = E [ exp ( t ( σ Z + μ ) ) ] = exp ( μ t ) E [ exp ( t σ Z ) ] = exp ( μ t ) exp ( t 2 σ 2 2 ) = exp ( μ t + σ 2 t 2 2 )
\begin{align*}
m_{X}(t) =& E \left[ \exp ( t X ) \right]
\\ =& E \left[ \exp \left( t (\sigma Z + \mu) \right) \right]
\\ =& \exp(\mu t) E \left[ \exp \left( t \sigma Z \right) \right]
\\ =& \exp(\mu t) \exp \left( {{ t^{2} \sigma^{2} } \over { 2 }} \right)
\\ =& \exp \left( \mu t + {{ \sigma^{2} t^{2} } \over { 2 }} \right)
\end{align*}
m X ( t ) = = = = = E [ exp ( tX ) ] E [ exp ( t ( σ Z + μ ) ) ] exp ( μ t ) E [ exp ( t σ Z ) ] exp ( μ t ) exp ( 2 t 2 σ 2 ) exp ( μ t + 2 σ 2 t 2 )
■
[2] 적률생성함수로 직접연역한다.
[3] 직접연역한다.
■
[4] 직접연역한다.
■
[a] 모먼트 메소드를 응용한다.
■
[b] 확률밀도함수로 직접 유도한다. 감마함수와 감마분포, 카이제곱분포 사이의 관계가 쓰인다.
■
[c] 중심극한정리로 보인다.
■
[d] 적률생성함수로 보인다.
■
[e] 쉽지 않다. 스털링 근사를 통해 확률밀도함수가 수렴함을 보인다.
■
[f] 쉬운데 복잡하다. 확률밀도함수로 직접 연역한다.
■
코드 다음은 코시분포, t-분포 , 코시분포의 확률밀도함수를 보여주는 줄리아 코드다.
@time using LaTeXStrings
@time using Distributions
@time using Plots
cd(@__DIR__ )
x = -4 :0.1 :4
plot(x, pdf.(Cauchy(), x),
color = :red,
label = "Cauchy" , size = (400 ,300 ))
plot!(x, pdf.(TDist(3 ), x),
color = :orange,
label = "t(3)" , size = (400 ,300 ))
plot!(x, pdf.(TDist(30 ), x),
color = :black, linestyle = :dash,
label = "t(30)" , size = (400 ,300 ))
plot!(x, pdf.(Normal(), x),
color = :black,
label = "Standard Normal" , size = (400 ,300 ))
xlims!(-4 ,5 ); ylims!(0 ,0.5 ); title!(L"\mathrm{pdf\,of\, t}(\nu)" )
png("pdf" )
