피어슨 상관계수
📂수리통계학 피어슨 상관계수 정의 두 확률변수 X , Y X, Y X , Y ρ = ρ ( X , Y ) \rho = \rho (X,Y) ρ = ρ ( X , Y ) 피어슨 상관계수 pearson Correlation 라고 한다.
ρ = Cov ( X , Y ) σ X σ Y
\rho = { {\operatorname{Cov} (X,Y)} \over {\sigma_X \sigma_Y} }
ρ = σ X σ Y Cov ( X , Y )
σ X \sigma_{X} σ X σ Y \sigma_{Y} σ Y X X X Y Y Y 표준편차 다.설명 (피어슨) 상관 계수 (Pearson) Correlation Coefficient 는 두 변수가 서로 (선형) 상관 관계 를 가지고 있는지를 확인하는 척도가 된다. 1 1 1 – 1 –1 –1 0 0 0
주의할 것은 상관관계와 독립이 같은 개념이 아니라는 것이다. 상관관계는 오직 두 변수가 직선형의 그래프를 그리는지만 확인한다. 상관관계가 없다고 해서 반드시 독립인 것은 아니다. 하지만 독립이면 상관관계가 없다고 할 수 있다. 이 역이 성립하는 것은 두 변수가 정규분포를 따를 때 뿐이다.
성질 피어슨 상관계수는 [ − 1 , 1 ] [-1,1] [ − 1 , 1 ] – 1 ≤ ρ ≤ 1
– 1 \le \rho \le 1
–1 ≤ ρ ≤ 1
증명 증명은 두 가지 방법을 소개하고자 한다.
코시-슈바르츠 부등식을 사용한 증명 ρ = Cov ( X , Y ) σ X σ Y = 1 n ∑ k = 1 n ( x k − μ X σ X ) ( y k − μ Y σ Y )
\rho = { {\operatorname{Cov} (X,Y)} \over {\sigma_X \sigma_Y} } = {1 \over n} \sum_{k=1}^{n} { \left( { { x_k - \mu_{X} } \over {\sigma_X} } \right) \left( { { y_k - \mu_{Y} } \over {\sigma_Y} } \right) }
ρ = σ X σ Y Cov ( X , Y ) = n 1 k = 1 ∑ n ( σ X x k − μ X ) ( σ Y y k − μ Y ) ρ 2 = 1 n 2 { ∑ k = 1 n ( x k − μ X σ X ) ( y k − μ Y σ Y ) } 2
\rho ^2 = {1 \over {n^2} } \left\{ \sum_{k=1}^{n} { \left( { { x_k - \mu_{X} } \over {\sigma_X} } \right) \left( { { y_k - \mu_{Y} } \over {\sigma_Y} } \right) } \right\} ^ 2
ρ 2 = n 2 1 { k = 1 ∑ n ( σ X x k − μ X ) ( σ Y y k − μ Y ) } 2
코시-슈바르츠 부등식 :
( a 2 + b 2 ) ( x 2 + y 2 ) ≥ ( a x + b y ) 2
({a}^{2}+{b}^{2})({x}^{2}+{y}^{2})\ge { (ax+by) }^{ 2 }
( a 2 + b 2 ) ( x 2 + y 2 ) ≥ ( a x + b y ) 2
코시-슈바르츠 부등식에 의해
1 n 2 { ∑ k = 1 n ( x k − μ X σ X ) ( y k − μ Y σ Y ) } 2 ≤ 1 n 2 ∑ k = 1 n ( x k − μ X σ X ) 2 ∑ k = 1 n ( y k − μ Y σ Y ) 2
{1 \over {n^2} } \left\{ \sum_{k=1}^{n} { \left( { { x_k - \mu_{X} } \over {\sigma_X} } \right) \left( { { y_k - \mu_{Y} } \over {\sigma_Y} } \right) } \right\} ^ 2 \le {1 \over {n^2} } \sum_{k=1}^{n} { \left( { { x_k - \mu_{X} } \over {\sigma_X} } \right) ^ 2 } \sum_{k=1}^{n} { \left( { { y_k - \mu_{Y} } \over {\sigma_Y} } \right) ^ 2 }
n 2 1 { k = 1 ∑ n ( σ X x k − μ X ) ( σ Y y k − μ Y ) } 2 ≤ n 2 1 k = 1 ∑ n ( σ X x k − μ X ) 2 k = 1 ∑ n ( σ Y y k − μ Y ) 2 1 n 2 ∑ k = 1 n ( x k − μ X σ X ) 2 ∑ k = 1 n ( y k − μ Y σ Y ) 2 = 1 σ X 2 σ Y 2 ∑ k = 1 n ( x k − μ X n ) 2 ∑ k = 1 n ( y k − μ Y n ) 2 = 1 σ X 2 σ Y 2 σ X 2 σ Y 2 = 1
\begin{align*}
& {1 \over {n^2} } \sum_{k=1}^{n} { \left( { { x_k - \mu_{X} } \over {\sigma_X} } \right) ^ 2 } \sum_{k=1}^{n} { \left( { { y_k - \mu_{Y} } \over {\sigma_Y} } \right) ^ 2 }
\\ =& {1 \over { {\sigma_X}^2 {\sigma_Y}^2 } } \sum_{k=1}^{n} { \left( { { x_k - \mu_{X} } \over { \sqrt{n} } } \right) ^ 2 \sum_{k=1}^{n} \left( { { y_k - \mu_{Y} } \over {\sqrt{n}} } \right) ^ 2 }
\\ =& {1 \over { {\sigma_X}^2 {\sigma_Y}^2 } } {\sigma_X}^2 {\sigma_Y}^2
\\ =& 1
\end{align*}
= = = n 2 1 k = 1 ∑ n ( σ X x k − μ X ) 2 k = 1 ∑ n ( σ Y y k − μ Y ) 2 σ X 2 σ Y 2 1 k = 1 ∑ n ( n x k − μ X ) 2 k = 1 ∑ n ( n y k − μ Y ) 2 σ X 2 σ Y 2 1 σ X 2 σ Y 2 1 ρ 2 ≤ 1 \rho ^2 \le 1 ρ 2 ≤ 1 − 1 ≤ ρ ≤ 1
-1 \le \rho \le 1
− 1 ≤ ρ ≤ 1
■
공분산의 정의를 이용한 증명 Var ( Y ) = σ Y 2 , Var ( X ) = σ X 2 \operatorname{Var}(Y)={ \sigma _ Y }^2, \operatorname{Var}(X)={ \sigma _ X }^2 Var ( Y ) = σ Y 2 , Var ( X ) = σ X 2 Z = Y σ Y − ρ X σ X \displaystyle Z= \frac { Y }{ \sigma _Y } - \rho \frac { X }{ \sigma _X } Z = σ Y Y − ρ σ X X 공분산의 정의 에 따라
Var ( Z ) = 1 σ Y 2 Var ( Y ) + ρ 2 σ X 2 Var ( X ) − 2 ρ σ X σ Y Cov ( X , Y ) = 1 σ Y 2 σ Y 2 + ρ 2 σ X 2 σ X 2 − 2 ρ ⋅ ρ = 1 + ρ 2 − 2 ρ 2 = 1 − ρ 2
\begin{align*}
\operatorname{Var}(Z)&=\frac { 1 }{ { \sigma _ Y }^2 }\operatorname{Var}(Y)+\frac { { \rho ^ 2 } }{ { \sigma _ X }^2 }\operatorname{Var}(X)-2\frac { \rho }{ { \sigma _X } { \sigma _Y } }\operatorname{Cov}(X,Y)
\\ =& \frac { 1 }{ { \sigma _ Y }^2 }{ \sigma _ Y }^2+\frac { { \rho ^ 2 } }{ { \sigma _ X }^2 }{ \sigma _ X }^2-2\rho \cdot \rho
\\ &=1+{ \rho ^ 2 }-2{ \rho ^ 2 }
\\ &=1-{ \rho ^ 2 }
\end{align*}
Var ( Z ) = = σ Y 2 1 Var ( Y ) + σ X 2 ρ 2 Var ( X ) − 2 σ X σ Y ρ Cov ( X , Y ) σ Y 2 1 σ Y 2 + σ X 2 ρ 2 σ X 2 − 2 ρ ⋅ ρ = 1 + ρ 2 − 2 ρ 2 = 1 − ρ 2 Var ( Z ) ≥ 0 \operatorname{Var}(Z)\ge 0 Var ( Z ) ≥ 0 1 − ρ 2 ≥ 0 ⟹ ρ 2 − 1 ≤ 0 ⟹ ( ρ + 1 ) ( ρ – 1 ) ≤ 0 ⟹ − 1 ≤ ρ ≤ 1
\begin{align*}
1-{ \rho ^ 2 }\ge 0 \implies& { \rho ^ 2 }-1\le 0
\\ \implies& (\rho +1)(\rho –1)\le 0
\\ \implies& -1\le \rho \le 1
\end{align*}
1 − ρ 2 ≥ 0 ⟹ ⟹ ⟹ ρ 2 − 1 ≤ 0 ( ρ + 1 ) ( ρ –1 ) ≤ 0 − 1 ≤ ρ ≤ 1
■
