잔차제곱합의 그래디언트
📂다변수벡터해석잔차제곱합의 그래디언트
개요
통계학 및 머신러닝의 많은 회귀문제에서는 다음과 같이 잔차제곱합을 목적 함수로 사용하며, 특히 f 가 선형결합인 경우 행렬 꼴로 간략하게 표현할 수 있다.
RSS====k∑(yk−f(xk))2k∑(yk−(s0+s1xk1+⋯+spxkp))2(y−Xs)T(y−Xs)∥y−Xs∥22
여기에 조금 더 일반화를 더해, 행렬 R∈Rn×n 에 대해 다음과 같은 꼴을 가지는 스칼라 함수의 그래디언트를 유도한다.
공식
f(s):=(y−Xs)TR(y−Xs)
s 에 종속되지 않은 벡터 y∈Rn 과 행렬 X∈Rn×p, R∈Rn×n 에 대해 다음이 성립한다.
∂s∂f(s)=−XT(R+RT)(y−Xs)
유도
전치행렬의 성질: r,s∈R이고 A,B는 각각의 경우에서 행렬 연산이 잘 정의되도록하는 크기를 갖는다고 하자. 그러면 다음이 성립한다.
- (a) 선형성: (rA+sB)T=rAT+sBT
벡터와 행렬의 그래디언트:
∂w∂wTx=∂w∂xTw=x
∂w∂(wTRw)=(R+RT)w
∂s∂f(s)======∂s∂(y−Xs)TR(y−Xs)∂s∂(yT−sTXT)R(y−Xs)∂s∂(−sTXTRy−yTRXs+sTXTRXs)−XTRy−XTRTy+XT(R+RT)Xs−XT(R+RT)y+XT(R+RT)Xs−XT(R+RT)(y−Xs)
■
따름정리1
따름정리로써 R 이 대칭행렬이면
∂s∂f(s)=−2XTR(y−Xs)
이고, 항등행렬이면 다음을 얻는다.
∂s∂f(s)=−2XT(y−Xs)
따름정리2
아다마르 곱 ⊙에 대해서, f(s):=∥X(τ⊙s)−y∥22라고 정의하면, X(τ⊙s)=Xdiag(τ)s 이므로
∂s∂f(s)=2(Xdiag(τ))T(Xdiag(τ)s−y)=2diag(τ)TXT(X(τ⊙s)−y)=2τ⊙XT(X(τ⊙s)−y)