Single Variable Linear Regression에서 파라미터의 개선

bias가 있는 linear regression을 수행할 때 loss function은 다음과 같다.

 

또한 loss function을 각각의 파라미터로 미분하면 다음과 같다

이때 ⍬_1의 미분값에는 x가 곱해져 있기 때문에 x의 값에 따라 ⍬_1과 ⍬_2의개선 속도가 다르다.

x의 절댓값이 1보다 크면 ⍬_1이 ⍬_0보다 더 빠르게 개선되고, x의 절댓값이 1보다 작으면 ⍬_0이 ⍬_1보다 더 빠르게 개선된다.

사진에서 볼 수 있듯 x의 절댓값이 1보다 작은 보라색 부분은 ⍬_1(가로축)보다 ⍬_0(세로축)의 변화율이 더 크고,

x의 절댓값이 1보다 큰 빨간색 부분은 ⍬_1(가로축)보다 ⍬_0(세로축)의 변화율이 더 작다

 

* 출처 : 패스트캠퍼스 - 수학적으로 접근하는 딥러닝 올인원