AI Math 3 - Gradient descent

경사하강법

한 점에서 접선의 기울기를 알면 어느 방향으로 움직여야 함수값이 증가/ 감소 하는 지 알 수 있다.

미분값을 빼면 경사하강법(gradient descent) : 극소값 찾을 때

미분값을 더하면 경사상승법(gradient ascent) : 극대값 찾을 때

벡터가 입력인 다변수 함수의 경우 편미분(partial differentiation)을 사용한다.

각 변수별로 편미분을 계산한 gradient vector를 이용하여 경사하강/상승법에 사용할 수 있다.

---

선형회귀 계수 구하기

ㄴ 무어 필로즈 역행렬을 이용하지 않고 경사하강법을 써보자!

선형회귀의 목적식 :