[머신러닝] lec 03 - Linear Regression의 cost Function 최소화 알고리즘

#모두를 위한 딥러닝 강좌 lec 03 : Linear Regression의 cost 최소화 알고리즘

https://www.youtube.com/watch?v=TxIVr-nk1so&index=6&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm

---

How to minimize Cost Function

* H(x) = Wx +b

* minimize cost(W,b) 

• cost 공식에 데이터 값을 넣고 계산하면 아래로 볼록한 포물선(2차 함수 그래프)을 볼 수 있는데(y축은 cost, x축은 W),
  cost가 0인 지점을 찾는 것이 Linear Regression중에서 minimize한 cost funtion의 목적이다. 
• 이 방법을 기계적인 알고리즘을 통해서 학습시키는 방법중 하나가 바로 gradient descent algorithm이다.

* Gradient descent algorithm란?

• 경사를 따라 내려가는 알고리즘
• ML이외에도 여러 분야에 이 알고리즘을 통하여 minimize한 값들을 찾아낼 수가 있다. 

* 알고리즘의 내용 

• 산 꼭데기에 있을 때, 산에서 내려오는 방법은 여러가지가 될 것이다. 그러나 그 도착지는 어디가 될지 모른다..
• 그러나 아래가 볼록한 포물선에서 내려가는 방법은 어디를 선택하든 정답으로 내려가는 정답은 하나로 나온다는 점이다.
• 그리고 이 경사도를 통해서 최대점을 알수가 있는데, 이때 미분(그래프 내의 한 점의 기울기를 구하는 것) 을 사용하여서 구한다. 

* 미분

• 미분은 여러 웹사이트에서 바로 계산해주는 것들이 많음..ㅎㅎㅎ

* Gradient descent algorithm의 공식

• 이 공식을 기계적으로 공식해서 minimize한 cost function을 구할 수 있다.

---

#Linear Regression의 cost 최소화의 TensorFlow 구현

https://www.youtube.com/watch?v=pHPmzTQ_e2o&index=7&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm

---

---

참고 링크 

• [ML 강의 소스] https://github.com/hunkim/ml