[머신러닝] lec 6-2 : Softmax classifier 의 cost함수

#모두를 위한 립러닝 강좌 lec 6-2 : Softmax classifier 의 cost함수

https://www.youtube.com/watch?v=jMU9G5WEtBc&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=14

---

* Softmax classifier란?

Logistic classification 함수를 사용해서 WX = Y 꼴을 계산해서 벡터값이 나오게 되고 값이 만약에 여러가지로 나왔을 때는 a = 0.7, b= 0.2, c=0.1로 나와서 합이 1이되는 값을 가지는 함수를 만들면 어떨까?라고 이야기가 나왔다. 바로 그렇게 만드는 것이 바로 softmax이다. 

* Softmax classifier

Softmax의 특징

1) 모든 값은 0에서 1 사이의 값을 가진다.

2) 전체의 sum이 1이 된다. 즉, 0.7이 나올 확률, 0.2가 나올 확률, 0.1이 나올 확률을 구할 수 있게 된다. 

3) 그리고 one-hot encoding 을 통해서 제일 확실한 값이 뭐야? 라고 했을 때 0.7을 가지는 값인 A를 1 나머지는 0으로 리턴해줄 수 있다. 

그리고 ML에서는 궁극적으로 cost 함수를 최소화(cost function) 하여서 적용한다.

* Cross-entropy Cost function

S(y) 예측값 L (실제값)을 넣어서 cross-entropy 함수를 통해서 그 차이를 구한다.

x가 0일 땐 1에 가깞게, 1일 때는 0에 가깝게 그려지는 그래프다.

* gradient descent

경사면의 기울기 구하기 - 믜분이 필요하겠구나 ^^

---

 #실습