Ailyn의 기술 블로그

# 텐서플로우를 개발을 하기 위한 파이썬 IDE 설치편

1. Jupyter Notebook) : http://jupyter.readthedocs.io/en/latest/install.html
• 아나콘다(Anaconda)에서 제공해주는 파이썬 IDE 툴로 과거에는 Ipython Notebook이였는데 현재는 Jupyter NoteBook 으로 업그레이드 됨!
2. Pycharm : https://www.jetbrains.com/pycharm/download//#section=windows
• Jetbrains 사에서 나온 IDE 툴로 무료와 유료버전이 있으며, Community 에디션으로 무료로 이용해도 됨
• 학생 인증을 받으면 Student License를 통해 1년간 무료로 PE 를 사용할 수 있다.

Professional Edition과 Community Edition 차이 

(https://sales.jetbrains.com/hc/en-gb/articles/207241075-What-is-the-difference-between-commercial-and-personal-licenses-)

라이센스 정책

• Q. 개인 라이센스를 가지고 회사에서 사용해도 되는가?
  (https://sales.jetbrains.com/hc/en-gb/articles/207241015-Can-I-use-my-personal-license-for-commercial-development-)
  ☞ 쓸 수 있다.
• Q. 커뮤니티 에디션을 회사에서 쓸 수 있는가?
  (https://sales.jetbrains.com/hc/en-gb/articles/207240855-Can-I-use-my-personal-license-at-work-and-at-home-)
  ☞ 쓸 수 있다.

1. [WIKI 문서] https://wikidocs.net/book/110
2. [코드아카데미] https://www.codecademy.com/ko/courses/python-advanced-ko/0/1?curriculum_id=53b5e0d8fed2a81590000003

텐서플로우 개발하기 위해 필요한 프로그램들 설치하기

1. Python 설치 : 텐서플로우는 파이썬 기반의 언어이므로 파이썬 설치가 필요하지만 Anaconda를 설치할 경우 설치하지 않아도 된다.

• [Mac] 최신버전 다운로드 : https://www.python.org/
• [Windows] Python 3.5.x 다운로드 : https://www.python.org/downloads/release/python-352/

2. Anaconda 설치하기 

• 아나콘다란? Continuum Analytics 라는 곳에서 만든 파이썬 배포판으로 다양한 형태의 파이썬 관련 패키지를 모두 포함하여 개발을 더 편리하게 해주는 툴!
• [Windows] 현재 3.6.x 까지 나왔으나, 윈도우에서는 텐서플로우(Python) 3.5.x만 호환된다. (TensorFlow only supports version 3.5.x of Python on Windows) 
  아래 아카이브 들어가서 아나콘다 python 3.5.2 버전의 아나콘다 설치
  Anaconda 다운로드 : https://repo.continuum.io/archive/
  Anaconda 버전별 패키지 버전 확인 문서 : https://docs.continuum.io/anaconda/old-pkg-lists/4.1.1/py35
  직링크 : https://repo.continuum.io/archive/Anaconda3-4.1.1-Windows-x86_64.exe
• [Mac] 맥은 3.6.x 설치하면 된다. 
  Anaconda 다운로드 : https://www.continuum.io/downloads

아나콘다 설치 후, 버전확인 및 conda 라이브러리 업데이트 명령어

$python --version

$pip --version

$conda update --all 

[Mac에서 pip 업데이트 하기] ☞ 업데이트 실패시

$pip install -U 

[Windows에서 pip 업데이트 하기] ☞ 업데이트 실패시

$python -m pip install -U pip

3. 텐서플로우 설치 : https://www.tensorflow.org/install/

• Windows OS : https://www.tensorflow.org/install/install_windows
• Linux OS : https://www.tensorflow.org/install/install_linux
• MAC OS : https://www.tensorflow.org/install/install_mac
• Pycharm에서 pip 명령어로 tensorflow 설치를 받을 수 있으므로 설치하지 않아도 됨.

다음편 : ☞파이썬 개발을 위한 Pycharm IDE 설치하기편

#모두를 위한 립러닝 강좌 lec 6-2 : Softmax classifier 의 cost함수

https://www.youtube.com/watch?v=jMU9G5WEtBc&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=14

* Softmax classifier란?

Logistic classification 함수를 사용해서 WX = Y 꼴을 계산해서 벡터값이 나오게 되고 값이 만약에 여러가지로 나왔을 때는 a = 0.7, b= 0.2, c=0.1로 나와서 합이 1이되는 값을 가지는 함수를 만들면 어떨까?라고 이야기가 나왔다. 바로 그렇게 만드는 것이 바로 softmax이다. 

* Softmax classifier

Softmax의 특징

1) 모든 값은 0에서 1 사이의 값을 가진다.

2) 전체의 sum이 1이 된다. 즉, 0.7이 나올 확률, 0.2가 나올 확률, 0.1이 나올 확률을 구할 수 있게 된다. 

3) 그리고 one-hot encoding 을 통해서 제일 확실한 값이 뭐야? 라고 했을 때 0.7을 가지는 값인 A를 1 나머지는 0으로 리턴해줄 수 있다. 

그리고 ML에서는 궁극적으로 cost 함수를 최소화(cost function) 하여서 적용한다.

* Cross-entropy Cost function

S(y) 예측값 L (실제값)을 넣어서 cross-entropy 함수를 통해서 그 차이를 구한다.

x가 0일 땐 1에 가깞게, 1일 때는 0에 가깝게 그려지는 그래프다.

* gradient descent

경사면의 기울기 구하기 - 믜분이 필요하겠구나 ^^

 #실습 

#모두를 위한 딥러닝 강좌 lec 6-1 : Softmax Regression: 기본 개념 소개

https://www.youtube.com/watch?v=MFAnsx1y9ZI&index=13&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm

* Multinomaial classification 

왼쪽 표의 데이터를 그래프 위에 그려보면 오른쪽 그림과 같이 데이타가 나온다.

그리고 그 데이타들을 binary 라는 0과 1로 나누는 classification 알고리즘을 적용한다고 했을 때 각각은 빨간선으로 구분할 수 있다.

1. C와 C가 아닌 값

2. B과 B가 아닌 값

3. A와 A가 아닌 값

저 3개를 행렬의 곱으로 구하기엔 좀 복잡할 수 있으므로, 하나의 식으로 합치어서 계산해보자.

이전에는 시그모이드(sigmoid)를 처리해야 했지만, 

각각의 시그모이드(sigmoid) 함수를 정의해야하지만, 3개를 한꺼번에 구하는 방법도 있다. 

#모두를 위한 딥러닝 강좌 lec 5-2 : Logistic Regression의 cost 함수 설명

https://www.youtube.com/watch?v=6vzchGYEJBc&index=11&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm

* Logistic (regression) classification 알고리즘

지난 번에 hypothesis를 구했고 이번엔 minimizs cost function과 gradient decent 값을 구해보자.

* Linear Hypothesis 의 그래프

- 장점 : 어디서든지 답(최저값)을 구할 수 있다! → 왜냐는 사람은 이전 강의 참고

* Cost Function의 그래프

- 초록 : Linear regression의 Hypothesis

- 주황 : Classification의 sigmoid function(Hypothesis)을 통해서 값이 0~1사이로 들어오도록 만들었다.

- Linear regression H(x)를 그래프로 그린다면 매끈한 밥그릇 모양!

- sigmoid 함수의 H(X)를 통해서 그래프로 그린다면 울퉁불퉁한 밥그릇 모양! 

→ 이전시간(05-01)의 그래프를 보면 선이 구불구불하기 때문에 울퉁불퉁할 수 밖에 없다. 

→ 그래서 어디에서 시작하던지 최저값을 찾는 것이 아니라, Local 최소값과 Global 최소값이 생기면서 값이 복잡하니까!

불안정하여 값을 쓸 수가 없다. 

* Cost function 이해하기

cost function의 의미 : 실제 값과 예측 값과 비슷한다면 cost 값은 작아지고, cost 값은 커져서 우리의 모델을 더 정확히 하는 것이다.

to-do)아래의 예제를 그려가면서 이해해보기..!

하지만, 텐서플로우에서 코딩하려고 보면 굉장히 복잡해진다.

저 2개의 식을 하나의 식으로 만들어보자.

y=1일 때, c = -log(H(x))

y=0일 때, c = -1 * log(1-H(x)) 가 되므로 위의 식과 동일하게 변하게 된다.

* Cost minimize 하기 (Gradient Decent)

gradientDescentOptimizer라는 함수 라이브러리를 이용하여서 미분하여 구하면 된다.

 #Logistic Classification 구현하기 

https://www.youtube.com/watch?v=t7Y9luCNzzE&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=12

#모두를 위한 딥러닝 강좌 lec 5-1 : Logistic Classification의 가설 함수 정의

https://www.youtube.com/watch?v=PIjno6paszY&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=10

* 이전시간 복습 Linear Regression 

Hypothesis : H(X) = WX

Cost : cost(W)

Gradient decent : W 

* Binary classification 이란?

- 두 개중에 하나를 고르는 알고리즘!

- 사용 예시) Spam or Ham (스팸 메일 필터링), 페이스북 추천 타임라인, 주식시장의 이전 학습으로 인한 살지 팔지에 대한 판단 등에 사용할 수 있다.

* Linear Regression의 단점

문제1)

- 0과 1로만 구분할 경우 기울기가 달라질 경우 4시간 공부했을 때 성공이였던 데이타가 실패로 분류될 수도 있다.

문제2)

H(x) = Wx + b라는 Linear 공식으로 Classification의 값을 구할 때 0에서 1사이의 값이 아니라 1이 넘어버리는 값이 발생할 수 도 있다.

그래서 많은 사람들이 0에서 1사이의 값을 가지는 함수를 고민을 하게 되어 발견한 함수가 있다. 

* sigmoid Function (시그모이드 함수) or Logistic Function 

- 1을 넘어가게 된다면 1을 넘지않는 선을 가지게 되며, -100이 되어도 0과 가까운 수가 될 뿐 0밑으로 가지 않는다. 

- z = WX로 두고, H(x) = g(z)로 두게 된다.

* Logistic Hypothesis의 최종