Ailyn의 기술 블로그

doc2vec이란?

paragraph2vec으로 뉴스 기사 본문과 같은 큰 텍스트 블록에 대하여 vector값으로 변환시키는 것을 말한다.

word2vec에서 확장된 버전이라고 생각하면 쉽다. 

시작하기

코퍼스(Corpus)의 크기, 문서의 개수가 많을수록 좋다.

실습

word2vec 모델에서는 두 개의 중요한 알고리즘이 있었다. (CBOW와 Skip-gram)

마찬가지로 doc2vec 모델에서도 Distribted memory(DM)과 Distributed bag of words(DBOW)가 있다.

doc2vec의 입력은 Labeled Sentence 객체의 iterator(연속)이다.

각 객체는 하나의 문장을 나타내며 단어 목록과 레이블 목록으로 구성된다.

참고문서

• http://www.engear.net/wp/tag/doc2vec/
• doc2vec 튜토리얼 : https://rare-technologies.com/doc2vec-tutorial/
• gensim에서 doc2vec : https://radimrehurek.com/gensim/models/doc2vec.html

3단계) 모델 학습 수행 ( Training )

전체 순서

1. 데이터 수집
• 기존에 수집되어 있는 데이타가 없다면 수집을 하는 단계
• Python을 이용한 크롤러 만들기
2. 데이터 전처리 (Data preprocessing)
• 특수문자, 단어 형태소 분석 등의 처리 등을 하는 단계 
• 스페이스로 자르기 (어절 단위)
• 불용어 제거하기 (ex. stop > stopped > stopping)
• 어간 추출하기 (어간, 어미, 어근, 어절...)
• 문서 표현
3. 모델 학습 수행 (Training)
• 데이타에 알고리즘 적용 
4. 학습결과 확인 및 평가 
• 완료된 학습에 대한 결과를 평가하고 성능을 더 높이고 싶다면 전저리나 알고리즘을 변경하며 작업한다. 
5. 2~3단계를 수정하며 반복 

[2단계] 데이터 전처리 (Preprocessing 및 파이썬 자연어처리 라이브러리 정리)

데이터 전처리 순서 (Preprocessing Step)

1. 토큰화 (Tokenization)
• 문자열에서 단어로 분리시키는 단계
2. 불용어 제거 (Stop word elimination)
• 전치사, 관사 등 너무 많이 등장하는 단어 등 문장이나 문서의 특징을 표현하는데 불필요한 단어를 삭제하는 단계
3. 어간 추출 (Stemming)
• 단어의 기본 형태를 추출하는 단계
  
4. 문서 표현 (Representation)
• 주어진 문서나 문장을 하나의 벡터로 표현하는 단계
• 단어들을 모두 인덱싱(indexing)하고 주어진 문서에 존재하는 단어의 빈도수를 사용하여 문서를 표현

자연어처리를 위한 Python 라이브러리 종류

1. KoNLPy (코엔엘파이) : http://konlpy-ko.readthedocs.io/ko/v0.4.3/#

• 한국어 자연어처리를 위한 대표적인 파이썬 라이브러리 
• NLP (Natural Language Processing, 자연어처리)란? 텍스트(Text)에서 의미있는 정보를 분석, 추출하고 이해하는 일련의 기술 집합
• Twitter, Komoran, Mecab 등 다양한 형태소 분석기를 내장하고 있음

관련된 글

• 형태소 분석(태깅) 라이브러리 비교 : http://konlpy-ko.readthedocs.io/ko/v0.4.3/api/konlpy.tag/#konlpy.tag._twitter.Twitter
• KoNLPy 태깅 설명 : http://pinkwink.kr/1025
• KoNLPy 실습 (p42~) : https://www.lucypark.kr/docs/2015-pyconkr/#51

2. NLTK (Natural Language Toolkit) : http://www.nltk.org/

• 영어로된 텍스트의 자연어처리를 위한 대표적인 파이썬 라이브러리
• NLTK is a leading platform for building Python programs to work with human language data.
• It provides easy-to-use interfaces to over 50 corpora and lexical resources such as WordNet, along with a suite of text processing libraries for classification, tokenization, stemming, tagging, parsing, and semantic reasoning, wrappers for industrial-strength NLP libraries, and an active discussion forum.

3. Gensim : https://radimrehurek.com/gensim/

• 주로 Topic modeling, Corpus(말뭉치) 및 Word Embedding 모델을 지원해줌
• 한국어 및 다양한 언어를 지원해줌

• Gensim doc2vec 모델 예제 : http://kugancity.tistory.com/entry/4-doc2vec%ED%9B%88%EB%A0%A8%ED%95%98%EA%B8%B0
• Gensim doc2vec Tutorial (Radim) : https://rare-technologies.com/doc2vec-tutorial/
• Gensim doc2vec Tutorial : https://radimrehurek.com/gensim/models/doc2vec.html
  
  

전처리 과정

1. 토큰화 (Tokenization) : 단어를 떼어내는 단계

ex) I loved you. data-mining

= I / love / you 로 띄어쓰기나 개행을 기준으로 단어를 떼어내는 것을 말한다. 

• 1-1) 단어를 띄어쓰기와 개행을 기준으로 단어를 떼어낸다.   ex) I / loved / you. / data-mining
• 1-2) 문장 부호를 기준으로 한번 더 떼어낸다.                      ex) I / loved / you / . / data / - / mining
• 1-3) 문장 부호를 떼어 내는데 예외를 둔다.                         ex) I / loved / you / . / data-mining

파이썬 3.6 Tokenizer 가이드 : https://docs.python.org/3/library/tokenize.html

파이썬 2.7 Tokenizer 가이드 : https://docs.python.org/2.7/library/tokenize.html

2. 불용어 제거 (Stop word elimination) : 불필요한 단어들을 제거하는 단계

• 2-1) 모든 단어를 소문자화한다.
• 2-2) 불용어 사전을 검색하여 불용어를 삭제한다. 
• 2-3) 전제 말뭉치(corpus)에서 n번 이상 등장하지 않는 단어를 삭제한다.
• why? 별로 중요한 단어라고 생각하지 않기 때문에

• 단어를 기본형으로 표현하여 같은 단어가 표현형 때문에 다른 단어로 인덱싱(indexing)되는 일 없도록 한다.
  
• 이때, 다양한 알고리즘을 사용하는데, 기본형으로부터 단어들을 자동으로 파생시켜서 리스트를 만들고 매칭을 시키기도 한다.

• https://datascienceschool.net/view-notebook/118731eec74b4ad3bdd2f89bab077e1b/

4. 문서 표현 (Representation)

• word2vec
• doc2vec

from konlpy.corpus import kobill    # Docs from pokr.kr/bill
files_ko = kobill.fileids()         # Get file ids
doc_ko = kobill.open('1809890.txt').read()

from konlpy.tag import Twitter; t = Twitter()
tokens_ko = t.morphs(doc_ko)

import nltk
ko = nltk.Text(tokens_ko, name='대한민국 국회 의안 제 1809890호')   # For Python 2, input `name` as u'유니코드'

print(len(ko.tokens))       # returns number of tokens (document length)
print(len(set(ko.tokens)))  # returns number of unique tokens
ko.vocab()        

ko.count('초등학교')   # Counts occurrences

ko.concordance('초등학교')

ko.similar('자녀')
ko.similar('육아휴직')

en.collocations()

from konlpy.tag import Twitter; t = Twitter()
tags_ko = t.pos("작고 노란 강아지가 페르시안 고양이에게 짖었다")

Doc2vec 예제 

해당 예제는 https://www.lucypark.kr/courses/2015-dm/text-mining.html 를 참고하여 만들어졌습니다. 

참고 문서

• Doc2vec : https://medium.com/@mishra.thedeepak/doc2vec-in-a-simple-way-fa80bfe81104
• CNN으로 문장 분류하기 : https://ratsgo.github.io/natural%20language%20processing/2017/03/19/CNN/
• 세종 말뭉치 : http://konlpy-ko.readthedocs.io/ko/v0.4.3/data/#kkma-system-dictionary
•  https://www.slideshare.net/healess/python-tensorflow-ai-chatbot
• RNN : http://aikorea.org/blog/rnn-tutorial-2/
• TEXT Classification : http://arkainoh.blogspot.kr/2017/09/python.text.classification.html
• https://ratsgo.github.io/natural%20language%20processing/2017/03/08/word2vec/
• http://newsight.tistory.com/212
• http://www.engear.net/wp/doc2vec-%EC%8B%9C%EC%9E%91%ED%95%98%EA%B8%B0/

K-means Clustering 테스트 자료 

import tensorflow as tf
from tensorflow.contrib.factorization import KMeans
from tensorflow.python.framework import ops


k = 3 #3개의 Cluster로 설정
num_features  = 3 #데이터 Feature 2 (카테고리 분류 코드, 제목)

# 데이터 읽어오기
Data_X = []
with open("C:/Users/N3815/Desktop/sample_kmeans_data.txt", 'r') as f:
    for line in f.readlines():
        dump = []
        dump.append(float(line.split()[1].split(":")[1]) )
        dump.append(float(line.split()[2].split(":")[1]))
        dump.append(float(line.split()[3].split(":")[1]))
        Data_X.append(dump)

    print(Data_X)

X = tf.placeholder(tf.float32, shape = [None, num_features])

kmeans = KMeans(inputs=X, num_clusters=k, distance_metric='squared_euclidean', use_mini_batch=True)

(all_scores, cluster_idx, scores, cluster_centers_initialized, init_op, train_op) = kmeans.training_graph()
cluster_idx = cluster_idx[0]
avg_distance = tf.reduce_mean(scores)

init = tf.global_variables_initializer()
sess = tf.Session()
sess.run(init)
sess.run(init_op, feed_dict={X: Data_X})

#학습
for i in range(1, 100) :
    _, d, idx = sess.run([train_op, avg_distance, cluster_idx], feed_dict={X: Data_X})

#확인
print(idx, d)
for i in range(0,k) :
    result = []
    for j in range(0, idx.size,1) :
        if(idx[j] == i):
            result.append(Data_X[j])
        print(i, '에 속한 데이터 :', result)

참고 : http://iamksu.tistory.com/84

[머신러닝] lab 8: Tensor Manipulation

https://www.youtube.com/watch?v=ZYX0FaqUeN4&index=24&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm

1. 텐서플로우의 기본적인 1차원 Array 사용법

2. 2차원의 Array 사용법

#모두를 위한 딥러닝 강좌 lec 8-2 : 딥러닝의 기본 개념2: Back-propagation 과 2006/2007 '딥'의 출현

https://www.youtube.com/watch?v=AByVbUX1PUI&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=23

Breakthrough

in 2006 and 2007 by Hinton and Bengio

초기값을 잘준다면 신경망이 많아도 학습이 잘 될 수 있다는 이론의 논문 발표

뉴럴넷이라고 하면 사람들이 어려워하고 힘들어하니까 Deep learning 으로 명칭도 바꿔서 말하기 시작함

ImageNet 

이미지 넷이라는 사이트에서는 사진을 주고 컴퓨터에게 무슨 사진인지 맞춰보라고 하는 기능이 비약적으로 오류율을 줄이면서 관심을 더 갖게 됨

뿐만 아니라 기술의 발전으로 그림을 설명하기도 했다. 

최근 바이두에서는 소음이 많은 곳에서도 사람의 음성을 인식하는 기술을 개발했다..

그러면서 Hinton이 왜 이전에 잘 안됐는지 4가지 원인을 밝혀보았다.

요건 다음 시간에..

데이터 마이닝을 알면 뭐가 좋은가?

비즈니스 환경에서 활용할 수 있다.

ex) 유튜브의 자막, 페이스북의 추천도 모두 AI를 통해서 만들어지고 있는 서비스다.