Ailyn의 기술 블로그

hdf5 파일형식이란? (https://www.hdfgroup.org/hdf5/)

계층적 데이터 형식(Hierarchical Data Format, HDF)은 HDF Gruop에 의해 관리되고 있는 대용량의 데이터를 저장하기 위한 파일 형식이다.

hdf5의 특징 (https://support.hdfgroup.org/HDF5/whatishdf5.html)

• XML과 동일하게 자기 기술적으로 구성되어있어 데이터 형식을 파일 안에 기술이 가능하다.
• 많은 양의 데이터를 저장 가능하다.
• 검색 속도가 빠르다.
• 병렬 입출력을 지원한다.
• 데이터의 무작위 조회가 가능하다.
• 20여년 이상 개발되어온 포맷으로 안정적이다.
• 수많은 프로그래밍 언어와 오픈소스 라이브러리 API가 지원된다.

hdf5에 대해서

• hdf5 튜토리얼 : https://support.hdfgroup.org/HDF5/Tutor/ 
• Introduction : https://support.hdfgroup.org/HDF5/Tutor/HDF5Intro.pdf

Python에서 사용하는 방법

• ☞ http://aileen93.tistory.com/98 (아직 작성 못함)
  

참고 링크

• https://support.hdfgroup.org
• http://m.blog.naver.com/bondgem0/220222719652
• https://ko.wikipedia.org/wiki/%EA%B3%84%EC%B8%B5%EC%A0%81_%EB%8D%B0%EC%9D%B4%ED%84%B0_%ED%98%95%EC%8B%9D

데이터마이닝 알고리즘에 대한 포스팅

• [데이터 마이닝 알고리즘] https://msdn.microsoft.com/ko-kr/library/ms175595.aspx
• [데이터 마이닝 기본 자료] http://www.scitech.co.kr/upload/book_image/s_033/Data%20Mining-pdf2.pdf

1. 연관 규칙 알고리즘 (association rule)
2. 클러스터링 알고리즘 (clustering)
3. 신경망 알고리즘 (neural network)
4. 결정트리 알고리즘 (decision tree)
5. 유전자 알고리즘 (genetic)
6. 베이지안 네트워크 알고리즘 (bayesian network)
7. 메모리 기반 추론 알고리즘  (memory-based reasoning)
8. 시계열 알고리즘

• 데이터 집합의 다른 특성을 기반으로 하나 이상의 불연속 변수를 예측하는분류 알고리즘

• 데이터 집합의 다른 특성을 기반으로 수익 또는 손실과 같은 하나 이상의 연속 변수를 예측하는 회귀 알고리즘

• 데이터를 속성이 유사한 항목의 그룹 또는 클러스터로 나누는 세그먼트화 알고리즘

• 데이터 집합에 있는 여러 특성 사이의 상관 관계를 찾는연결 알고리즘
  이러한 종류의 알고리즘은 시장 바구니 분석에 사용할 수 있는 연결 규칙을 만드는 데 가장 일반적으로 적용됩니다.

• 시퀀스 분석 알고리즘은 웹 사이트에서 일련의 클릭 또는 컴퓨터 유지 관리 앞의 일련의 로그 이벤트와 같이 데이터에서 빈번한 시퀀스 또는 에피소드를 요약합니다.

참고 링크

• http://ai-times.tistory.com/32

#데이터마이닝 : https://msdn.microsoft.com/ko-kr/library/ms174949.aspx

개요

데이터 마이닝이란 큰 데이터 집합에서 의미있는 정보를 찾는 것이며 이러한 정보를 찾는데에는 수학적 분석을 이용하여 데이터에 있는 패턴과 추세를 읽는 것이다. 일반적으로 관계가 너무 복잡하거나, 데이터가 너무 많은 경우, 전통적인 데이터 탐색패턴으로는 이러한 패턴을 찾을 수가 없기 때문에 데이터 마이닝이라는 개념이 나오게 됐다.

데이터 마이닝이 적용가능한 사례

1. 예측 (Frecasting) : 서버 부하 또는 서버 가동 중지 시간을 예측하기
2. 군집화(Clustering) : 구체적인 특성을 공유하는 군집을 찾는다. 군집화는 미리 정의된 특성에 대한 정보를 가지지 않는다는 점에서 분류와 다르다 (예 : 유사 행동 집단의 구분)
3. 분류(classification) : 집단 또는 범주형 변수로 반응을 한다. 안한다. 혹은 안전이다. 위험이다. 등 값을 예측하여 분류하는 기법
4. 연관성(Association) : 동시에 발생한 사건간의 관계를 정의한다. (예: 장바구니안의 동시에 들어 가는 상품들의 관계 규명)
5. 연속성(Sequencing) : 특정 기간에 걸쳐 발생하는 관계를 규명한다. 기간의 특성을 제외하면 연관성 분석과 유사하다 (예: 슈퍼마켓과 금융상품 사용에 대한 반복 방문)
6. 예측(Forecasting) : 대용량 데이터집합내의 패턴을 기반으로 미래를 예측한다 (예: 수요예측, 위험 및 확률 예측)

데이터 마이닝의 기본 프로세스 

1. 문제 정의
2. 데이터 준비
3. 데이터 탐색
4. 모델 작성
5. 모델 탐색 및 유효성 검사
6. 모델 배포 및 업데이트

데이터 마이닝의 과정

• 문제 정의 > 데이터 준비 > 데이터 탐색 > 데이터 정제 > 데이터 모델 (알고리즘 등 분석 방법 & 데이터 분할) > 데이터 유효성 검사 > 데이터 추출 > 데이터 시각화 > 데이터 분할 > 결과 도출 > 예측 > 새로운 데이터(변수) 추가 & 업데이트 > 반복

참고 링크

• [위키-데이터마이닝] https://ko.wikipedia.org/wiki/%EB%8D%B0%EC%9D%B4%ED%84%B0_%EB%A7%88%EC%9D%B4%EB%8B%9D