Ailyn의 기술 블로그

hdf5 파일형식이란? (https://www.hdfgroup.org/hdf5/)

계층적 데이터 형식(Hierarchical Data Format, HDF)은 HDF Gruop에 의해 관리되고 있는 대용량의 데이터를 저장하기 위한 파일 형식이다.

hdf5의 특징 (https://support.hdfgroup.org/HDF5/whatishdf5.html)

• XML과 동일하게 자기 기술적으로 구성되어있어 데이터 형식을 파일 안에 기술이 가능하다.
• 많은 양의 데이터를 저장 가능하다.
• 검색 속도가 빠르다.
• 병렬 입출력을 지원한다.
• 데이터의 무작위 조회가 가능하다.
• 20여년 이상 개발되어온 포맷으로 안정적이다.
• 수많은 프로그래밍 언어와 오픈소스 라이브러리 API가 지원된다.

hdf5에 대해서

• hdf5 튜토리얼 : https://support.hdfgroup.org/HDF5/Tutor/ 
• Introduction : https://support.hdfgroup.org/HDF5/Tutor/HDF5Intro.pdf

Python에서 사용하는 방법

• ☞ http://aileen93.tistory.com/98 (아직 작성 못함)
  

참고 링크

• https://support.hdfgroup.org
• http://m.blog.naver.com/bondgem0/220222719652
• https://ko.wikipedia.org/wiki/%EA%B3%84%EC%B8%B5%EC%A0%81_%EB%8D%B0%EC%9D%B4%ED%84%B0_%ED%98%95%EC%8B%9D

#모두를 위한 립러닝 강좌 7-2 : Training/Testing 데이타 셋

＊어떠한 모델이 좋은 모델인가?

전체 데이터 중에 70%는 Training Set으로 나머지 30%는 Testing set로 남겨두고 30%는 절대 사용해선 안된다. 그리고 30%의 Training set를 다시 70%는 트레이닝 데이터로 나머지 30%는 Validation 체크를 하기 위한 값으로 남겨둔다. 여기서 Validation 체크란 rate나 람다같은 수를 수정 변경할 경우 쓸 validation 체크용 데이터이다.

＊Online learning이란?

100만개의 데이터 세트가 있을 경우, 100만개의 데이터 세트를 10만개씩 나누어서 Model을 학습시키는데 이때, 첫번째 학습한 10만개에 대한 학습 결과가 두번째 학습시키는 10만개의 데이터에 반영 되어야 한다는 방법론이다. 

＊MINIST Dataset

사람들이 적어 놓은 숫자들을 컴퓨터가 정확히 알아낼 수 있는지 학습시키는 데이터 세트이다. 미국에서 사람들이 우편번호를 쓸 때, 날려쓰는 경우가 있는데 그 일을 컴퓨터를 통해서 시키기 위해서 나온 방법이다. 이것 역시도, train-inmages-idx3, train-labels 트레이닝 세트와 t10k-images, t10k-labels 테스트 세트가 있을 때 우리는 우리가 가진 모델이 얼마나 정확한 모델을 가졌는지 확인하는 작업은 매우 간단한 일이 될 것이다. y값 (레이블값)과 모델이 예측한 값을 비교하여서 100개 중에 10개 맞으면 10% 정확한 것이고. 100개 중에 90개를 맞췄다면 90%의 정확도를 가졌다고 할 수 있다.

김성 교수님의 딥러닝 git 다운받기

• https://hunkim.github.io/ml/
• https://github.com/hunkim/DeepLearningZeroToAll