EXCELSIOR

이번 포스팅은 핸즈온 머신러닝 교재, cs231n 강의를 가지고 공부한 것을 정리한 포스팅입니다. CNN에 대해 좀 더 간략하게 알고 싶으신 분들은 아래의 링크를 참고하면 됩니다.간략한 설명 : 합성곱신경망(CNN, Convolutional Neural Network)텐서플로 실습 위주 : [러닝 텐서플로]Chap04 - 합성곱 신경망 CNN 06. 합성곱 신경망 - Convolutional Neural Networks1. CNN의 기원David H. Hubel과 Torsten Wiesel은 1958년과 1959년에 시각 피질의 구조에 대한 결정적인 통찰을 제공한 고양이 실험을 수행했다. 이들은 시각 피질 안의 많은 뉴런이 작은 local receptive field(국부 수용영역)을 가진다는 것을 보였..

학습된 모델 재사용하기 - Transfer Learning1. Transfer Learning 이란?규모가 매우 큰 DNN 모델을 학습 시킬 때 처음부터 새로 학습 시키는 것은 학습 속도가 느린 문제가 있다. 이러한 경우 기존에 학습된 비슷한 DNN모델이 있을 때 이 모델의 하위층(lower layer)을 가져와 재사용하는 것이 학습 속도를 빠르게 할 수 있을 뿐만아니라 학습에 필요한 Training set도 훨씬 적다.예를 들어, 아래의 그림처럼 CIFAR10 데이터셋을 분류(비행기, 자동차, 새, 고양이, 사슴, 개, 개구리, 말, 배, 트럭의 10개 클래스)하는 모델 A가 이 있다고 하자. 그런 다음, 분류된 CIFAR10 이미지에서 자동차의 종류를 분류하는 모델인 B를 학습시킨다고 할 때, 학습된..

05-2. 심층 신경망 학습 - 배치 정규화, 그래디언트 클리핑저번 포스팅 05-1. 심층 신경망 학습에서는 DNN 학습에 있어서 적절한 활성화 함수 및 가중치 초기화 방법에 대해 알아보았다. 이번 포스팅에서는 그래디언트 소실(vanishing gradient)과 폭주(exploding) 문제를 해결하는 방법인 배치 정규화(BN, Batch Normalization)와 그래디언트 클리핑(Gradient Clipping), 그리고 학습 속도를 높일 수 있는 최적화(Optimization) 방법에 대해 알아보도록 하자. 1. 배치 정규화(BN, Batch Normalization)05-1. 심층 신경망 학습에서는 활성화 함수로는 ReLU를 사용하고 He 초기화를 통해 학습 초기 단계에서의 그래디언트 소실/폭..

5-1. 심층 신경망 학습 - 활성화 함수, 가중치 초기화 저번 포스팅 04. 인공신경망에서 예제로 살펴본 신경망은 hidden layer가 2개인 얕은 DNN에 대해 다루었다. 하지만, 모델이 복잡해질수록 hidden layer의 개수가 많은 신경망 모델을 학습시켜야 한다. 이러한 깊은 DNN 모델을 학습시키는데에는 다음과 같은 문제가 발생할 확률이 높다.그래디언트 소실(vanishing gradient) 또는 폭주(exploding)가 발생할 수 있다.모델이 복잡하고 커질수록 학습시간이 매우 느려진다.모델이 복잡할수록 오버피팅(overfitting)될 위험이 크다.이번 포스팅에서는 이러한 문제들에 대해 알아보고 해결할 수 있는 활성화 함수와 가중치 초기화 방법에 대해 알아보도록 하자. 1. 그래디언트..

Custom Estimator이번 포스팅은 TensorFlow™️>GUIDE를 참고했으며, TensorFlow Estimator에 대한 자세한 내용은 여기를 참고하면 된다. 1. Estimator 란tf.estimator은 Python의 대표적인 머신러닝 모듈인 Scikit-Learn(sklearn)의 스타일처럼 복잡한 딥러닝 모델을 쉽게 작성할 수 있도록 해주는 라이브러리다. Keras와 마찬가지로 tf.contrib.learn으로 텐서플로에 들어왔으며, 이번 포스팅에서의 예제는 1.11.0버전(2018.09.28)에는 tf.estimator로 옮겨졌다. 2. Pre-made vs. Custom아래의 그림에서 볼 수 있듯이, pre-made Estimator들은 tf.estimator.Estimator..

TensorFlow Feature Column텐서플로에서는 tf.feature_column을 이용해 모델에 맞게 데이터를 변형하거나, 데이터의 형식을 지정해줄 수 있다. 이러한 tf.feature_column을 통해 처리한 데이터를 Estimator(여기 참고)에 쉽게 적용하여 모델링 할 수 있다. 이번 포스팅에서는 텐서플로의 feature_column을 이용해 데이터를 처리하는 방법과 Estimator가 아닌 텐서플로의 Low-Level API를 이용해 feature_column의 결과가 어떠한 모양을 가지는지, 그리고 여러개의 범주형 데이터에 대한 입력층(input layer)의 형태는 어떠한지에 대해 알아보도록 하자.먼저, 데이터의 종류에는 어떤 것이 있으며, Feature Engineering, ..

Chap02. Windows10에 SQL Server 2014 Developer Edition 설치하기 1. 설치파일 다운로드SQL Server 2014 Developer Edition이 2016년 무료로 배포 되었다. 먼저, 아래의 링크를 클릭하여 설치 파일을 다운로드 받는다. 설치 파일을 다운로드 받기 위해서는 Microsoft 계정이 있어야 하며, 해당 계정으로 로그인을 해야지 다운로드 받을 수 있다.설치 파일 경로 : https://my.visualstudio.com/Downloads?PId=1682 2. 설치다운로드 받은 설치 파일을 실행한 뒤 아래의 그림과 같이 [SQL Server 설치 센터] → [설치] → [새 SQL Server 독립 실행형 설치 또는 기존 설치에 기능 추가]를 선택한다..

이번 포스팅은 뇌를 자극하는 SQL Server 2012 - 1권 기본편을 공부하면서 정리한 것입니다. Chap01. DBMS & SQL 개요 1. DBMS 개요1.1 데이터베이스의 정의데이터베이스(database)는 데이터 집합을 체계적으로 구성해놓은 것, 데이터의 저장 공간으로 정의할 수 있으며, 여러 사용자나 응용프로그램이 공유하고 동시에 접근 가능해야 한다. 이러한 데이터베이스를 관리 및 운영하는 역할을 하는 시스템을 DBMS(DataBase Management System)라고 한다. 1.2 데이터베이스 특징데이터베이스의 특징에는 다음과 같은 것들이 있다.데이터의 무결성(Integrity)데이터베이스 내의 데이터에는 오류가 있어서는 안된다. 즉 삽입(Insert), 삭제(Delete), 갱신(U..