일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 | 31 |
- collections
- 주식분석
- RNN
- 하둡2
- graph
- HelloWorld
- hive
- LSTM
- 파이썬
- 딥러닝
- 선형대수
- Sort
- python
- effective python
- yarn
- recursion
- codingthematrix
- scrapy
- tensorflow
- 텐서플로
- 그래프이론
- C
- 알고리즘
- NumPy
- 하이브
- Java
- hadoop2
- C언어
- GRU
- 코딩더매트릭스
- Today
- Total
목록2018/10 (9)
EXCELSIOR
이번 포스팅은 핸즈온 머신러닝 교재, cs231n 강의를 가지고 공부한 것을 정리한 포스팅입니다. RNN에 대해 좀더 간략하게 알고 싶으신 분들은 아래의 링크를 참고하면 됩니다. 텐서플로 실습 위주 : [러닝 텐서플로]Chap06 - 텍스트2: word2vec, Bidirectional RNN, GRU, 임베딩 시각화LSTM & GRU의 간략한 설명 : RNN - LSTM(Long Short Term Memory networks) 07-3. 순환 신경망 LSTM, GRU - (3) 저번 포스팅인 07-2. 순환 신경망(RNN) - (2)에서는 RNN을 학습시키는 방법인 BPTT와 텐서플로를 이용해 MNIST 분류기와 시계열 데이터를 예측하는 RNN 모델을 구현해 보았다. 그리고 심층 RNN을 구현하는 방..
07-2. 순환 신경망 (RNN, Recurrent Neural Network) - (2) 저번 포스팅인 07-1. 순환 신경망 - (1)에서는 시계열 데이터에 적합한 모델인 RNN의 구조와 텐서플로(TensorFlow)의 BasicRNNCell과 static_rnn(), dynamic_rnn()을 이용해 RNN을 구현하는 방법에 대해 알아보았다. 이번 포스팅에서는 RNN을 학습시키는 방법과 심층 RNN에 대해 알아보도록 하자. 1. RNN 학습시키기 1.1 BPTT (BackPropagation Through Time)RNN은 기존 신경망의 역전파(backprop)와는 달리 타임 스텝별로 네트워크를 펼친 다음, 역전파 알고리즘을 사용하는데 이를 BPTT(BackPropagation Through Tim..
이번 포스팅은 핸즈온 머신러닝 교재, cs231n 강의를 가지고 공부한 것을 정리한 포스팅입니다. RNN에 대해 좀더 간략하게 알고 싶으신 분들은 아래의 링크를 참고하면 됩니다.텐서플로 실습 위주 : [러닝 텐서플로]Chap05 - 텍스트 1: 텍스트와 시퀀스 처리 및 텐서보드 시각화 07-1. 순환 신경망 (RNN, Recurrent Neural Network) - (1) 저번 포스팅인 06. 합성곱 신경망 - CNN에서는 이미지 데이터에 적합한 모델인 CNN에 대해 알아보았다. 이번 포스팅에서는 아래의 그림과 같이 자연어(NL, Natural Language)나 음성신호, 주식과 같은 연속적인(sequential) 시계열(time series) 데이터에 적합한 모델인 RNN(Recurrent Neur..
Chap03-2. 데이터 변경을 위한 SQL 문이전 포스팅 Chap03-1. Transact-SQL 기본 - SELECT 에서는 T-SQL에서 데이터를 조회할 수 있는 SELECT문에 대해 알아보았다. 이번 포스팅에서는 데이터를 변경할 수 있는 INSERT/UPDATE/DELETE 등에 대해 알아보도록 하자. 1. 데이터의 삽입 : INSERT1.1 INSERT 문 기본INSERT문은 테이블에 데이터를 삽입하는 명령어이며, 기본적인 형식은 아래와 같다.INSERT [INTO] [(컬럼1, 컬럼2, ...)] VALUES (값1, 값2, ...) 다음의 예제는 sqlDB에 testTbl1을 만든다음 INSERT를 이용해 데이터를 삽입하는 쿼리문이다.use sqlDB; CREATE TABLE testTbl1..
Chap03-1. Transact-SQL 기본 - SELECT SQL(Structured Query Language: 구조화된 질의 언어)문은 데이터베이스에서 사용되는 언어이다. 그 중에서 마이크로소프트의 SQL Server에서 사용하는 SQL은 Transact-SQL이라고하며 T-SQL이라고도 한다. T-SQL에 대한 공식문서는 docs.microsoft.com에서 각 쿼리를 상세하게 알아볼 수 있다. 이번 포스팅에서는 T-SQL에 대한 기본적인 SQL문에 대해 알아보도록 하자.이번 포스팅에서 예제로 사용할 데이터베이스는 Chap02 - Windows10에 SQL Server 2014 Developer Edition 설치하기 에서 다운로드 받은 샘플 데이터베이스인 AdventureWorks2014 와 ..
이번 포스팅은 핸즈온 머신러닝 교재, cs231n 강의를 가지고 공부한 것을 정리한 포스팅입니다. CNN에 대해 좀 더 간략하게 알고 싶으신 분들은 아래의 링크를 참고하면 됩니다.간략한 설명 : 합성곱신경망(CNN, Convolutional Neural Network)텐서플로 실습 위주 : [러닝 텐서플로]Chap04 - 합성곱 신경망 CNN 06. 합성곱 신경망 - Convolutional Neural Networks1. CNN의 기원David H. Hubel과 Torsten Wiesel은 1958년과 1959년에 시각 피질의 구조에 대한 결정적인 통찰을 제공한 고양이 실험을 수행했다. 이들은 시각 피질 안의 많은 뉴런이 작은 local receptive field(국부 수용영역)을 가진다는 것을 보였..
학습된 모델 재사용하기 - Transfer Learning1. Transfer Learning 이란?규모가 매우 큰 DNN 모델을 학습 시킬 때 처음부터 새로 학습 시키는 것은 학습 속도가 느린 문제가 있다. 이러한 경우 기존에 학습된 비슷한 DNN모델이 있을 때 이 모델의 하위층(lower layer)을 가져와 재사용하는 것이 학습 속도를 빠르게 할 수 있을 뿐만아니라 학습에 필요한 Training set도 훨씬 적다.예를 들어, 아래의 그림처럼 CIFAR10 데이터셋을 분류(비행기, 자동차, 새, 고양이, 사슴, 개, 개구리, 말, 배, 트럭의 10개 클래스)하는 모델 A가 이 있다고 하자. 그런 다음, 분류된 CIFAR10 이미지에서 자동차의 종류를 분류하는 모델인 B를 학습시킨다고 할 때, 학습된..
05-2. 심층 신경망 학습 - 배치 정규화, 그래디언트 클리핑저번 포스팅 05-1. 심층 신경망 학습에서는 DNN 학습에 있어서 적절한 활성화 함수 및 가중치 초기화 방법에 대해 알아보았다. 이번 포스팅에서는 그래디언트 소실(vanishing gradient)과 폭주(exploding) 문제를 해결하는 방법인 배치 정규화(BN, Batch Normalization)와 그래디언트 클리핑(Gradient Clipping), 그리고 학습 속도를 높일 수 있는 최적화(Optimization) 방법에 대해 알아보도록 하자. 1. 배치 정규화(BN, Batch Normalization)05-1. 심층 신경망 학습에서는 활성화 함수로는 ReLU를 사용하고 He 초기화를 통해 학습 초기 단계에서의 그래디언트 소실/폭..