EXCELSIOR

5-1. 심층 신경망 학습 - 활성화 함수, 가중치 초기화 저번 포스팅 04. 인공신경망에서 예제로 살펴본 신경망은 hidden layer가 2개인 얕은 DNN에 대해 다루었다. 하지만, 모델이 복잡해질수록 hidden layer의 개수가 많은 신경망 모델을 학습시켜야 한다. 이러한 깊은 DNN 모델을 학습시키는데에는 다음과 같은 문제가 발생할 확률이 높다.그래디언트 소실(vanishing gradient) 또는 폭주(exploding)가 발생할 수 있다.모델이 복잡하고 커질수록 학습시간이 매우 느려진다.모델이 복잡할수록 오버피팅(overfitting)될 위험이 크다.이번 포스팅에서는 이러한 문제들에 대해 알아보고 해결할 수 있는 활성화 함수와 가중치 초기화 방법에 대해 알아보도록 하자. 1. 그래디언트..

이번 포스팅은 '밑바닥 부터 시작하는 딥러닝'교재로 공부한 것을 정리했습니다. 퍼셉트론 - Perceptron 1. 퍼셉트론이란?퍼셉트론(perceptron)은 프랑크 로젠블라트(Fank Rosenblatt)가 1957년에 고안안 알고리즘이다. 이 퍼셉트론이 바로 신경망(딥러닝)의 기원이 되는 알고리즘이다.퍼셉트론은 다수의 신호(흐름이 있는)를 입력으로 받아 하나의 신호를 출력한다. 퍼셉트론은 이 신호를 입력으로 받아 '흐른다/안 흐른다'(1 또는 0)이라는 정보를 앞으로 전달한다. 위의 그림에서,​과 ​는 입력 신호, ​는 출력 신호, ​과 ​는 가중치(weight)를 의미한다. 원을 뉴런 또는 노드라고 부른다.입력 신호가 뉴런에 보내질 때는 각각 고유한 가중치가 곱해진다(​).뉴런에서 전달 받은 신호..

이번 LSTM은 Chris송호연님의 블로그와 aikorea.org를 많이(실은 거의...) 참조하였으며, 이미지 출처는 원 저작자인 Colah.github.io 입니다. 문제가 될경우 삭제 하겠습니다..ㅜㅜ 1. LSTM 배경 - 장기 의존성(Long-Term Dependency) 문제점 RNN의 장점은 이전의 정보를 공유하여 활용할 수 있다는 것이다. 하지만, 시점간의 간격(Gap)이 크지 않을 경우에 가능하며 이러한 문제의 원인은 Vanishing Gradient에서 알 수 있듯이 BPTT에서 Chain Rule에 의해 [-1, 1]사이의 값들이 계속 곱해지다보니 앞쪽으로 갈 수록 그 값이 작아져, 결국에는 소멸해버려 Parameter들의 업데이트가 되지 않는 문제가 발생하기 때문이다. 이러한 문제를..

Tensorflow를 윈도우(Windows)환경에 설치하려면 Docker를 설치한 뒤에 Tensorflow를 설치했어야 했지만(이거 시도하다가 Docker 설치에서 포기...) 2016년 12월에 Tensorflow가 윈도우 환경도 지원한다는 글이 올라왔다. www.tensorflow.org 에 접속하면 아래의 그림과 같이 pip명령어를 통해서 윈도우에 텐서플로우를 설치할 수 있는데, 오직 윈도우 64bit 운영체제와 파이썬(Python) 3.5 에서만 지원한다고 나와있다.다행히 내 노트북이 Windows10 64bit인데다가 Python3.5여서 pip 명령어를 통해 Tensorflow를 설치하였다. 1. 윈도우에 pip 설치Tensorflow를 설치하기에 앞서 먼저 pip 명령어를 사용할 수 있도록 ..