EXCELSIOR

5-1. 심층 신경망 학습 - 활성화 함수, 가중치 초기화 저번 포스팅 04. 인공신경망에서 예제로 살펴본 신경망은 hidden layer가 2개인 얕은 DNN에 대해 다루었다. 하지만, 모델이 복잡해질수록 hidden layer의 개수가 많은 신경망 모델을 학습시켜야 한다. 이러한 깊은 DNN 모델을 학습시키는데에는 다음과 같은 문제가 발생할 확률이 높다.그래디언트 소실(vanishing gradient) 또는 폭주(exploding)가 발생할 수 있다.모델이 복잡하고 커질수록 학습시간이 매우 느려진다.모델이 복잡할수록 오버피팅(overfitting)될 위험이 크다.이번 포스팅에서는 이러한 문제들에 대해 알아보고 해결할 수 있는 활성화 함수와 가중치 초기화 방법에 대해 알아보도록 하자. 1. 그래디언트..

1. 로지스틱 회귀(Logistic Regression)이란?로지스틱 회귀는 선형회귀(Linear Regression)와 마찬가지로 종속 변수와 독립 변수간의 관계를 구체적인 함수로 나타내 향후 예측 모델에 사용하는 것이다. 하지만 로지스틱 회귀는 선형 회귀와 다르게 종속 변수가 범주형 데이터일 때 사용하므로 결과가 특정 카테고리로 분류되기 때문에 Classification 기법이라고 할 수 있다. 로지스틱 회귀는 종속 변수에 따라 binomial, multinomial 등으로 나뉜다. 이번 포스팅에서는 Binomial Logistic Regression에 대해 알아보도록 한다. 2. 로지스틱 함수(Logistic Function)로지스틱 함수는 시그모이드 함수(Sigmoid function)에 속하는 ..