로지스틱 회귀 (Logistic Regression)

1. 로지스틱 회귀(Logistic Regression)이란?

로지스틱 회귀는 선형회귀(Linear Regression)와 마찬가지로 종속 변수와 독립 변수간의 관계를 구체적인 함수로 나타내 향후 예측 모델에 사용하는 것이다. 하지만 로지스틱 회귀는 선형 회귀와 다르게 종속 변수가 범주형 데이터일 때 사용하므로 결과가 특정 카테고리로 분류되기 때문에 Classification 기법이라고 할 수 있다. 로지스틱 회귀는 종속 변수에 따라 binomial, multinomial 등으로 나뉜다. 

이번 포스팅에서는 Binomial Logistic Regression에 대해 알아보도록 한다.

2. 로지스틱 함수(Logistic Function)

로지스틱 함수는 시그모이드 함수(Sigmoid function)에 속하는 함수이다. Sigmoid Function은 그래프로 나타내면 "S"자 모양으로 곡선이 나타난다.  시그모이드 함수의 특징으로는 아래와 같다.

• bounded 
• differentiable 
• Real function
• Defined for all real inputs
• With positive derivative

로지스틱 함수는 다음과 같은 식이며, 그래프는 Sigmoid 함수의 S자 모형을 따른다.

$$f(x)=\frac { 1 }{ 1+{ e }^{ -x } } $$

1) Odds

Odds 는 성공(혹은 1일)확률이 실패(0일) 확률에 비해 몇 배 더 높은가를 나타내며 식은 다음과 같다.

$$odds\quad =\frac { P(y=1|x) }{ 1-P(y=1|x) }$$

2) 로짓 변환(Logit Function)

Odds에 로그를 취한 함수로써 입력 값의 범위가 [-∞, +∞]일 때 출력 값의 범위를 [0, 1]로 조정한다.

$$logit(p)\quad =log\left( \frac { P(y=1|x) }{ 1-P(y=1|x) }  \right) $$

3) 로지스틱 함수(Logistic Function) 유도

로지스틱 회귀의 기본적인 접근은 선형 회귀 방식을 사용하는 것이다. 즉, 독립 변수의 선형 결합과 회귀 계수에 관한 선형 예측 함수에서 비롯된다. 선형 예측 함수는 아래와 같다.

$$\hat { f } (x;\theta )\quad =\quad { \theta  }_{ 0 }+{ \theta  }_{ 1 }x_{ 1 }+{ \theta  }_{ 2 }x_{ 2 }+...+{ \theta  }_{ n }x_{ n }=\sum _{ i=0 }^{ n }{ { \theta  }_{ i }x_{ i } } =X\theta $$

와 같이 위의 식을 행렬로 나타낼 수 있다.

로지스틱 회귀에서 로짓 변환의 결과는 에 대한 선형 함수와 동일 하므로 

$$logit({ P }(Y|X))=ln\frac { { P }(Y|X) }{ 1-{ P }(Y|X) } =X\theta   $$

따라서, 로지스틱 함수가 나오게 된다.

$$P(Y|X)=\frac { { e }^{ X\theta  } }{ 1+{ e }^{ X\theta  } } =\frac { 1 }{ 1+{ e }^{ -X\theta  } } $$