Logistic(regression) classification

Logistic(regression) classification

이번에는 Linear Regression을 활용해서 데이터를 분류하는 모델을 설명해 보겠다. 이름은 Logistic Classification이라고 부른다. 분류에서 가장 단순한 모델로 2가지 중에 하나를 찾는 모델이다.

위 그림은 두 가지 불류를 활용할 수 있는 몇 가지 예제를 설명하고 있다. 스팸 메일 탐지, 페이스북 피드 표시, 신용카드 부정 사용은 두 가지 값 중의 하나를 선택하게 된다. 

이번 그래프는 학생들의 성적을 선처리(preprocessing)해서 모든 점수를 0 또는 1로 변환했다는 것을 전제로 한다. linear regression은 Wx+b 공식을 통해서 직선을 긋고 이걸 토대로 결과를 예측하는 방식이다. 하지만 Wx+b공식을 사용할 경우 공부를 많이 한 학생이 등장할 경우 그래프의 기울기가 달라지기 때문에 문제가 발생한다.

다시 말하면, 예측을 한다는 것은 학습된 모델에 새로운 데이터를 전달한 결과를 가져온다는 뜻이다. 한 번 학습된 모델을 지속적으로 사용하면서 활용하는 것이 일반적이다. 그럴려고 하면 학습된 모델을 수정하는 일이 없어야 하는데 왼쪽 그림과 같이 너무 공부를 많이 한 학생이 생기면 기존 모델로 예측을 실패하는 꼴이 되기 때문에 모델을 수정하게 된다. (예측을 실패 할 수 있지만 누구나 아는 사실을 실패하는 것은 말이 안됨)

따라서 이번 포스트에서의 핵심은 어떻게 하면 공부를 많이 한 학생까지 포함해서 수정이 필요없는 모델을 만들 것인지에 대한 것이다.

Linear Regression을 분류에 사용할 때 발생할 수 있는 문제에 대해서는 앞에서 설명했다. Wx+b라는 공식을 있는 그대로 사용하면 W를 1/2이라고 했을 때, x의 값이 100인 경우 50이라는 엄청난 값이 만들어 질 수 있다. 0과 1만을 사용해야 하는데, 범위를 벗어나느 값이 나오게 도니다. 50보다 작으면 0, 크면 1이라고 표현하거나 2/1보다 작으면 0, 크면 1이라고 표현할 수 있느 ㄴ추가 코드가 반드시 있어야 한다. 아래 그림에서는 이러한 표현식을 sigmoid라고 설명하고 있다.

시그모이드(sigmoid)함수는 앞에서 배운 공식(Wx+b)이 만들어 내는 값을 0과 1사이의 값으로 변환한다. 어떤 값이든지 sigmoid 함수르 ㄹ통과하기만 하면 0과 1 사이의 값이 되는 놀라운 기적을 보여준다. 그림과 공식을 보면 그냥 겁먹게 될 수 있지만 그럴 필요 없다. 왼쪽 공식을 한번 봐 보자.

 e로 시작하는 계산식이 0일 때, 최댓값인 1이 된다.

 e로 시작하는 계산식이 매우 클 때, (1/큰수)이 되어서 최소값인 0이 된다.

 Wx가 0일때, 지수가 0이 되어, 분모는 2가 되고, 이때 증진값이 1/2이 된다.

e로 시작하는 공식이 복잡해 보이지만, 실제로는 전혀 복잡하지 않다.

e는 자연상수(mathematical constant)또는 오일러 상수라고 부르고,   2.718281828459로 시작하는 무한소수이다.

 e를 사용하는 이유는 이걸 사용하면 공식이 매우 자연스러워지면서 짧게 표현할 수   있기 때문이다.

결국 이 식은 e의 지수(exponent)일 뿐이다. Wx+b를 그래프에서 표현하는 것처럼 z라고 부르자. z가 음수가 되면 e의 z승은 엄청나게 작아지고, 양수가 되면 엄청나게 커진다. z앞에 음수 기호가 있기 때문에  z가 음수일 때는 오히려 양수가 되어 e의 z승은 큰 값이 되고, 분모로 사용되었기 때문에 전체 값을 0에 가깝게 만들어 버린다. 

요약하면

sigmoid는 linear regression에서 가져온 값을 0과 1사이의 값으로 변환한다. z가 0일 때, 0/5가 된다.

-------------------------------------------

이 글은 모두의 딥러닝을 보고 정리한 글입니다.