Multinomial 개념

Logistic Regression을 부르는 다른 이름은 binary calassification이다. 데이터를 1과 0의 두 가지 그룹으로 나누기 위해 사용하는 모델이다. softmax는 데이터를 2개 이상의 그룹으로 나누기 위해 binary classification을 확장한 모델이다.

앞에서 배운 logistic regression을 보여주는 그림이다. 좌표상에 표현된 데이터를 2개의 그룹으로 나누는 decision boundary 직선이 인상적이다. 여기서 중요한 것은 Wx의 결과로 z가 나오고, S로 표현되는 sigmoid에 전달되고 최종적으로 Y를 예측한다. Y에 모자를 씌운 Y bar은 Y를 예측한 값을 의미한다.

여러 개의 label을 갖는 multinomial classification을 어떻게 구현할 수 있는지 보여주는 그림이다. 좌표상에 A, B, C 3개의 그룹이 있고, 오른쪽 그림에서 binary classification에서 사용한 decision boundary를 여러 개 그려 놓았다.

어렵게 생각 말고 조건문과 같다고 생각하면 된다. A or not, B or not, C or not과 같이 말이다.

여러 개로 분류를 하기 위해서는 그림 오른쪽에 있는 것처럼 여러 개의 binary classification이 필요하다.

여러 개의 binary classification을 예측한다는 것을 의미한 그림이다. 하지만 n개의 binary classification이 있으면 그것을 일일이 다 작성할 수 없다.

위 그림처럼 생각해보면 행렬을 이용하여 하나로 식을 합칠 수 있고, n개의 식도 한번에 입력할 수 있게 된다.

-------------------------------------

이 글은 모두의 딥러닝을 듣고 정리한 글입니다.