미분

미분의 기초

미분에 대해 설명을 하기 위해 간단한 예를 먼저 들겠습니다, 

 

EX) 강남역에서 인천공항까지 72.56km의 거리를 자동차로 이동하는데 1시간 반이 걸렸습니다. 이때, 자동차의 평균 속도를 구하세요.

 

평균 속도는 단위 시간당 얼마나 이동했는가를 나타내므로, 이동 거릴르 이동 시간으로 나누면 구할 수 있습니다. 이 예에서 평균 속도 $v$는 다음과 같습니다.

 

평균 속도 $v$ = $\frac {72.56km} {1.5h} = 48.37km/h$

 

이 때, 주의할 점은 자동차가 항상 이 속도로 달리는 것이 아니라는 점입니다.

 

그러면 이번에는 시간 간격을 조금씩 줄여가면서 속도를 구해 봅시다. 10분 동안 몇 km를 달렸는지, 1분 동안 몇 km를 달렸는지, 더 나아가 1초 동안 몇 km를 달렸는지 알아낸느 과정을 반복하다 보면 아주 짧은 구간의 속도를 알게 될 것이고, 그에 따라 주행 중인 자동차의 속도도 더 정확하게 알아낼 수 있습니다. 이렇게 구하는 속도를 순간 속도라고 합니다. 자동차의 이동 거리를 $x$, 이동 시간을 $t$, 시간이 $t$일 때의 자동차의 위치를 $x(t)$라고 가정할 때, 순간 속도 $v$는 아래와 같이 표현합니다.

 

순간 속도 = $v$ = $\lim_{\Delta t\rightarrow0}\frac{\Delta x}{\Delta t}$ = $\lim_{\Delta t\rightarrow0} \frac{x(t+\Delta t) - x(t)} {\Delta t}$

 

수학에서 $\Delta$는 변화량을 나타내는 기호입니다. $\Delta x$는 이동거리의 변화량을, $\Delta t$는 이동 시간의 변화량을 의미합니다. 결국 이 식은 극한의 개념을 이용해서 시간의 변화량 $\Delta t$를 최대한 0에 가깝게 만들 때의 순간 속도가 얼마인지 알아내기 위한 식인 것입니다.

 

결국 위 식은 $\Delta t$를 0에 가깝게 극한으로 만들 때의 $\Delta x$가 미분인 것입니다. 이것은 t가 아주 미세하게 변할 때, x는 얼마나 변하는지를 의미하는 것으로, 결국 분자인 x를 분모인 t로 미분한 것과 같습니다.

 

이제 여기서 배운 순간 속도의 개념을 좀 더 일반적인 함수에 적용해 보면서 미분이 무엇인지 다시 한번 살펴 봅시다. 우선 함수 f(x) 위에 있는 두 점 (a,f(a))와 (b,f(b))가 있을 때, 이 점들을 통과하는 직선 $y=ax+\beta$가 있다고 가정합시다.(단, a는 b가 아님)

 

이 식에 두 점의 좌표를 대입하면 다음과 같은 연립방정식을 만들 수 있습니다.

 

$f(a)$ = $\alpha$$a$+$\beta$

$f(b) = \alpha b + \beta$

 

이 때, 아래의 식에서 위의 식을 빼면 다음과 같은 식이 나옵니다.

 

$f(b) - f(a) = \alpha(b-a)$

 

이제 이 식의 양변을 (b-a)로 나누면 직선의 기울기 $\alpha$를 구할 수 있습니다.

 

$a = \frac{f(b)-f(a)}{b-a}$

 

이 식은 '두 점 사이에서 평균적으로 변화한 정도'라고 말할 수 있습니다. (단, a와 b는 다름)

 

이번에는 앞서 살펴본 $f(a) = \alpha a+\beta$를 $\beta$에 대한 식으로 모양을 바꿔줍시다.

 

$\beta = f(a) - \alpha a$

 

이제 이 식의 기울기 $alpha$에 위 식을 대입합니다. 그러면 다음과 같이 $\beta$가 구해집니다.

 

$\beta = f(a) -\alpha a = f(a) - \frac{f(b)-f(a)}{b-a}a$

 

이제 여기서 '평균적으로 변화한 정도'가 아닌 '순간적으로 변화한 정도'인 기울기를 구하려면 이를 극한으로 보내야 합니다.

 

따라서 어떤 함수의 특정한 지점에서의 기울기를 구하는 것을 미분한다 라고 합니다.

 

이렇게 해서 점 (a, f(a))에서 $y=f(x)$에 접하는 직선 $y = \alpha x + \beta$를 그릴 수 있게 되었습니다. 이때의 직선을 접선이라고 하고, 평균변화율의 극한값인 $\alpha$는 $x=\alpha$일 때의 미분계수라고 합니다.

 

여기서 상수 a는 변수 x가 가질 수 있는 수많은 값들 중의 하나 입니다. 상수 a에 어떤 x를 대입하더라도 $\frac{df(a)}{dx}$의 값은 결정되므로 $\frac{df(a)}{dx}$는 x에 대한 일종의 함수라고 볼 수 있습니다. 이 함수를 $\frac{df(x)}{dx}$라 쓰고 도함수라고 부릅니다.

 

$\frac{df(x)}{dx}$ = $\lim_{\Delta x \rightarrow0} \frac{\Delta f(x)}{\Delta x}$ = $\lim_{h \rightarrow0} \frac{f(x+h) - f(x)}{h}$

 

함수 f(x)의 미분 $\frac{df(x)}{dx}$는 간단히 $f'(x)$라 표현하기도 합니다. 이 공식은 변수 x가 dx만큼 아주 조금 변화할 때, 함수 $f(x)$가 얼마나 변화(df(x))하는지를 아주 짧은 순간의 변화율로 표현하고 있습니다. 

 

---

인공지능 분야에서는 함수의 값이 어느 지점에서 최소가 되는지를 알아내는 것이 중요합니다. 예를 들어, 손실 함수는 정답과 예측값 사이의 오차를 표형ㄴ하는 함수인데, 인공지능 분야에서는 이 함수의 값을 최소로 만들기 위해 다양한 기벗을 사용합니다. 손실 함수를 미분하면 어떤 특정 지점에서 어느 정도의 기울기가 나오는지 알 수 있는데. 이러한 기울기의 절댓값이 작아지는 방향으로 그 지점을 옮기다 보면 손실 함수의 최솟값을 구할 수 있습니다. 이 방법을 경사하강법이라고 부릅니다. 

---

이 글은 <인공지능을 위한 수학>을 읽고 정리한 글입니다.