Linearization and Differentials

Linearization

Definition 1. If $f$ is differentiable at $x=a$, then the approximating function $$L(x) = f(a) + f'(a)(x-a)$$ is the linearization of $f$ at $a$. The approximation $$f(x) \approx L(x)$$ of $f$ by $L$ is the standard linear approximation of $f$ at $a$. The point $x=a$ is the center of the approximation.

미분가능한 함수 $f$에 대해 $(a, f(a))$에 접하는 접선의 방정식은 위와 같이 주어지며, 이를 선형 근사라고 부른다. 

Differentials

Definition 2. Let $y = f(x)$ be a differentiable function. The differential $dx$ is an independent variable. The differential $dy$ is $$dy = f'(x) dx.$$

Leibniz notation $\frac{dy}{dx}$는 $x$에 관한 $y$의 도함수를 의미하기 때문에, 실제로는 분수 혹은 비율로 말할 수 없다. 그러나 위와 같이 $dy$와 $dx$를 $x, y, z$와 같은 일종의 변수라고 정의하고 두 변수 간의 관계를 위와 같이 정의하자. 다시 말해 $dy$는 $x$와 $dx$에 의해 결정된다. 즉 $dy = dy(x, dx)$라고 써도 무리가 없을 것이다. 이제 $\frac{dy}{dx}$를 분수로 정의할 발판이 마련되었다.

 

Notation도 그렇고 이름도 그렇고 하필이면 이렇게 지은 이유는 위에서 제기된 문제를 해결하기 위함으로, 다분히 의도적이다. 이제 이 정의의 수학적 의미를 알아보자. 어떤 함수 $y = f(x)$에 대해 $x=a$, $dx = \Delta x$라고 두자. 이에 대응하는 $y$의 변화량은 $$\Delta y = f(a + dx) - f(a)$$ 로 둘 수 있다. 마찬가지의 변화량을 Linearization $L$에 적용하면 $$\Delta L = L(a + dx) - L(a) = f(a) + f'(a)(a + dx - a) - f(a) = f'(a) dx = dy$$ 이다. 즉 $x = a$이고 $dx = \Delta x$일 때 $\Delta L = dy$이다. 따라서 differential $dy$는 $x$가 $\Delta x$ 만큼 변화할 때의 tangent line의 변화량이다. 

만약 $dx$가 0이 아니라면, 위 정의에서 양변을 $dx$로 나누어서 관계식 $$f'(x) = \frac{dy}{dx}$$ 를 얻고, 이 때문에 $dy$ 대신 $df$를 사용하여 위 정의를 $$df = f'(x) dx$$ 라고도 쓰며, 이때 $df$는 differential of $f$라고 부른다. 여기서 우리가 왜 $f'(a)$를 $a$에서의 "미분 계수"라고 부르는지에 대한 이유를 알 수 있다. $f$의 형태에 따라 $d(u + v) = du + dv$, $d(\sin u) = \cos u du$라고 쓸 수 있다. 

한편 $dx = \Delta x$라고 할 때, 우리는 관계식 $$f(a + dx) = f(a) + \Delta y$$ 를 얻는다. 이때 Linearization을 사용하면 $$f(a + dx) \approx L(a + dx) = f(a) + f'(a) dx = f(a) + dy$$ 임을 알 수 있다. 이는 $\Delta y \approx dy$임을 의미한다.

Error in Differential Approximation

$f$는 $x=a$에서 미분가능한 함수이고 $dx = \Delta x$라고 두자. 이때 $a$에서 $a + \Delta x$로의 $f$의 변화량은 두 가지 방법으로 기술할 수 있다: $$\text{(1) } \Delta f = f(a + \Delta x) - f(a) \\ \text{(2) } df = f'(a) \Delta x$$ 이때 두 변화량의 차이를 구해보자. $$\Delta f - df = f(a + \Delta x) - f(a) - f'(a) \Delta x \\ = \left( \frac{f(a + \Delta x) - f(a)}{\Delta x} - f'(a) \right) \cdot \Delta x =: \varepsilon \cdot \Delta x$$ 미분 계수의 정의를 생각하면, $\Delta x \rightarrow 0$일 때 $\frac{f(a + \Delta x) - f(a)}{\Delta x}$는 $f'(a)$로 수렴하고, 따라서 $\varepsilon$도 0으로 수렴함을 알 수 있다. 이를 정리하면 다음과 같다.

If $y = f(x)$ is differentiable at $x = a$ and $x$ changes from $a$ to $a + \Delta x$, the change $\Delta y$ in $f$ is given by $$\Delta y = f'(a) \Delta x + \varepsilon \Delta x$$ in which $\varepsilon \rightarrow 0$ as $\Delta x \rightarrow 0$.

즉 $f$의 변화량은 differential $df$와 error 항을 더함으로써 얻어진다.

 

Single variable뿐만 아니라 multi variable에서도 동일하게 정의할 수 있다.

Linearization in two variables

Definition 3. The linearization of a function $f(x, y)$ at a point $(x_0, y_0)$ where $f$ is differentiable is the function $$L(x, y) = f(x_0, y_0) + \partial f(x_0, y_0) (x- x_0) + \partial_y f(x_0, y_0) (y- y_0).$$ The approximation $$f(x, y) \approx L(x, y)$$ is the standard linear approximation of $f$ at $(x_0, y_0)$.

Differentiable function $f$가 $(x_0, y_0)$에서 $\Delta x, \Delta y$만큼 움직여서 $(x, y)$까지 조금 이동했다고 했을 때, 정의에 의해 $f(x, y) - f(x_0, y_0) = \partial f(x_0, y_0) (x- x_0) + \partial_y f(x_0, y_0) (y- y_0) + \varepsilon_1 \Delta x + \varepsilon_2 \Delta y$가 성립한다. ($\Delta x, Delta y \to 0 \Longrightarrow \varepsilon_1, \varepsilon_2 \to 0$) 따라서 위 식을 근사로 사용할 수 있다. 

이때 linearization한 $L(x, y)$와, $(x_0, y_0, f(x_0, y_0))$에서 $f$의 tangent plane과 그 식이 같다. 1차원에서 $L(x)$가 $f$의 접선과 같은 것과 마찬가지로, $L(x, y)$ 또한 $f$의 접평면이다. 

Total Differential

Definition 4. If we move from $(x_0, y_0)$ to a point $(x_0 + dx, y_0 + dy)$ nearby, the resulting change $$df = \partial_x f(x_0, y_0) dx + \partial_y f(x_0, y_0) dy$$ in the linearization of $f$ is called the total differential of $f$.

마찬가지로 $dx, dy$는 독립변수로, 대체로 $\Delta x, \Delta y$등의 값이 대입되곤 한다. 그 경우에는 $$df = \Delta L = L(x_0 + \Delta x, y_0 + \Delta y) - L(x_0, y_0) = \partial_x f(x_0, y_0) \Delta x + \partial_y f(x_0, y_0) \Delta y$$ 이다.