Extreme Values and Saddle Points

Local Maximum and Minimum

Definition 1. Let $f(x, y)$ be defined on a region $R$ containing the point $(a, b)$. Then
1. $f(a, b)$ is a local maximum value of $f$ if $f(a, b) \geq f(x, y)$ for all domain points $(x, y)$ in an open disk centered at $(a, b)$.
2. $f(a, b)$ is a local minimum value of $f$ if $f(a, b) \leq f(x, y)$ for all domain points $(x, y)$ in an open disk centered at $(a, b)$.

Single variable에서 정의했던 local value와 동일하다. 다만 open interval을 일반화해서 open disk로 정의되었다.

First Derivative Test

Theorem 1. If $f(x, y)$ has a local maximum or minimum value at an interior point $(a, b)$ of its domain and if the first partial derivatives exist there, then $\partial_x f(a, b) = 0$ and $\partial_y f(a, b) = 0$.

Proof. Without loss of generality, we suppose that $f$ has a local maximum. If we intersect $z = f(x, y)$ by the plane $x=a$, then the function $z(y) = f(a, y)$ has a local maximum at $y=b$ because $f(a, b) \geq f(a, y)$ for any $y$ in an open interval centered at $y=b$. Therefore $z'(b) = \partial_y f(a, b) = 0$. Similarly, we have $\partial_x f(a, b) = 0$. $\blacksquare$

Tangent plane 공식에 위 정리의 사실을 대입하면 $$\partial_x f(a, b) (x-a) + \partial_y f(a, b)(y-b) - (z - f(a,b)) = 0 \\ \Longrightarrow z = f(a, b)$$ 이므로 local value를 가지는 곳에서 $f$는 horizontal tangent plane을 가진다는 것을 알 수 있다. Fermat's Theorem의 다변수 버전이라고 생각해도 좋다.

Critical Point

Definition 2. An interior point of the domain of a function $f(x, y)$ where both $\partial_x f$ and $\partial_y f$ are zero or where one or both of $\partial_x f$ and $\partial_y f$ do not exist is a critical point of $f$.

역시나 일변수에서 critical number와 동일하게 정의한다.

Saddle Point

Definition 3. A differentiable function $f(x, y)$ has a saddle point at a critical point $(a, b)$ if in every open disk centered at $(a, b)$ there are domain points $(x, y)$ where $f(x, y) > f(a, b)$ and domain points $(x, y)$ where $f(x, y) < f(a, b)$. The corresponding point $(a, b, f(a, b))$ on the surface $z = f(x, y)$ is called a saddle point of the surface. 

일변수에서도 변곡점의 존재로 인해 단순히 기울기가 0이라고 해서 극값이라고 단정할 수 없었듯이, 다변수에서도 마찬가지다. Critical point, 즉 도함수가 0이거나 존재하지 않는 점의 경우 그 점 근방에서 그 점보다 크거나 작은 점이 모두 존재한다면 이건 local maximum이라고도, minimum이라고도 하기에 애매한 상황이다. 따라서 그러한 점을 따로 정의하고 saddle point, 즉 안장점이라고 부른다. 

Second Derivative Test

Theorem 2. Suppose that $f(x, y)$ and its first and second partial derivatives are continuous throughout a disk centered at $(a, b)$ and that $\partial_x f(a, b) = \partial_y f(a, b) = 0$. Then
i) $f$ has a local maximum at $(a, b)$ if $\partial_{xx} f < 0$ and $\partial_{xx} f \partial_{yy} f - (\partial_{xy} f)^2 > 0$ at $(a, b)$.
ii) $f$ has a local minimum at $(a, b)$ if $\partial_{xx} f > 0$ and $\partial_{xx} f \partial_{yy} f - (\partial_{xy} f)^2 > 0$ at $(a, b)$.
iii) $f$ has a saddle point at $(a, b)$ if $\partial_{xx} f \partial_{yy} f - (\partial_{xy} f)^2 < 0$ at $(a, b)$.
iv) the test is inconclusive at $(a, b)$ if $\partial_{xx} f \partial_{yy} f - (\partial_{xy} f)^2 = 0$ at $(a, b)$. In this case, we must find some other way to determine the behavior of $f$ at $(a, b).$

일변수에서도 이계도함수 판정법이란 이름으로 극점과 변곡점을 판별하는 정리가 있었듯이 다변수에서도 위 정리에 의해 극대, 극소, 안장점을 판별 가능하다. 

Hessian

Definition 4. The expression $\partial_{xx} f \partial_{yy} f - (\partial_{xy} f)^2$ above the theorem is called the discriminant or Hessian of $f$. 

Second derivative test는 $\partial_{xx} f \partial_{yy} f - (\partial_{xy} f)^2$라는 식이 critical하게 적용되는데, $$\begin{vmatrix} \partial_{xx} f & \partial_{xy} f \\ \partial_{xy} f & \partial_{yy} f \end{vmatrix}$$ 과 같은 행렬식으로 기억하면 편하다. 특별히 이런 꼴의 행렬을 Hessian, 혹은 Hesse matrix, 즉 헤세 행렬이라고 부른다.