역함수의 연속성

함수가 연속이라는 것은 직관적으로 그 그래프가 끊어지지 않고 이어져 있다는 것을 뜻한다. 그러므로 함수가 연속이고 역함수가 존재할 그 역함수의 그래프 또한 끊어지지 않고 이어져 있게 된다. 따라서 다음 정리를 얻는다.

미적분학에서는 보통 이 정리를 증명하지 않고 고등 과정(해석학)으로 미룬다. 해석학에서는 보통 컴팩트 집합의 성질을 이용하여 이 정리를 증명하기 때문에 이제 미적분학을 막 공부한 사람이 이해하기에는 쉽지 않다.

여기서는 지나치게 어렵지 않은 방법으로 이 정리를 증명하고자 한다. 이 정리를 증명하기 위해서는 다음과 같은 보조정리가 필요하다.

증명. 다음과 같은 집합을 생각하자. \[E = \left\{ h(x) \,\vert\, x \in I ,\, x < d \right\}\] 이 집합은 위로 유계이므로 실수계의 성질에 의하여 상한, 즉 오른쪽 끝점을 가진다. 이 점은 \(E\)의 원소일 수도 있고 그렇지 않을 수도 있지만, 그것은 상관 없다. 그 점을 \(L\)이라고 하자. 그리고 \(\epsilon > 0\)이 임의로 주어졌다고 하자. \(L\)이 \(E\)의 오른쪽 끝점이므로 \(L - \epsilon < h(a) \le L,\) \(a < d\)인 점 \(a\)가 존재한다. \(\delta = d-a\)라고 하면 \(d - \delta < x < d\)일 때 \[L - \epsilon < h(x) \le L\] 이므로 \(d\)에서 \(h\)의 좌극한은 \(L\)에 수렴한다.

같은 방법으로 \(d\)에서 \(h\)의 우극한이 존재함을 보일 수 있다.

이제 역함수의 연속성을 증명하자.

역함수의 연속성의 증명. 두 단계로 증명한다.

1단계. \(f\)가 닫힌 구간에서 일대일 함수이므로 \(f\)는 \(I\)에서 증가함수이거나 또는 \(f\)는 \(I\)에서 감소함수이다. 이 사실을 증명하자. 결론에 반하여 \(f\)가 \(I\)에서 증가함수도 아니고 감소함수도 아니라고 가정하자. 그러면 \(I\)의 세 점 \(x_1 ,\) \(x_2 ,\) \(x_3 \)이 존재하여 \(x_1 < x_2 < x_3\)이면서 \(f(x_1 ) < f(x_2 ) > f(x_3 )\)이거나, \(x_1 < x_2 < x_3\)이면서 \(f(x_1 ) > f(x_2 ) < f(x_3 )\)이 성립한다. 두 가지 중 첫 번째 경우에 대하여 증명하자. \(f(x_1 ) < f(x_2 ) > f(x_3 )\)인 경우, \[C = \frac{f(x_2 ) + \max \left\{ f(x_1 ) ,\, f(x_3 ) \right\}}{2}\] 라고 하면 \[f(x_1 ) < C < f(x_2 ) ,\qquad f(x_2 ) > C > f(x_3 )\] 이므로 연속함수의 사잇값 정리에 의하여 \[ x_1 < p_1 < x_2 < p_2 < x_3 \] 인 두 점 \(p_1 ,\) \(p_2 \)가 존재하여 \[ f(p_1 ) = C = f(p_2 )\] 를 만족시킨다. 이것은 \(f\)가 일대일 함수라는 데에 모순이다. \(f(x_1 ) > f(x_2 ) < f(x_3 )\)인 경우에도 같은 방법으로 모순을 끌어낼 수 있다. 그러므로 \(f\)는 \(I\)에서 증가함수이거나 감소함수일 수밖에 없다.

2단계. 이제 \(f\)가 \(I\)에서 증가함수라고 하자. 그러면 \(f^{-1}\)는 \(J\)에서 증가함수이다. \(d \in J\)이고 \(d\)가 \(J\)의 끝점은 아니라고 하자. 그리고 \(f^{-1}\)가 \(d\)에서 연속이 아니라고 가정하자. \(f^{-1}\)는 증가함수이므로 단조수렴 정리에 의하여 \(d\)에서 \(f^{-1}\)의 좌극한과 우극한이 존재하며, 둘 중 하나는 \(f^{-1}(d)\)와 다르다. \(d\)에서 \(f^{-1}\)의 좌극한이 \(p\)이고 그 값이 \(f^{-1}(d)\)와 다르다고 하자. \(c = f^{-1}(d)\)라고 하자. 그러면 \(p < c\)이며, \(p < x < c\)인 \(x\)는 \(I\)에 속하지 않게 된다. 왜냐하면, 만약 \(p < x < c\)인 \(x\)가 \(I\)에 속한다면 \(y=f(x)\)에 대하여 \[ y < d \quad \text{and} \quad f^{-1}(y) < c = f^{-1}(d)\] 이므로 \(d\)에서 \(f^{-1}\)의 좌극한은 \(f^{-1}(y)\) 이상이 되어야 한다. 그런데 이것은 \[f^{-1} (d^- ) = p < f^{-1}(y)\]이므로 모순이다. 그러므로 \(d\)에서 \(f^{-1}\)의 좌극한은 \(f^{-1}(d)\)와 다를 수 없다. 마찬가지로 \(d\)에서 \(f^{-1}\)의 우극한도 \(f^{-1}(d)\)와 다를 수 없다. 이것은 \(f^{-1}\)가 \(d\)에서 연속임을 의미한다. \(f\)가 \(I\)에서 감소함수인 경우도 같은 방법으로 \(f^{-1}\)가 \(d\)에서 연속임이 증명된다.

\(d\)가 \(J\)의 왼쪽 끝점이거나 오른쪽 끝점인 경우에도 위와 같은 방법으로 \(d\)에서 \(f^{-1}\)의 극한값과 함숫값이 같음을 보일 수 있다.