음함수 미분의 필요성과 기본 개념

일반적인 함수와 달리 $y$ 가 $x$ 에 대한 독립적인 함수(양함수) 형태로 정리되지 않는 기하학적 곡선의 접선 기울기를 구하기 위해 음함수의 미분(Implicit differentiation)이라는 수학적 기법이 도입된다.
가령, 중심이 원점이고 반지름이 5인 원의 방정식은 다음과 같이 정의된다.

$$ x^2 + y^2 = 5^2 \quad (1) $$

곡선 위의 특정 점 $(3, 4)$ 에서 접선의 기울기를 구하기 위해서는, 곡선을 미소 구간으로 확대하여 $x$ 의 미소 변화량 $dx$ 와 $y$ 의 미소 변화량 $dy$ 의 비율인 $\frac{dy}{dx}$ 을 계산해야 한다. 하지만 이 방정식은 $y = f(x)$ 와 같이 $y$ 가 $x$ 에 대해 명시적으로 정리된 ‘양함수’가 아니므로, 일반적인 단일 변수 함수의 미분법을 직접 적용할 수 없다.

양함수와 음함수

양함수와 음함수가 무엇인지 짚고 넘어갈 필요가 있다.
양함수(Explicit Function)란 종속변수 $y$ 가 독립변수 $x$ 에 대해 완전히 분리되어, $y$ 가 $x$ 의 식으로 명시적으로(explicitly) 드러나는 형태인데 일반적으로 다음과 같은 형태이다.

$$ y = f(x) $$

가령, 다음과 같은 일차함수나 이차함수가 양함수이다.

$$ y = 3x + 2 $$
$$ y = x^2 - 4x + 3 $$

음함수(Implicit Function)는 독립변수 $x$ 와 종속변수 $y$ 가 하나의 방정식 안에 섞여 있어, $y$ 가 $x$ 에 대해 명시적으로 정리되어 있지 않은 형태이다(필자는 ‘음’함수라 해서 부호가 음수인 함수인줄 알았다). 즉, $x$ 와 $y$ 의 관계성만이 방정식의 형태로 내재되어(implicitly) 있다. 일반적인 형태는 모든 항을 한쪽으로 몰아 우변을 $0$ 으로 만든 다음의 다변수 함수 형태로 표현된다.

$$ F(x, y) = 0 $$

대표적인 예로 중심이 원점이고 반지름이 $5$ 인 원을 생각해볼 수 있다.

$$ x^2 + y^2 - 25 = 0 $$

$\to$ 원의 방정식 $x^2 + y^2 = 25$ 는 하나의 $x$ 값(예: $x=3$ )에 대해 두 개의 $y$ 값( $y=4$ , $y=-4$ )이 대응되므로 엄밀한 의미에서 단일 변수 ‘함수’의 정의를 만족하지 않는다. 그렇다면 이 개념을 ‘음함수’라고 부르는 논리적 전제를 확인해볼 필요가 있다.

$x^2 + y^2 = 25$ 전체는 함수가 아니라 기하학적인 곡선을 나타내는 방정식(equation) 또는 관계(relation)이다. 그럼에도 이를 음함수라고 부르는 이유는, 특정 점의 근방에서는 y를 x에 대한 함수로 정의할 수 있기 때문이다. 이를 수학적으로 보장하는 정리가 바로 음함수 정리(Implicit Function Theorem)이다.

위의 반지름이 5인 원의 방정식을 $y$ 에 대해 풀면 다음과 같이 두 개의 양함수로 쪼개진다.

$$ y = +\sqrt{25 - x^2} \quad \text{(상반원)} $$
$$ y = -\sqrt{25 - x^2} \quad \text{(하반원)} $$

즉, 곡선 전체를 하나의 양함수로 표현할 수는 없지만, 조건을 만족하는 국소적인 범위 내에서는 $y = f(x)$ 형태의 함수가 “방정식 안에 숨어 있다(Implicit)”는 의미에서 음함수라는 명칭을 사용한다.

다시 돌아와서 식 (1)에 대해 양변을 그대로 미분해보자.

$$ 2x\,dx + 2y\,dy = 0 $$

이를 정리하여 다음의 식을 얻을 수 있다.

$$ \frac{dy}{dx} = -\frac{x}{y} \quad (2) $$

여기에 점 $(3, 4)$ 를 대입하면 구하고자 하는 기울기 $-\frac{3}{4}$ 이 도출된다.

$\to$ 모든 방정식을 $y = f(x)$ 형태로 깔끔하게 정리할 수 있다면 좋겠지만, 대수적으로 불가능하거나 매우 비효율적인 경우가 많다. 가령, 다음과 같은 방정식이 있다고 가정해보자.

$$ x^3 + y^3 - 6xy = 0 $$

이 방정식(데카르트의 엽선)은 $y$ 에 대해 명시적으로 정리하는 것이 대수적으로 매우 복잡하다. 이럴 때 식을 억지로 $y = f(x)$ 형태로 변환하려 하지 않고, $F(x, y) = 0$ 이라는 음함수 형태 그대로 둔 상태에서 미적분학의 법칙(연쇄 법칙 등)을 적용하여 접선의 기울기 $\frac{dy}{dx}$ 를 구하는 것이 훨씬 효율적이며, 이것이 앞서 영상에서 소개된 ‘음함수의 미분법’의 핵심이다.

관련 변화율

식 (1)이 (2)로 도출되는 과정에서 $x$ 와 $y$ 는 서로 독립적인 변수가 아니라 방정식으로 묶여 있는데, 어떻게 각 항을 개별적으로 미분한 뒤 $dx$ 와 $dy$ 를 임의로 붙여도 등식이 성립할 수 있는 것인지 의문이 든다. 이를 해결하기 위해 (1)을 시간 $t$ 를 공통 매개변수로 갖는 사다리 문제(관련 변화율 문제)로 바꿔 생각해보자.
벽에 기대어 미끄러지는 길이가 $5$ 인 사다리의 수직 높이를 $y(t)$ , 수평 거리를 $x(t)$ 라고 하면, 피타고라스 정리에 의해 다음 항등식이 매 순간 성립한다.

$$ x(t)^2 + y(t)^2 = 5^2 \quad (3) $$

이 식의 양변은 시간 $t$ 에 대한 함수이므로, 양변을 $t$ 에 대해 미분할 수 있다. 상수의 도함수는 $0$ 이며, 좌변에는 연쇄 법칙이 적용된다.

$$ 2x(t) \frac{dx}{dt} + 2y(t) \frac{dy}{dt} = 0 \quad (4) $$

이 방정식은 ‘시간 $t$ 가 아주 미세하게 흐를 때( $dt$ ), 좌변 전체의 변화량은 $0$ 이어야 한다’를 의미한다. 또한 음함수 미분 과정에서 양변을 미분할 때 등장하는 $dx$ 와 $dy$ 는 독립적인 미소 변화로 해석할 수 있다.

$\to$ 식 (3)에서 두 변수 $x,y$ 가 $xy$ 꼴이 아니라고 해서 두 변수가 독립적이라고 의문이 들 수 있지만, 이 식에서 $x(t)$ 와 $y(t)$ 는 독립적이지 않다. 독립변수란 다른 변수의 값에 영향을 받지 않고 임의의 값을 가질 수 있는 변수를 뜻하는데, 식 (3)은 $x(t)$ 와 $y(t)$ 가 항상 제곱의 합이 $25$ 가 되어야 한다는 대수적인 제약 조건을 내재하고 있다.

시간 $t$ 에 따라 $x(t)$ 의 값이 변하게 되면, 등식을 만족시키기 위해 $y(t)$ 의 값은 필연적으로 그에 맞춰 변해야만 한다. 따라서 두 변수는 서로 종속적인 관계이다.

$\to$ 또한 좌변에 왜 연쇄 법칙이 적용되는가에 대해서도 의문이 들 수 있다. 이는 우리가 미분하려는 기준 변수가 $x$ 나 $y$ 가 아니라 제 3의 변수인 시간 $t$ 이기 때문이다.

엄밀하게 말하자면, 단순히 변수가 다르기 때문에 연쇄 법칙을 쓰는게 아니라 $x(t)^2$ 이라는 식은 사실 두 개의 함수가 합성된 합성함수이다. 겉함수는 어떤 값을 제곱하는 함수 $f(x(t)) = x(t)^2$ 이고, 속함수는 시간에 따른 위치를 나타내는 함수 $u = x(t)$ 이다. 겉함수 $f$ 를 $x(t)$ 에 대해 미분하면 $2x(t)$ 가 되며, 속함수 $x(t)$ 를 $t$ 에 대해 미분하면 $\frac{dx}{dt}$ 가 된다.

$$ \frac{d(x(t)^2)}{dt} = \frac{d(x(t)^2)}{d(x(t))}\frac{d(x(t)}{dt}= 2x(t) \frac{dx}{dt} $$

이는 $y(t)^2$ 에 대해서도 동일한 논리로 적용되며, 결과적으로 식 (3)의 양변을 $t$ 에 대해 미분하면 두 변수의 변화율( $\frac{dx}{dt}, \frac{dy}{dt}$ )이 얽혀있는 식 (4)가 도출되는 것이다.

사다리 문제에는 시간 $t$ 라는 공통 기준이 있었지만, 원의 방정식에는 그런 기준이 없다. 따라서 이를 다변수 함수의 관점으로 확장해본다. $x$ 와 $y$ 를 독립적인 두 입력값으로 받는 새로운 함수 $S(x, y)$ 를 다음과 같이 정의할 수 있다.

$$ S(x, y) = x^2 + y^2 $$

좌표평면 상의 임의의 점에서 $x$ 방향으로 $dx$ , $y$ 방향으로 $dy$ 만큼 아주 미세하게 이동했을 때, 함수 $S$ 의 값의 전체 미소 변화량 $dS$ 는 각각의 편미분 성분들의 합으로 근사된다

$$ dS = 2x\,dx + 2y\,dy $$

이 다변수 함수의 변화량이 접선의 기울기와 어떻게 연결될까? 여기서 점의 이동 경로를 단순한 평면 위가 아니라, $x^2 + y^2 = 25$ 라는 곡선, 즉 $S(x, y) = 25$ 를 만족하는 집합 위로 제한된다면, 함수 $S$ 의 값은 $25$ 로 일정하게 유지되므로 $dS = 0$ 이 되어야 한다. 따라서, 곡선 위를 벗어나지 않는 이동( $dx, dy$ )에 대해 다음 등식이 성립한다.

$$ 0 = 2x\,dx + 2y\,dy $$

위 등식을 정리하면 처음 목표였던 접선의 기울기를 도출할 수 있다.

$$ \frac{dy}{dx} = -\frac{x}{y} $$

이는 곱의 미분법을 적용해야 하는 다른 예시에 대해서도 동일한 논리가 전개된다.
(sin(x)y)square=x.png

$$ \sin(x)y^2 = x $$

위 방정식 역시 양변의 미소 변화량이 같다는 조건 하에 도함수를 유도할 수 있다. 선 위에서 미소 변화 $dx, dy$ 가 일어날 때, 곡선의 정의를 유지하려면 양변의 미소 변화량이 정확히 일치해야 한다.
좌변에 곱의 미분법을 적용한 미소 변화량은 다음과 같다.

$$ \sin(x)(2y\,dy) + y^2(\cos(x)\,dx) $$

우변 $x$ 의 미소 변화량은 단순히 $dx$ 이다. 따라서 다음 등식이 성립한다.

$$ \sin(x) \cdot 2y\,dy + y^2 \cos(x)\,dx = dx $$

이 식을 $\frac{dy}{dx}$ 에 대해 대수적으로 정리하면 다음과 같다.

$$ \frac{dy}{dx}= \frac{1-y^2 \cos(x)}{\sin(x)2y} $$

이 결과 함의하는 바는, 아무리 복잡한 곡선이라도 특정점에서의 접선 기울기를 구할 수 있다는 것이다.

역함수의 도함수 도출

이러한 음함수 미분의 논리를 활용하면 자연로그 함수인 $y = \ln(x)$ 의 도함수도 대수적으로 명확히 유도할 수 있다.
로그함수의 정의에 의해 위 식은 다음과 같은 지수 형태의 음함수로 변환된다.

$$ e^y = x $$

방정식을 만족하며 이동하는 미소 변화 $dx$ 와 $dy$ 에 대해, 양변의 변화량은 같아야 한다. $e^y$ 의 도함수는 자기 자신이므로 다음과 같은 관계가 성립한다.

$$ e^y\,dy = dx $$

따라서 기울기를 구하기 위해 이를 미소 변화율로 정리하고, 원래의 제약 조건인 $e^y = x$ 를 대입하면 자연로그의 도함수 공식이 유도된다.

$$ \frac{dy}{dx} = \frac{1}{e^y} = \frac{1}{x} $$

음함수의 미분은 단일 변수의 변화뿐만 아니라, 여러 입력 변수를 가진 함수들이 상호 의존적으로 어떻게 변화하는지를 다루는 다변수 미적분학의 기초적인 수학적 논리를 담고 있다. 변수들의 미소 변화가 어떻게 얽혀있는지를 기하학적 및 대수적으로 파악하는 것이 핵심이다.

$\to$ 음함수는 단순히 양함수(어떤 변수를 다른 변수들로 명시적으로 나타낸 함수)를 얽어 놓은 재표현인가?

음함수는 오히려 양함수보다 훨씬 더 포괄적이고 본질적인 ‘기하학적 관계’와 ‘집합’을 나타내는 상위 개념의 표현 방식이다.

우리가 아는 양함수 형태, 즉 $y = f(x)$ 는 수학적으로 매우 엄격한 제약을 받습니다. ‘함수’의 절대적인 정의는 “정의역의 모든 $x$ 값은 반드시 단 하나의 공역 $y$ 값에만 대응되어야 한다”는 것이다.

이 제약 때문에 양함수 $y = f(x)$ 가 2차원 평면 위에 그릴 수 있는 기하학적 도형은 극히 제한적이다.

1. 절대 닫힌 도형(원, 타원 등)이 될 수 없다.

2. 곡선이 자기 자신을 교차할 수 없다.

3.  $x$ 축의 한 지점에서 수직선을 그었을 때, 곡선과 두 점 이상에서 만날 수 없다 (수직선 판정법, Vertical Line Test).

차원을 하나 높여 3차원 공간의 관점에서 원의 방정식을 바라보자. $x$ 와 $y$ 를 모두 독립변수로 입력받아 고도(Height) $z$ 를 출력하는 3차원 곡면(Surface) 함수를 정의하면 다음과 같다.

$$ z = F(x, y) $$

이 다변수 함수에서 $z$ 의 값을 $0$ 으로 고정하여 $F(x, y) = 0$ 으로 만든다는 것은, 기하학적으로 3차원의 곡면을 고도가 0인 평면( $xy$ 평면)으로 수평하게 잘라냈을 때 생기는 2차원 교선(Intersection curve), 즉 등위선(Level curve)을 구하는 작업과 완벽히 동일하다.

이 등위선 위의 점들은 애초에 ‘하나의 $x$ 에 하나의 $y$ 가 대응되어야 한다’는 1차원적 양함수의 규칙을 지킬 의무가 없다. 그저 $F(x, y) = 0$ 이라는 대수적 조건(높이가 $0$ 이다)을 만족하는 점들의 자유로운 집합일 뿐이다.

다시 음함수 방정식(원의 방정식)을 보자.

$$ x^2 + y^2 - 25 = 0 $$

이 식의 기하학적 본질은 3차원 포물면 $z = x^2 + y^2 - 25$ 를 $z=0$ 평면으로 자른 단면, 즉 완벽하게 닫힌 ‘원’이다. $x = 3$ 일 때 $y$ 는 $4$ 와 $-4$ , 두 개의 값이 존재한다. 애초에 하나의 입력에 두 개의 출력이 대응되는 기하학적 구조를 가지고 태어났기 때문에, 이를 아무리 대수적으로 잘 풀어헤친다고 해도 ‘단일한’ 양함수 $y=f(x)$ 하나로 되돌아가는 것은 불가능하다. 억지로 양함수로 만들려면, 정의역을 제한하여 상반원과 하반원이라는 두 개의 독립된 양함수로 강제로 쪼개야만 한다.

그렇다면 전체 곡선이 함수가 될 수 없음에도 불구하고 왜 원의 방정식에 ‘함수’라 할까?

전체 원은 하나의 함수가 아니지만, 곡선 위의 특정한 점을 국소적으로 바라보면, 그 좁은 구간 내에서는 곡선이 꺾이거나 겹치지 않으므로 수직선 판정법을 통과한다. 즉, 국소적인 구간 내에서는 $y$ 를 $x$ 에 대한 함수로 취급할 수 있다는 것이다.

결론적으로, “전역적으로는 함수가 아니지만, 국소적으로는 함수 $y=f(x)$ 의 존재가 이 방정식 안에 암묵적으로 내재되어 있다”는 수학적 사실을 기리기 위해 음함수라는 명칭이 붙은 것이다.

요약하자면, 양함수는 ‘음함수’라는 집합 내 ‘입력과 출력이 1:1로 대응된다’는 특수한 조건을 만족하는 극히 좁은 부분집합이다.

$\to$ 어떤 변수들이 독립적이라는 것은, 다변수 함수 $z = f(x, y)$ 에서 입력값 $x$ 와 $y$ 처럼 서로 아무런 영향을 주지 않고 좌표평면 위의 모든 점을 자유롭게 선택할 수 있을 때를 의미한다.

다변수 함수 $z = f(x, y)$ 를 $f(x, y) - z = 0$ 꼴로 바꾸어 새로운 함수 $F(x, y, z) = 0$ 으로 정의하면 이 세 변수는 전체로서 서로 종속적이지만, 그 내부에서는 독립변수와 종속변수를 나눌 수 있다. 이를 자유도의 개념을 통해 이해해보고자 한다.

자유도(Degrees of Freedom)란 수학적으로 서로 아무런 영향을 주지 않고 완전하게 독립적으로 값을 선택할 수 있는 변수의 최대 개수를 의미한다. 변수의 개수와 방정식(제약 조건)의 개수 사이에 다음과 같은 등식이 성립한다.

$$ \text{자유도} = \text{총 변수의 개수} - \text{독립적인 방정식(제약 조건)의 개수} $$

(중요한 것은 여기서 방정식의 개수는 단순히 개수가 아닌 ‘선형 독립적인 제약 조건의 개수’이다.)

함수 $F(x, y, z) = f(x, y) - z = 0$ 의 자유도를 분석해보자. 이 식에는 3개의 변수 $(x,y,z)$ 가 등장하고, 이들을 묶는 1개의 방정식(제약 조건)이 존재한다.

$$ \text{자유도} = 3 - 1 = 2 $$

자유도가 2라는 것은 세개의 변수 중 임의의 두 개는 서로 완벽하게 독립적인 변수로 자유롭게 선택할 수 있고, 나머지 한개의 변수는 앞서 선택한 두 변수의 값에 의해 대수적으로 유일하게 결정되므로, 종속 변수가 된다.

즉, $F(x, y, z) = 0$ 이라는 방정식 하나가 주어졌을 때, 세 변수 모두가 서로에게 완전히 자유로울 수는 없다(전체적으로 종속적). 하지만 그 종속성 안에서 어떤 변수를 독립 변수로 취급하고 어떤 변수를 종속 변수로 취급할지 역할을 임의로 부여할 수 있다.

이 관계를 기하학적으로 보자. 3개의 변수 $x, y, z$ 가 아무런 제약 조건 없이 모두 독립적이라면, 이는 3차원 공간( $\mathbb{R}^3$ ) 전체를 채우는 모든 점을 의미한다.

하지만 $f(x, y) - z = 0$ 이라는 방정식 1개가 부여되는 순간, 3차원 공간 전체를 돌아다니던 점들은 3차원 공간 내에 떠 있는 2차원 곡면 위로 이동이 제한된다. 어떤 점이 2차원 곡면 위에 위치한다는 것은, 그 점의 위치를 특정하기 위해 정확히 2개의 독립적인 정보(좌표)만 필요하다는 것이다. 나머지 하나의 정보(예: 높이 z)는 점이 그 곡면이 벗어나지 않아야 한다는 제약 조건에 의해 자동으로 종속되어 결정되기 때문이다.

$\to$ 또한 위 자유도 공식은 선형대수에서 랭크-널리티 정리(차원 정리)와 동일하다.

$$ n = \text{rank}(A) + \text{nullity}(A) $$

변수들이 존재하는 공간의 차원( $n$ )은 변수들을 얽매는 독립적인 제약 조건의 개수(rank( $A$ ))와 제약 조건 $A\mathbf{x}=\mathbf{0}$ 을 만족하는 해공간(Null Space)의 차원의 합이다.

이 관계가 어떤 기하학적 의미를 가지는지 생각해보자. 3차원 벡터 공간( $x_1,x_2,x_3 \in \mathbb{R}^3$ )에서 만약 하나의 방정식(제약 조건)만 있다면 해 공간의 차원(자유도)는 2이며, 이는 기하학적을 3차원 공간 내 2차원 평면이다. 이 평면 위의 점을 특정하기 위해서는 2개의 좌표축(독립 변수)이 필요하며, 나머지 1개의 좌표는 평면의 방정식에 의해 종속되어 결정된다.

만약 서로 독립적인 두 개의 제약 조건이 있다면, 해 공간의 차원(자유도)는 1이다. 기하학적으로 이는 3차원 공간에서 두 평면이 교차하여 만들어지는 하나의 직선이다. 직선 위의 점은 1개의 매개변수(독립 변수)만으로 위치를 정의할 수 있고, 나머지 2개의 변수는 그 매개변수에 종속된다.

(여기서 알 수 있는 점은 선형대수학에서 다루는 모든 연립일차선형계의 방정식들은 음함수의 가장 단순하고 특수한 형태이다. 또한 이 특수한 형태들은 계수가 0이 아닌 어떤 변수에 대해서든 완벽하게 전역적인 양함수로 풀어낼 수 있다.)

$\to$ 선형 로지스틱 회귀나 선형 SVM에서 클래스를 가르는 결정 경계또한 선형 음함수(초평면)이다. 비선형 신경망의 경우에서의 결정 경계는 비선형 음함수(manifold)이다. 만약 데이터가 원형으로 분포하거나 닫힌 형태의 군집(Cluster)을 이룰 경우, 수직선 판정법에 위배되므로 양함수로는 그 군집을 감싸는 닫힌 경계선을 절대 수학적으로 그려낼 수 없다. 따라서 머신러닝 분류기는 태생적으로 모든 변수를 독립 변수로 취급하는 음함수의 공간 $F(\mathbf{x}) = 0$ 에서 작동해야만 한다.(이 부분은 다시 보자.)

잠재공간의 feature들이 얽혀있는 경우도 하나의 음함수인가? 관점에서 음함수를 어떻게 설명할 수 있을까?
국소적으로 매끄럽지 않은 대상이 존재하는가?

참고
3Blue1Brown. Implicit differentiation, what’s going on here? | Chapter 6, Essence of calculus