옌센의 부등식 (Jensen’s Inequality)

2014년 2월 9일에 작성한 텀블러 포스트이다.

---

아래는 'Paul J. Nahin'의 《최상의 최소》 부록B에 수록된 "옌센의 부등식"과 그 증명을 바탕으로 재구성한 것이다.

---

보조정리

어떤 구간 X의 n개의 값 x₁, x₂, ⋯, x_n이 있을 때, c₁ + c₂ + ⋯ + c_n = 1 을 만족하는 n개의 양의 실수 c₁, c₂, ⋯, c_n에 대하여, c₁x₁ + c₂x₂ + ⋯ + c_nx_n 는 X 위에 있다.

---

x₁, x₂, ⋯, x_n을 재배열하여 x₁, x_n을 각각 { x₁, x₂, ⋯, x_n }의 최솟값과 최댓값이라 하자. 그러면, 1≤k≤n 인 자연수 k에 대하여 c_k는 양수이므로 c_kx₁ ≤ c_kx_k ≤ c_kx_n 이다. 따라서, 다음이 성립한다.
$$\sum _{k=1}^n{c}_k{x}_1\le \sum _{k=1}^n{c}_k{x}_k\le \sum _{k=1}^n{c}_k{x}_n$$
$x_1=\sum _{k=1}^n{c}_k{x}_1$이고, $x_n=\sum _{k=1}^n{c}_k{x}_n$이므로 $x_1\le \sum _{k=1}^n{c}_k{x}_k\le x_n$이다. 특히, x₁, x_n은 구간 X 위에 있으므로 c₁x₁ + c₂x₂ + ⋯ + c_nx_n 는 X 위에 있다. ∎

---

옌센의 부등식 (Jensen's Inequality)

실함수 f가 어떤 구간 X 위에서 순볼록^[각주:1](strictly convex) (순오목(strictly concave))이고 X의 n개의 값 x₁, x₂, ⋯, x_n이 있을 때, c₁ + c₂ + ⋯ + c_n = 1 을 만족하는 n개의 양의 실수 c₁, c₂, ⋯, c_n에 대하여 다음이 성립한다.
$$f\left(\sum _{i=1}^n{c}_i{x}_i\right)\le (\ge )\sum _{i=1}^n{c}_{i}f(x_i)$$
단, 등호는 모든 x_i의 값이 같을 때만 성립한다.

---

증명은 수학적 귀납법을 이용한다. n=1인 경우에 자명하다. 특히, n=2인 경우에 f는 볼록이므로 볼록 함수의 정의에 의하여 자명하고, 등호는 f가 순볼록이므로 x₁ = x₂ 일 때만 성립한다. n=k인 경우에 성립한다고 가정하자.

이제 구간의 k+1 개의 값 x₁, x₂, ⋯, x_k, x_k+1이 있을 때, c₁ + c₂ + ⋯ + c_k + c_k+1 = 1 을 만족하는 k+1 개의 양의 실수 c₁, c₂, ⋯, c_k, c_k+1에 대하여 생각하자.

다음과 같이 표현할 수 있음에 주목하자.
$$\begin{array}{}\text{(2)}& \sum _{i=1}^{k+1}{c}_i{x}_i=(1-c_{k+1})\left(\sum _{i=1}^k\frac{c_i}{1-c_{k+1}}{x}_i\right)+c_{k+1}{x}_{k+1}\end{array}$$
이때, k개의 양의 실수 c₁/(1−c_k+1), c₂/(1−c_k+1), ⋯, c_k/(1−c_k+1)에 대하여 $\sum _{i=1}^k{c}_i/(1-c_{k+1})=1$
이므로, 보조정리에 의하여 $\sum _{i=1}^k\frac{c_i}{1-c_{k+1}}{x}_i$
는 구간 X 위에 있다.

따라서 합이 1이 되는 두 양의 실수 1−c_k+1(= c₁ + c₂ + ⋯ + c_k)와 c_k+1에 대하여 고려하면, $(\text{2})$를 n=2인 경우에 대입할 수 있다. 즉, 다음이 성립한다.
$$\begin{array}{}\text{(3)}& f\left(\sum _{i=1}^{k+1}{c}_i{x}_i\right)\le (1-c_{k+1})f\left(\sum _{i=1}^k\frac{c_i}{1-c_{k+1}}{x}_i\right)+c_{k+1}f(x_{k+1})\end{array}$$
한편, 위에서 1≤i≤k 에 대하여 모든 c_i/(1−c_k+1)는 양의 실수이고, 그들의 합은 1이었다. 그리고, k개의 X의 값 x₁, x₂, ⋯, x_k가 있다. 따라서, 귀납법 가정에 의하여 다음이 성립한다.
$$\begin{array}{}\text{(4)}& f\left(\sum _{i=1}^k\frac{c_i}{1-c_{k+1}}{x}_i\right)\le \sum _{i=1}^k\frac{c_i}{1-c_{k+1}}f(x_i)\end{array}$$
이제 두 식 $(\text{3})$과 $(\text{4})$를 결합하면, 다음을 얻는다.
$$\begin{array}{}\text{(5)}& f\left(\sum _{i=1}^{k+1}{c}_i{x}_i\right)\le \sum _{i=1}^{k+1}{c}_{i}f(x_i)\end{array}$$
그리고 식 $(\text{3})$에서 등호는 $\sum _{i=1}^k\frac{c_i}{1-c_{k+1}}{x}_i=x_{k+1}$일 때만 성립하고, 식 $(\text{4})$에서 등호는 x₁ = x₂ = ⋯ = x_k 일 때만 성립한다. 그러므로 식 $(\text{4})$에서 등호는 모든 x_i의 값이 같을 때만 성립한다.

n=k+1 인 경우도 성립하므로, 수학적 귀납법에 의하여 모든 자연수 n에 대하여 성립한다.

f가 순오목인 경우에는 −f가 순볼록이 되므로 위의 순볼록에 대한 증명에 의하여 자명하다. ∎

참고로 양의 실수 위에서 정의된 순오목 함수 ln(x)에 '옌센의 부등식'를 적용하면 n개의 양의 실수에 대한 '산술-기하 평균 부등식'을 쉽게 보일 수 있다. 그 증명은 간단하므로 생략한다.

1. 어떤 구간 X 위의 실함수 f가 다음을 만족하면, 순볼록(strictly convex) 함수라고 한다.
   $f(t{x}_1+(1-t)x_2)<tf(x_1)+(1-t)f(x_2)$, $\mathrm{\forall }{x}_1\ne x_2\in X$, $\mathrm{\forall }t\in (0,1)$ [본문으로]