17. 凸函数与 Jensen 不等式

凸函数的性质和 Jensen 不等式

我们给出凸函数的五种刻画:

定理 17.1. $I$ 是 $\mathbb{R}$ 上的区间, 给定 $I$ 上定义的实值函数 $f:I\to \mathbb{R}$. 那么, 五个性质是等价的:

1)	对任意的 $x,y\in I$, 任意的 $t\in [0,1]$, 我们有$$f(tx+(1-t)y)⩽tf(x)+(1-t)f(y).$$从图形上来看, 任给 $f$ 的图像上两个点, 这两个点之间的函数图像落在这两个点所连线段的下方.
2)	对任意的 $x,y,z\in I$, 如果 $x<y<z$, 那么$$\frac{f(y)-f(x)}{y-x}⩽\frac{f(z)-f(x)}{z-x}⩽\frac{f(z)-f(y)}{z-y}.$$我们可以通过函数图像形象的记忆这一串不等式:
3)	对任意 $a\in I$, 如下定义的函数$$I-\{a\}\to \mathbb{R},x\mapsto \frac{f(x)-f(a)}{x-a},$$是变量 $x$ 的增函数.
4)	对任意的 $x,y,z\in I$, 如果 $x<y<z$, 那么$$\det \left(\begin{array}{ccc}1& 1& 1\\ x& y& z\\ f(x)& f(y)& f(z)\end{array}\right)⩾0.$$
5)	集合 ${\Gamma }_{⩾f}=\{(x,y)|x\in I,y⩾f(x)\}\subset {\mathbb{R}}^2$ (即函数图像上方的部分) 是凸集

如果函数 $f$ 满足上述条件之一, 我们就称 $f$ 是凸函数. 如果 $-f$ 是凸函数, 我们就称 $f$ 是凹函数.

注记. $V$ 是 $\mathbb{R}$-线性空间, $C\subset V$ 是子集. 如果对任意的 $x,y\in C$, 任意的 $t\in [0,1]$, $tx+(1-t)y\in C$, 即 $x$ 和 $y$ 所连线段落在 $C$ 中, 我们就称 $C$ 是凸集.

注记. 上述对凸性的刻画本质上是几何的, 叙述中并没有涉及到函数的连续性等. 有意思的是, 凸性的几何定义可以推出函数的若干分析性质, 比如连续性、可微性之类的.

证明. 我们转一圈来证明前面四个命题之间的等价性:

$1)\Rightarrow 2)$	由于 $y\in (x,z)$, 所以存在 $t\in (0,1)$, 使得 $y=tx+(1-t)z$, 其中 $t=\frac{y-z}{x-z}$. 所以, $$f(y)⩽tf(x)+(1-t)f(z)=\frac{y-z}{x-z}f(x)+\frac{x-y}{x-z}f(z).$$这个不等式等价于 2) 中的不等式 (直接计算) .
$2)\iff 3)$	$2)$ 中左侧的不等式讲的就是这个函数是递增的.
$3)\Rightarrow 4)$	我们注意到$$\det \left(\begin{array}{ccc}1& 1& 1\\ x& y& z\\ f(x)& f(y)& f(z)\end{array}\right)=(z-x)(y-x)(\frac{f(z)-f(x)}{z-x}-\frac{f(y)-f(x)}{y-x}).$$利用 3) 中的单调性, 这个值明显是非负的.
$4)\Rightarrow 1)$	我们不妨设 $x⩽y$, 我们对下面的式子展开: $$\det \left(\begin{array}{ccc}1& 1& 1\\ x& tx+(1-t)y& y\\ f(x)& f(tx+(1-t)y)& f(y)\end{array}\right)⩾0.$$这等价于$$(y-x)\left((1-t)(f(y)-f(x))-(f(tx+(1-t)y)-f(x))\right)⩾0.$$整理立得.

最终, 我们来证明 $5)\iff 1)$ : 假设 ${\Gamma }_{⩾f}$ 是凸集, 那么对任意的 $x,y\in I$, 我们有 $(x,f(x)),(y,f(y))\in {\Gamma }_{⩾f}$, 所以, 对任意的 $t\in [0,1]$, 我们有$$(tx+(1-t)y,tf(x)+(1-t)f(y))\in {\Gamma }_{⩾f}.$$按照 ${\Gamma }_{⩾f}$ 的定义, 我们有 $f(tx+(1-t)y)⩽tf(x)+(1-t)f(y))$.

反之, 假设 1) 成立, 任选 $(x_1,y_1),(x_2,y_2)\in {\Gamma }_{⩾f}$, 按照定义 $y_1⩾f(x_1)$, $y_2⩾f(x_2)$. 考虑这两个点所连线段上的任意一个点 $(x,y)=t(x_1,y_1)+(1-t)(x_2,y_2)$, 其中 $t\in [0,1]$. 根据 1), 我们知道$$f(x)⩽tf(x_1)+(1-t)f(x_2)⩽t{y}_1+(1-t)y_2=y,$$所以 $(x,y)\in {\Gamma }_{⩾f}$.

$\square$

根据等价定义中的第一条, 我们可以证明:

命题 17.2 (Jensen 不等式). 假设 $f:I\to \mathbb{R}$ 是凸函数, 那么对任意的 $x_1,\cdots ,x_n\in I$ 和任意的 $t_1,\cdots ,t_n\in [0,1]$, 其中 $t_1+t_2+\cdots +t_n=1$, 我们有$$f(t_1{x}_1+\cdots +t_n{x}_n)⩽t_{1}f(x_1)+\cdots +t_{n}f(x_n).$$

证明. 我们对 $n$ 进行归纳. $n=2$ 时, 这是定义; 假设对 $n$ 成立, 考虑 $n+1$ 的情形. 对任意给定的 $x_1,\cdots ,x_{n+1}\in I$, $t_1,\cdots ,t_{n+1}\in [0,1]$, 其中 $t_1+t_2+\cdots +t_{n+1}=1$, 我们有$$\begin{array}{rl}f(t_1{x}_1+\cdots +t_n{x}_n+t_{n+1}{x}_{n+1})& =f((1-t_{n+1})\frac{t_1{x}_1+\cdots +t_n{x}_n}{1-t_{n+1}}+t_{n+1}{x}_{n+1}).\end{array}$$不难看出, $\frac{t_1{x}_1+\cdots +t_n{x}_n}{1-t_{n+1}}\in I$, 此时我们用等价定义中的第一条, 就得到$$\begin{array}{rl}f(t_1{x}_1+\cdots +t_n{x}_n+t_{n+1}{x}_{n+1})& ⩽(1-t_{n+1})f(\frac{t_1}{1-t_{n+1}}{x}_1+\cdots +\frac{t_n}{1-t_{n+1}}{x}_n)+t_{n+1}f(x_{n+1})\\ & ⩽(1-t_{n+1})\left(\frac{t_1}{1-t_{n+1}}f(x_1)+\cdots +\frac{t_n}{1-t_{n+1}}f(x_n)\right)+t_{n+1}f(x_{n+1})\\ & =t_{1}f(x_1)+\cdots +t_{n+1}f(x_{n+1}).\end{array}$$这就完成了证明.

$\square$

注记. 我们会利用这个命题来证明很多经典的不等式.

一个凸函数可以不连续, 比如说下图所示的函数

它在左端点处不连续. 然而, 这是一个凸函数可能不连续的唯一方式:

定理 17.3. $I\subset \mathbb{R}$ 是区间, $f:I\to \mathbb{R}$ 是凸函数, 我们令 $\mathring{I}$ 为 $I$ 的内部 (对于 $I=[a,b],[a,b),(a,b]$ 或 $(a,b)$, 那么 $\mathring{I}=(a,b)$) , 那么

1)	$f\in C(\mathring{I})$.
2)	对任意的 $x_0\in \mathring{I}$, $f$ 在 $x_0$ 处的左导数 $f^{\prime -}(x_0)$ 和右导数 $f^{\prime +}(x_0)$ 存在. 进一步, 它们满足$$f^{\prime -}(x_0)⩽f^{\prime +}(x_0).$$
3)	对任意的 $x,y\in \mathring{I}$, 如果 $x<y$, 那么我们有$$f^{\prime -}(x)⩽\frac{f(y)-f(x)}{y-x}⩽f^{\prime +}(y).$$
4)	左右导数 $f^{\prime \pm }:\mathring{I}\to \mathbb{R}$ 是递增的函数.

证明. 任意选定 $x_0\in \mathring{I}$. 存在 $h_1,h_2>0$, $x_0-h_1,x_0+h_2\in \mathring{I}$, 对三个点 $x_0-h_1,x_0$ 和 $x_0+h_2$ 用凸性的第二个等价定义, 我们得到$$\frac{f(x_0)-f(x_0-h_1)}{h_1}⩽\frac{f(x_0+h_2)-f(x_0)}{h_2},$$根据凸性的第三个等价定义, 由于上述不等式的右边是 $h_2$ 的增函数, 令 $h_2\to 0$, 我们立即得到右导数的存在性; 类似地, 如果令 $h_1\to 0$, 我们就得到左右导数存在性. 既然左右导数都存在, 那么, $f$ 自然在 $\mathring{I}$ 上连续.

为了证明 3), 我们先令 $h_2\to 0$, 从而, $$\frac{f(x_0)-f(x_0-h_1)}{h_1}⩽f^{\prime +}(x_0),$$令 $x_0=y$, $x_0-h_1=x$, 我们就得到了 3) 中不等式的右边; 左边类似可得.

为了证明 4), 我们考虑 3) 中的不等式$$f^{\prime -}(x)⩽\frac{f(x)-f(z)}{x-z}⩽\frac{f(z)-f(y)}{z-y},$$其中 $x<z<y$, 后一个不等式是运用凸性的第三个等价定义. 再令 $z\to y$ ($z<y$) 就证明了结论.

$\square$

上述分析性质基本上刻画了凸函数:

定理 17.4. 假设 $I$ 是开区间, $f:I\to \mathbb{R}$ 是函数. 如下两个性质等价:

1)	$f$ 是凸函数;
2)	$f$ 是连续函数, $f$ 的右导数处处存在并且是增函数.

证明. 只要说明 2)$\Rightarrow$1) 即可: 我们固定 $I$ 中的三个点 $x<y<z$, 对任意的 $t\in [y,z]$, 我们有 $f^{\prime +}(y)⩽f^{\prime +}(t)⩽f^{\prime +}(z)$. 我们定义函数$$g:[y,z]\to \mathbb{R},t\mapsto f(t)-t{f}^{\prime +}(y).$$那么, 对于 $t\in (y,z)$, $g$ 在 $t$ 处的右导数 $g^{\prime +}(t)=f^{\prime +}(t)-f^{\prime +}(y)⩾0$. 把这个和导数的性质做类比, 我们想说明 $g$ 是 $t\in (y,z)$ 的增函数:

引理 17.5. 假设 $g:[a,b]\to \mathbb{R}$ 是连续函数并且右导数在每个点处都定义. 如果对任意的 $t\in (a,b)$, 我们都有 $g^{\prime +}(t)⩾0$, 那么 $g(a)⩽g(b)$.

先假设引理是成立的, 那么我们有 $g(z)⩾g(y)$, 经过整理, 我们得到$$f^{\prime +}(y)⩽\frac{f(z)-f(y)}{z-y}.$$类似地, 我们可以证明$$f^{\prime +}(y)⩾\frac{f(y)-f(x)}{y-x}.$$从而, $$\frac{f(y)-f(x)}{y-x}⩽\frac{f(z)-f(y)}{z-y}.$$所以, 我们有$$\det \left(\begin{array}{ccc}1& 1& 1\\ x& y& z\\ f(x)& f(y)& f(z)\end{array}\right)=\det \left(\begin{array}{ccc}1& 0& 0\\ x& y-x& z-y\\ f(x)& f(y)-f(x)& f(z)-f(y)\end{array}\right)⩾0.$$这表明 $f$ 是凸函数.

$\square$

引理的证明. (证明的重要想法: 退 $\epsilon$-步海阔天空) 任意选定 $\epsilon >0$, 令$${\phi }_{\epsilon }:[a,b]\to \mathbb{R},x\mapsto -(g(x)-g(a))-\epsilon (x-a).$$此时, ${\phi }_{\epsilon }^{\prime +}⩽-\epsilon <0$, 我们实质上想证明这是一个递减的函数, 如果成立的话, 那么$${\phi }_{\epsilon }(a)⩾{\phi }_{\epsilon }(b)\Rightarrow \underset{\text{过渡的结论}}{\underbrace{0⩾{\phi }_{\epsilon }(b)}}\Rightarrow g(b)-g(a)⩾-\epsilon (b-a).$$令 $\epsilon \to 0$ 就得到了要证明的结论.

我们现在直接证明上述过渡的结论. 为此, 定义 ¹$$X_{{\epsilon }_1}=\{x\in [a,b]|{\phi }_{\epsilon }(x)⩽{\epsilon }_1\}$$由于 $X_{{\epsilon }_1}=[a,b]\cap ({\phi }_{\epsilon }{)}^{-1}((-\infty ,{\epsilon }_1])$ 是闭集, 所以它的上确界 $c=\sup X_{{\epsilon }_1}\in X_{{\epsilon }_1}$. 我们想证明 $b\in X$ (从而, ${\epsilon }_1⩾{\phi }_{\epsilon }(b)$, 令 ${\epsilon }_1\to 0$, 过渡性结论就成立了) , 即要证明 $c=b$.

因为 ${\phi }_{\epsilon }(a)=0$, 所以 $a\in X_{{\epsilon }_1}$. 特别地, 根据 ${\phi }_{\epsilon }(x)$ 的连续性, 存在 $\delta >0$, 使得 $[a,a+\delta )\subset X_{{\epsilon }_1}$. 所以 $X_{{\epsilon }_1}\ne \varnothing$ 并且 $c>a$.

我们用反证法证明 $c=b$: 如若不然, 我们假设 $c<b$. 先说明 ${\phi }_{\epsilon }(c)={\epsilon }_1$, 这因为按照定义 ${\phi }_{\epsilon }(c)⩽{\epsilon }_1$, 如果等号不成立, 那么 ${\phi }_{\epsilon }(c)<{\epsilon }_1$, 根据 ${\phi }_{\epsilon }(x)$ 的连续性, 存在比 $c$ 略大的数使得其值仍然不超过 ${\epsilon }_1$, 这就与 $c=\sup X_{{\epsilon }_1}$ 矛盾.

其次根据右导数的信息, ${\phi }_{\epsilon }^{\prime +}(c)⩽-\epsilon$, 利用右导数的定义, 存在 $h_0>0$, 使得当 $h\in [0,h_0)$ 时, 我们有$$\frac{{\phi }_{\epsilon }(c+h)-{\phi }_{\epsilon }(c)}{h}<-\frac{1}{2}\epsilon .$$从而, $${\phi }_{\epsilon }(c+h)<{\epsilon }_1-\frac{1}{2}\epsilon h<{\epsilon }_1.$$这表明 $[c,c+h_0)\subset X_{\epsilon }$, 这和 $c$ 是上确界矛盾.

$\square$

推论 17.6. 假设 $I\subset \mathbb{R}$ 是开区间, $f$ 是 $I$ 上二次可微的实值函数. 如下两个陈述是等价的:

1)	$f$ 是凸函数;
2)	$f^{\prime \prime }⩾0$.

证明. 这是上面定理的直接推论.

$\square$

注记. 这个推论是最常用的来判断凸性的工具, 因为函数二阶导数通常容易计算.

推论 17.7 (函数图像的支撑直线). $f:I\to \mathbb{R}$ 是区间 $I$ 上的凸函数, $x_0\in \mathring{I}$. 考虑 ${\mathbb{R}}^2$ 上的过 $(x_0,f(x_0))$ 直线$${\ell }_m=\{(x,y)\in {\mathbb{R}}^2\mid y=m(x-x_0)+f(x_0)\},$$其中斜率 $m\in \mathbb{R}$. 那么, ${\ell }_m$ 在 $f$ 的图像之下当且仅当 $f^{\prime -}(x_0)⩽m⩽f^{\prime +}(x_0)$.

证明. 定理的证明过程表明, 当 $x>x_0$ 时, 我们有$$f^{\prime +}(x_0)⩽\frac{f(x)-f(x_0)}{x-x_0}\Rightarrow f(x)⩾f(x_0)+(x-x_0)f^{\prime +}(x_0).$$反过来, 当 $x<x_0$ 时, 我们有$$f(x)⩾f(x_0)+(x-x_0)f^{\prime -}(x_0).$$据此, 当 $m⩽f^{\prime +}(x_0)$ 时, 在 $x_0$ 的右边, 该直线在 $f$ 的图像之下; 当 $m⩾f^{\prime -}(x_0)$ 时, 在 $x_0$ 的做边, 该直线在 $f$ 的图像之下.

反之, 假设 ${\ell }_m$ 在 $f$ 的图像之下, 在 $x_0$ 处的右边的时候, 我们有 $f(x)⩾m(x-x_0)+f(x_0)$, 从而$$f^{\prime +}(x_0)=\underset{x\to x_0^{+}}{\lim }\frac{f(x)-f(x_0)}{x-x_0}⩾m.$$类似地, 我们可以证明另一边的不等式.

$\square$

用凸函数证明常见的不等式

我们给出两个例子: Minkowski 不等式和算术-几何平均值不等式.

1)

假设 $p⩾1$, 对于 $x\in [0,1]$, 函数 $f(x)=(1-x^{\frac{1}{p}}{)}^p$ 是凸函数, 这因为$$f^{\prime }(x)=-x^{\frac{1}{p}-1}(1-x^{\frac{1}{p}}{)}^{p-1}$$是递增的函数 (求两次导数的表达式不是很简单) . 假设 $a_i,b_i\in {\mathbb{R}}_{⩾0}$ 并且假设 $a_i+b_i\ne 0$, 其中 $i=1,2,\cdots ,n$. 我们令$$x_i=\frac{a_i^p}{(a_i+b_i{)}^p},t_i=\frac{(a_i+b_i{)}^p}{\sum _{k=1}^n(a_k+b_k{)}^p}.$$Jensen 不等式给出了如下所谓的 Minkowski 不等式: $$(\sum _{k=1}^n(a_k+b_k{)}^p{)}^{\frac{1}{p}}⩽(\sum _{k=1}^n{a}_k^p{)}^{\frac{1}{p}}+(\sum _{k=1}^n{b}_k^p{)}^{\frac{1}{p}}.$$作为推论, 对于线性空间 $V={\mathbb{R}}^n$, 我们定义$$\Vert x{\Vert }_p=(\sum _{k=1}^n{x}_k^p{)}^{\frac{1}{p}},$$其中, $x=(x_1,\cdots ,x_p)$. 此时, Minkowski 不等式讲的是$$\Vert x{\Vert }_p+\Vert y{\Vert }_p⩾\Vert x+y{\Vert }_p.$$这表明 $\Vert x{\Vert }_p$ 是范数 ($p=2$ 或者 $1$ 我们更熟悉) . 另外, 我们还可以采取如下的范数: $$\Vert x{\Vert }_{\infty }=\underset{k⩽n}{\sup }|x_k|.$$

2)

函数 $-\log x$ 是 ${\mathbb{R}}_{>0}$ 上的凸函数, 这因为$$(-\log x{)}^{\prime \prime }=\frac{1}{x^2}⩾0$$假设 $x_1,\cdots ,x_n$ 是正数, 根据 Jensen 不等式, 我们有$$-\log \left(\frac{1}{n}{x}_1+\cdots +\frac{1}{n}{x}_n\right)⩽-\frac{1}{n}\log (x_1)-\cdots -\frac{1}{n}\log (x_n).$$这个等价于算术-几何平均值不等式: $$\frac{1}{n}(x_1+\cdots +x_n)⩾(x_1\cdots x_n{)}^{\frac{1}{n}}.$$