重对数律

重对数律是概率极限理论中非常精细的结果, 其程度比强大数定律更甚. 它大致是说: 独立随机变量序列的部分和在项数很大时几乎必然被限制在一个区间内, 这个区间的长度与函数 $x\log \log x$ 有关.

最早的重对数律由 Khintchine 提出, 那时这个结果是用于研究正规数的. 设 $N_n(\omega )$ 表示实数 $\omega \in [0,1]$ 的二进制表示前 $n$ 位小数中数码 $1$ 出现的次数. 由强大数定律不难得到: $N_n/n\stackrel{a.s.}{\to }1/2$. 而重对数律则给出更精细的结果: $$\underset{n\to \infty }{\mathrm{limsup}}\frac{N_n-\frac{n}{2}}{\sqrt{\frac{1}{2}n\log \log n}}=1a.s..$$

1定理描述

重对数律有很多版本, 其中一个很强的版本由 Kolmogorov 给出.

定理 1.1 (Kolmogorov 重对数律). 设 $(X_n{)}_{n\ge 1}$ 是概率空间 $(\Omega ,\mathcal{F},\mathbb{P})$ 中的相互独立的随机变量序列. 如果$$\mathbb{E}(X_n)=0,\mathbb{E}(X_n^2):={\sigma }_n^2,B_n=\sum _{k=1}^n{\sigma }_k^2\to \infty ,$$且存在正数序列 $(M_n)$ 满足$$M_n=o\left((B_n/\log \log B_n{)}^{\frac{1}{2}}\right),|X_n|\le M_{n}a.s.,$$记 $S_n={\sum }_{k=1}^n{X}_k$, 则$$\underset{n\to \infty }{\mathrm{limsup}}\frac{S_n}{(2B_n\log \log B_n{)}^{\frac{1}{2}}}=1a.s..$$

注意, 如果 $(X_n)$ 服从上述定理的条件, 则 $(-X_n)$ 也满足. 于是还有$$\underset{n\to \infty }{\mathrm{liminf}}\frac{S_n}{(2B_n\log \log B_n{)}^{\frac{1}{2}}}=-1a.s..$$于是, 可以得到 $S_n$ 在几乎必然意义下的变化范围. 两个式子可以联合写成$$\underset{n\to \infty }{\mathrm{limsup}}\frac{|S_n|}{(2B_n\log \log B_n{)}^{\frac{1}{2}}}=1a.s..$$另外, 这个定理可以轻易地转化为期望非零的情形, 只需把 $S_n$ 替换为 $S_n-\mathbb{E}(S_n)$, 把 $\mathbb{E}(X_n^2)$ 替换为 $\mathrm{Var}(X_n)$.

Kolmogorov 的定理条件比较复杂. 下面的定理讨论了独立同分布随机变量序列的情形.

定理 1.2 (Hartman–Wintner 重对数律). 设 $(X_n{)}_{n\ge 1}$ 是独立同分布的随机变量序列. 设 $\mathbb{E}(X_1)=0,\mathrm{Var}(X_1)=1$, 则$$\underset{n\to \infty }{\mathrm{limsup}}\frac{S_n}{\sqrt{2n\log \log n}}=1a.s..$$

如果 $\mathbb{E}(X_1)=\mu ,\mathrm{Var}(X_1)={\sigma }^2$, 则上述定理变为$$\underset{n\to \infty }{\mathrm{limsup}}\frac{S_n-n\mu }{\sigma \sqrt{2n\log \log n}}=1a.s..$$

2定理证明

我们来证明定理 1.1. 证明中需要三个引理.

引理 2.1 (Lévy 不等式). 设 $(X_n{)}_{n\ge 1}$ 为相互独立的随机变量序列, 令 $S_n={\sum }_{k=1}^n{X}_k$. 则对任意正数 $\epsilon$: $$\begin{gathered} \mathbb{P}\left(\underset{1\le k\le n}{\max }(S_k+m(S_n-S_k))\ge \epsilon \right)\le 2\mathbb{P}(S_n\ge \epsilon ), \\ \mathbb{P}\left(\underset{1\le k\le n}{\max }|S_k+m(S_n-S_k)|\ge \epsilon \right)\le 2\mathbb{P}(|S_n|\ge \epsilon ). \end{gathered}$$其中 $m(X)$ 表示随机变量 $X$ 的中位数.

证明参见词条几乎必然收敛中的引理 2.5.

接下来是两个技术性的估计引理. 不失一般性, 假设 $(M_n)$ 是不减数列. 令 $q_n(x)=\mathbb{P}(S_n\ge x)$.

引理 2.2. 如果实数 $x$ 满足 $0\le x{M}_n\le B_n$, 则$$q_n(x)\le \exp \left(-\frac{x^2}{2B_n}\left(1-\frac{x{M}_n}{2B_n}\right)\right);$$如果 $x{M}_n\ge B_n$, 则$$q_n(x)\le \exp \left(-\frac{x}{4M_n}\right).$$

证明.

证明. (…)

$\square$

引理 2.3. 如果正数数列 $(x_n{)}_{n\ge 1}$ 满足$$\underset{n\to \infty }{\lim }\frac{x_n{M}_n}{B_n}=0,\underset{n\to \infty }{\lim }\frac{x_n^2}{B_n}=\infty ,$$则对任意正数 $\mu$ 和充分大的 $n$ 有$$q_n(x_n)\ge \exp \left(-\frac{x_n^2}{2B_n}(1+\mu )\right).$$

证明.

证明. (…)

$\square$

定理 1.1 的证明. 考虑充分大的 $n$. 为简单起见, 记 $h(n)=(2B_n\log \log B_n{)}^{\frac{1}{2}}$. 接下来的证明分两步进行. 不难发现, 只要完成这两步, 定理就已经得证.

第一步: 证明对任意 $\epsilon >0$: $$\mathbb{P}(S_n>(1+\epsilon )h(n)i.o.)=0.$$为了之后的使用, 先对 $B_n$ 的增长做一点研究. 因为 $B_n\to \infty$, 对任意的 $\tau >0$, 存在一个正整数不减序列 $(n_k{)}_{k\ge 1}$, 满足$$B_{n_k-1}\le (1+\tau {)}^k<B_{n_k},$$故$$1>\frac{(1+\tau {)}^k}{B_{n_k}}\ge \frac{B_{n_k}-{\sigma }_{n_k}^2}{B_{n_k}}\to 1,$$即 $B_{n_k}\sim (1+\tau {)}^k$. 进一步: $$B_{n_k}-B_{n_{k-1}}=B_{n_k}\left(1-\frac{B_{n_{k-1}}}{B_{n_k}}\right)\sim B_{n_k}\cdot \frac{\tau }{1+\tau }.$$记 ${\tilde{S}}_{n_k}={\max }_{n\le n_k}{S}_n$. 我们来证明: 对任意 $r>0$ $$\sum _{k=1}^{\infty }\mathbb{P}({\tilde{S}}_{n_k}>(1+r)h(n_k))<\infty .$$(1)首先指出一个事实: 对任意期望为 $0$ 的随机变量 $X$, 有$$m(X)\le \sqrt{2\mathrm{Var}(X)},$$其中 $m(X)$ 的含义参考引理 2.1. 实际上, 由 Chebyshev 不等式: 对任意 $ϵ>0$ 有$$\mathbb{P}\left(|X|\ge \sqrt{(2+ϵ)\mathrm{Var}(X)}\right)\le (2+ϵ{)}^{-1}<\frac{1}{2},$$也就证明了这一事实. 结合它与引理 2.1 得: $$\begin{array}{rl}\mathbb{P}({\tilde{S}}_{n_k}>(1+r)h(n_k))& \le 2\mathbb{P}\left(S_{n_k}>(1+r)h(n_k)-\sqrt{2B_{n_k}}\right)\\ & \le 2\mathbb{P}(S_{n_k}>(1+r_1)h(n_k)),\end{array}$$其中第二个不等号对任意给定的 $r_1\in (0,r)$ 和充分大的 $k$ 成立. 根据引理 2.2, 对任意 $\mu >0$ 和充分大的 $k$: $$\begin{array}{rl}\mathbb{P}(S_{n_k}>(1+r_1)h(n_k))& \le (\log B_{n_k}{)}^{-(1-\mu )(1+r_1{)}^2}\\ & \le (k\log (1+\tau ){)}^{-(1-\mu )(1+r_1{)}^2}\end{array}$$取 $\mu$ 使得 $(1-\mu )(1+r_1{)}^2>1$, 即证得 (1) 式. 现在, 对任意 $\epsilon >0$: $$\begin{array}{rl}\mathbb{P}(S_n>(1+\epsilon )h(n)i.o.)& \le \mathbb{P}\left(\underset{n_{k-1}\le n<n_k}{\max }{S}_n>(1+\epsilon )h(n_{k-1})i.o.\right)\\ & \le \mathbb{P}({\tilde{S}}_{n_k}>(1+\epsilon )h(n_{k-1})i.o.).\end{array}$$因为 $B_{n_k}\sim (1+\tau {)}^k$, 由基本的计算知 $h(n_k)/h(n_{k-1})<\sqrt{1+2\tau }$ 对充分大的 $k$ 成立. 于是$$\mathbb{P}(S_n>(1+\epsilon )h(n)i.o.)\le \mathbb{P}\left({\tilde{S}}_{n_k}>\frac{1+\epsilon }{\sqrt{1+2\tau }}h(n_k)i.o.\right).$$取合适的 $r,\tau$ 使得 $\frac{1+\epsilon }{\sqrt{1+2\tau }}>1+r$, 得$$\mathbb{P}(S_n>(1+\epsilon )h(n)i.o.)\le \mathbb{P}({\tilde{S}}_{n_k}>(1+r)h(n_k)i.o.).$$由 (1) 式和 Borel–Cantelli 引理就证明了第一步. 在这之后我们还需要一小步. 用 $-S_n$ 代替第一步结论中的 $S_n$, 结合可得$$\mathbb{P}(|S_n|>(1+\epsilon )h(n)i.o.)=0.$$(2)这会在第二步证明中发挥作用.

第二步: 证明对任意 $\epsilon >0$: $$\mathbb{P}(S_n>(1-\epsilon )h(n)i.o.)=1.$$记$$\psi (n_k)=(2(B_{n_k}-B_{n_{k-1}})\log \log (B_{n_k}-B_{n_{k-1}}){)}^{\frac{1}{2}},$$利用不等式 $\mathbb{P}(A\cap B)\ge \mathbb{P}(A)-\mathbb{P}(\bar{B})$, 有$$\begin{array}{rl}\mathbb{P}(S_{n_k}-S_{n_{k-1}}>(1-r)\psi (n_k))& \ge \mathbb{P}((S_{n_k}>(1-r/2)\psi (n_k))\cap (S_{n_{k-1}}<(r/2)\psi (n_k)))\\ & \ge \mathbb{P}(S_{n_k}>(1-r/2)\psi (n_k))-\mathbb{P}(S_{n_{k-1}}\ge (r/2)\psi (n_k)).\end{array}$$根据计算可以求得 $\psi (n_k)/h(n_{k-1})\sim {\tau }^{1/2}$. 应用引理 2.2, 对充分大的 $k$: $$\begin{array}{rl}\mathbb{P}(S_{n_{k-1}}\ge (r/2)\psi (n_k))& \le \mathbb{P}(S_{n_{k-1}}\ge (r\sqrt{\tau }/3)h(n_{k-1}))\\ & \le (\log B_{n_{k-1}}{)}^{-r^2\tau /5}.\end{array}$$应用引理 2.3, 对任意 $\mu >0$ 和充分大的 $k$: $$\begin{array}{rl}\mathbb{P}(S_{n_k}>(1-r/2)\psi (n_k))& \ge \mathbb{P}(S_{n_k}>(1-r/2)h(n_k))\\ & \ge (\log B_{n_k}{)}^{-(1+\mu )(1-r/2{)}^2}.\end{array}$$所以, 取 $\tau$ 充分大, 结合 $\log B_{n_k}\sim k\log (1+\tau )$, 得$$\begin{array}{rl}\mathbb{P}(S_{n_k}-S_{n_{k-1}}>(1-r)\psi (n_k))& \ge c\left(k^{-(1+\mu )(1-r/2{)}^2}-k^{-r^2\tau /5}\right)\\ & \ge \frac{c}{2}\cdot k^{-(1+\mu )(1-r/2{)}^2}.\end{array}$$取 $\mu$ 使得 $(1+\mu )(1-r/2{)}^2<1$, 则$$\sum _{k=1}^{\infty }\mathbb{P}(S_{n_k}-S_{n_{k-1}}>(1-r)\psi (n_k))=\infty .$$由 Borel–Cantelli 引理, 对任意 $r\in (0,1)$: $$\mathbb{P}(S_{n_k}-S_{n_{k-1}}>(1-r)\psi (n_k)i.o.)=1.$$(3)又当 $k\to \infty$ 时, 计算得出: $$(1-r)\psi (n_k)-2h(n_{k-1})\sim \frac{(1+r)\sqrt{\tau }-2}{\sqrt{1+\tau }}h(n_k),$$由 (2) 知: 存在零概率事件 $A$, 使得 $\omega \notin A$ 时, 存在 $n_0(\omega )$, 只要 $n\ge n_0(\omega )$, 就有 $|S_n(\omega )|\le 2h(n)$. 对给定的 $\epsilon >0$, 取 $r,\tau$ 使得$$\frac{(1+r)\sqrt{\tau }-2}{\sqrt{1+\tau }}>1-\epsilon ,$$则由 (2) 和 (3) 得$$\begin{array}{rl}\mathbb{P}(S_{n_k}>(1-\epsilon )h(n_k)i.o.)& \ge \mathbb{P}(S_{n_k}>(1-r)\psi (n_k)-2h(n_{k-1})i.o.)\\ & \ge \mathbb{P}(S_{n_k}-S_{n_{k-1}}>(1-r)\psi (n_k)i.o.)\\ & =1.\end{array}$$第二步得证.

综合第一步和第二步, 定理得证.

$\square$

3参考文献

•	林正炎 , 陆传荣 , 苏中根 (1999). 概率极限理论基础. 高等教育出版社.

术语翻译

重对数律 • 英文 law of the iterated logarithm • 德文 Gesetz des iterierten Logarithmus (f) • 法文 loi du logarithme itéré (f)