收敛 (随机变量)

在概率论中, 随机变量的收敛性有诸多刻画, 例如在分析学中常见的几种收敛方式 (几乎处处收敛, 依 $L^p$ 范数收敛等), 以及在概率中应用广泛的依分布收敛.

本文总结了常见的有关随机变量的收敛性概念, 以及它们之间的关系.

1定义

在以下的讨论中, 为了记号的一致性如无特殊声明我们只考虑实值随机变量的情形.

定义 1.1 (依概率 $1$ 收敛). 记 $(X_n{)}_{n\in \mathbb{N}}$ 是在概率空间 $(\Omega ,\mathcal{F},\mathbb{P})$ 中的随机变量列. 则 $X_n$ 依概率 $1$ 收敛于 $X$ 是指$$\mathbb{P}(\underset{n\to \infty }{\lim }{X}_n(\omega )=X(\omega ))=1.$$记作 $X_n\stackrel{a.s.}{⟶}X$

这即是分析学中所说几乎处处收敛.

定义 1.2 (依概率收敛). 记 $(X_n{)}_{n\in \mathbb{N}}$ 在概率空间 $(\Omega ,\mathcal{F},\mathbb{P})$ 中的随机变量列. 则 $X_n$ 依概率收敛于 $X$ 是指$$\forall ϵ>0\underset{n\to \infty }{\lim }\mathbb{P}(|X_n(\omega )-X(\omega )|>ϵ)=0.$$记作 $X_n\stackrel{\mathbb{P}}{⟶}X$

这即是分析学中所说依测度收敛.

定义 1.3 ($L^p$ 收敛). 记 $(X_n{)}_{n\in \mathbb{N}}$ 在概率空间 $L^p(\Omega ,\mathcal{F},\mathbb{P})$ 中的随机变量列. 则 $X_n$ 依 $L^p$ 收敛于 $X$ 是指$$\underset{n\to \infty }{\lim }\mathbb{E}[|X_n-X{|}^p]=0.$$记作 $X_n\stackrel{L^p}{⟶}X$

这即是说它在 $L^p$ 空间中依范数收敛.

定义 1.4 (依分布收敛). 记 $(X_n{)}_{n\in \mathbb{N}}$ 在概率空间 $(\Omega ,\mathcal{F},\mathbb{P})$ 中的随机变量列. 则 $X_n$ 依分布收敛于 $X$ 是指$$\underset{n\to \infty }{\lim }\mathbb{P}(X_n\le x)=\mathbb{P}(X\le x).$$记作 $X_n\stackrel{d}{⟶}X$

在这种情况下, 依分布收敛是指累计分布函数的处处收敛. (事实上其等价于累积分布函数的一致收敛)

在更一般的情况下, 我们可以考虑取值在波兰空间 $\mathcal{P}$ (可分完备的度量空间) 中的随机变量列并取度量诱导的拓扑. 我们有:

定义 1.5 (依分布收敛). 记 $(X_n{)}_{n\in \mathbb{N}}$ 在概率空间 $(\Omega ,\mathcal{F},\mathbb{P})$ 中的 $\mathcal{P}-$ 值随机变量列, $({\mu }_n{)}_{n\in \mathbb{N}}$ 是它在 $\mathcal{P}$ 上诱导的测度. 则 $X_n$ 依分布收敛于 $X$ 是指 ${\mu }_n$ 弱收敛于 $\mu$, 亦即对于一切 $\mathcal{P}$ 上有界连续函数 $\phi$ 有$$\underset{n\to \infty }{\lim }\mathbb{E}[\phi (X_n)]=\mathbb{E}[\phi (X)].$$

依概率 $1$ 收敛与依概率收敛可以毫无难度地推广到波兰空间中去.

2性质

在实值随机变量的情况下, 或以上收敛都可以定义的情况下, 我们有各收敛的强弱性$$（X_n\stackrel{a.s.}{⟶}X）⟹（X_n\stackrel{\mathbb{P}}{⟶}X）⟹（X_n\stackrel{d}{⟶}X）$$$$（X_n\stackrel{L^p}{⟶}X）⟹（X_n\stackrel{\mathbb{P}}{⟶}X）$$通常我们没有几乎处处收敛与 $L^p$ 收敛之间的关系, 也没有反向的强弱关系. 但是正如我们熟悉的那样, 对于依概率收敛和依 $L^p$ 收敛的随机变量列, 我们可以找到一个几乎处处收敛的子列.

另外, 我们有与 $L^p$ 收敛息息相关的概念

定义 2.1 (一致可积). 一族 $L^1$ 中的随机变量 $(X_i{)}_{i\in I}$ 一致可积是指: $$\underset{M\to +\infty }{\lim }\underset{i\in I}{\sup }\mathbb{E}[|X_i|{\text{1}}_{|X_i|>M}]=0$$

从而我们有如下的结论:

命题 2.2. 记 $(X_n{)}_{n\in \mathbb{N}}$ 在概率空间 $L^1(\Omega ,\mathcal{F},\mathbb{P})$ 中的随机变量列, 且 $X_n\stackrel{\mathbb{P}}{⟶}X$. 则以下条件等价:

1. $X_n\stackrel{L^1}{⟶}X$

1. $(X_n{)}_{n\in \mathbb{N}}$ 一致可积

1. $\mathbb{E}[|X_n|]\to \mathbb{E}[|X|]<+\infty$.

这个结论可以容易地推广到 $L^p$ 中去, 因而我们有在 ($L^p$) 一致可积的条件下依概率收敛与依 $L^p$ 收敛的等价关系.

对于依分布收敛, 由于它所描述的收敛性与之前的收敛差别太大, 所以一般没有任何可以提供反向包含关系的条件, 但是我们仍然有

命题 2.3. $$（X_n\stackrel{\mathbb{P}}{⟶}0）⟺（X_n\stackrel{d}{⟶}0).$$

同时, 我们可以用特征函数刻画依分布收敛的等价条件:

定理 2.4 (连续性定理). 记 $(X_n{)}_{n\in \mathbb{N}}$ 在概率空间 $L^1(\Omega ,\mathcal{F},\mathbb{P})$ 中的随机变量列, ${\phi }_n(t):=\mathbb{E}[e^{it{X}_n}]$ 为特征函数. 则 $X_n\stackrel{d}{⟶}$ 等价于 ${\phi }_n(t)\to \phi (t)$ 在所有 $\phi$ 的连续点上成立.

进一步地, 我们有依分布收敛的等价刻画:

定理 2.5 (Portemanteau). 记 $(X_n{)}_{n\in \mathbb{N}}$ 在概率空间 $(\Omega ,\mathcal{F},\mathbb{P})$ 中的 $\mathcal{P}$ 值随机变量, 则以下条件等价:

(1)$X_n\stackrel{d}{⟶}X$;

(2) 对于任意 $\mathcal{P}$ 上的有界一致连续函数 $\phi$, $$\underset{n\to \infty }{\lim }\mathbb{E}[\phi (X_n)]=\mathbb{E}[\phi (X)];$$

(3) 对于任意 $\mathcal{P}$ 中开集 $O$, $$\underset{n\to \infty }{\mathrm{limsup}}\mathbb{P}(X_n\in O)\le \mathbb{P}(X\in O);$$

(4) 对于任意 $\mathcal{P}$ 中闭集 $F$, $$\underset{n\to \infty }{\mathrm{liminf}}\mathbb{P}(X_n\in F)\ge \mathbb{P}(X\in F);$$

(5) 对于任意 $\mathcal{P}$ 中满足 $\mathbb{P}(X\in \partial G)=0$, $$\underset{n\to \infty }{\lim }\mathbb{P}(X_n\in G)=\mathbb{P}(X\in G);$$

这一定理是对依分布收敛的泛函刻画, 它指出依分布收敛是在 “值域上的” 收敛.

此外, 我们有对依分布收敛下紧性的刻画:

定理 2.6 (Prokhorov). 一族 $(\Omega ,\mathcal{F},\mathbb{P})$ 中的 $\mathcal{P}$ 值随机变量 $(X_i{)}_{i\in I}$ 是在依分布收敛意义下是紧集当且仅当这族随机变量一致胎紧, 亦即: 对于任意 $ϵ>0$, 存在一个紧集 $K\subset \mathcal{P}$, $$\underset{i\in I}{\sup }\mathbb{P}(X_i\notin K)\le ϵ$$

类似于 Portemanteau 定理, 它告诉我们当一族随机变量的在值域上分布地足够密集的情况下, 它们就是依分布收敛下的紧集.

3相关概念

•	随机变量
•	收敛 (函数)

术语翻译

随机变量的收敛 • 英文 convergence of random variables • 德文 Konvergenz von Zufallsvariablen • 法文 convergence de variables aléatoires