随机变量与概率分布

可测函数

设 $f : \mathbb{R} \to \mathbb{R}$。若对任意 $B \in \mathcal{B}(\mathbb{R})$，都有

$$f^{-1}(B)=\{x \in \mathbb{R}: f(x)\in B\}\in \mathcal{B}(\mathbb{R}),$$

则称 $f$ 为 Borel 可测函数，简称可测函数。

• 性质
  • $f^{-1}(\mathcal{B}(\mathbb{R}))=\{f^{-1}(B): B\in \mathcal{B}(\mathbb{R})\}$ 是 $\mathbb{R}$ 上的一个 $\sigma$ 代数。
  • 若 $\mathcal{C}$ 满足 $\sigma(\mathcal{C})=\mathcal{B}(\mathbb{R})$，且对任意 $B \in \mathcal{C}$ 都有 $f^{-1}(B)\in \mathcal{B}(\mathbb{R})$，则 $f$ 为可测函数。
  • 有 $f^{-1}(\mathcal{B}(\mathbb{R}))=\sigma \bigl(f^{-1}(\mathcal{C})\bigr)$。
• 常用判别
  • 只需验证一族生成 $\mathcal{B}(\mathbb{R})$ 的集合的原像是 Borel 集即可。
  • 例如只需对任意 $x \in \mathbb{R}$ 验证 $f^{-1}((-\infty, x])\in \mathcal{B}(\mathbb{R})$。
• 例子
  • $\mathbb{R}$ 上的连续函数、分段连续函数、单调有界函数等均为可测函数。

随机变量

设 $(\Omega, \mathcal{F}, P)$ 为概率空间，$\mathcal{B}(\mathbb{R})$ 表示 $\mathbb{R}$ 上的 Borel $\sigma$ 代数。若函数 $\xi : \Omega \to \mathbb{R}$ 满足对任意 $B \in \mathcal{B}(\mathbb{R})$，都有

$$\xi^{-1}(B)=\{\omega \in \Omega : \xi(\omega)\in B\}\in \mathcal{F},$$

则称 $\xi$ 为定义在 $(\Omega, \mathcal{F}, P)$ 上的随机变量。等价地说，随机变量就是从可测空间 $(\Omega, \mathcal{F})$ 到可测空间 $(\mathbb{R}, \mathcal{B}(\mathbb{R}))$ 的可测函数，即 $\xi$ 是 $(\mathcal{F}, \mathcal{B}(\mathbb{R}))$-可测的。

概率分布

设 $(\Omega, \mathcal{F}, P)$ 为概率空间，$\xi$ 为定义在其上的随机变量。定义在可测空间 $(\mathbb{R}, \mathcal{B}(\mathbb{R}))$ 上的集合函数 $P_{\xi}$

$$P_{\xi}(B)=P(\xi \in B)=P\bigl(\xi^{-1}(B)\bigr), \qquad B \in \mathcal{B}(\mathbb{R}),$$

称为随机变量 $\xi$ 的概率分布，简称 $\xi$ 的分布。等价地，$\xi$ 的分布就是概率测度 $P$ 在映射 $\xi$ 下的像测度，即

$$P_{\xi}=P \circ \xi^{-1}.$$

分布函数与密度函数

分布函数

设 $(\Omega, \mathcal{F}, P)$ 为概率空间，$\xi$ 为定义在其上的随机变量。称函数 $F : \mathbb{R} \to \mathbb{R}$，其中

$$F(x)=P(\xi \le x), \qquad x \in \mathbb{R},$$

为随机变量 $\xi$ 的分布函数。等价地，对任意 $x \in \mathbb{R}$，有

$$F(x)=P \circ \xi^{-1}((-\infty, x]).$$

分布函数的性质

设 $F(x)=P(X \le x)$ 为随机变量 $X$ 的分布函数，则

• $F$ 单调不减，即当 $x<y$ 时，$F(x)\le F(y)$
• $0 \le F(x) \le 1$
• $\lim\limits_{x\to -\infty} F(x)=0$
• $\lim\limits_{x\to +\infty} F(x)=1$
• $F$ 右连续，即对任意 $x \in \mathbb{R}$，有

$$F(x+0)=\lim_{t\downarrow x}F(t)=F(x)$$

并且对任意 $x \in \mathbb{R}$，左极限 $F(x-0)$ 存在。

常用关系式

$$\begin{align} &P(X \le x)=F(x), \quad P(X < x)=F(x-0)\\ & P(X=x)=F(x)-F(x-0)\\ & P(X > x)=1-F(x), \quad P(X \ge x)=1-F(x-0) \end{align}$$

对任意 $a<b$，有

$$P(a<X\le b)=F(b)-F(a)$$

密度函数

设随机变量 $X$ 的分布函数为 $F(x)$。若存在非负可测函数 $p : \mathbb{R} \to [0,+\infty)$，使得对任意 $x \in \mathbb{R}$，都有

$$F(x)=\int_{-\infty}^{x} p(t)\,dt,$$

则称 $X$ 为连续型随机变量，称函数 $p(x)$ 为 $X$ 的概率密度函数，简称密度函数。

等价地，对任意 $a<b$，有

$$P(a<X\le b)=\int_a^b p(x)\,dx.$$

密度函数的性质

设 $p(x)$ 为随机变量 $X$ 的密度函数，$F(x)=\int_{-\infty}^{x} p(t)\,dt$ 为其分布函数，则

• $p(x)\ge 0$
• $\int_{-\infty}^{+\infty} p(x)\,dx=1$
• 对任意 $a<b$，有

$$P(a<X\le b)=F(b)-F(a)=\int_a^b p(x)\,dx$$

• 对任意 $B \in \mathcal{B}(\mathbb{R})$，有

$$P(X\in B)=\int_B p(x)\,dx$$

• 若 $p$ 在点 $x$ 处连续，则

$$F'(x)=p(x)$$

• 对任意 $a \in \mathbb{R}$，有

$$P(X=a)=0$$

分布函数的分解

任一分布函数 $F$ 都可分解为

$$F(x)=F_d(x)+F_{ac}(x)+F_s(x), \qquad x \in \mathbb{R},$$

其中 $F_d,F_{ac},F_s$ 都是分布函数意义下的非降右连续函数，且分别对应离散部分、绝对连续部分和奇异部分。

离散部分 $F_d$ 可表示为至多可数个跳跃点贡献之和，即存在至多可数点集 $\{x_k\}$ 及常数 $p_k>0$，满足 $\sum_k p_k \le 1$，使得

$$F_d(x)=\sum_{x_k\le x} p_k.$$

其中

$$p_k=F(x_k)-F(x_k-0)=P(X=x_k).$$

绝对连续部分 $F_{ac}$ 满足存在可积函数 $p \ge 0$，使得

$$F_{ac}(x)=\int_{-\infty}^{x} p(t)\,dt.$$

奇异部分 $F_s$ 连续且几乎处处导数为 $0$，但仍可在某些 Lebesgue 零测集上增长。

若随机变量 $X$ 的分布函数为 $F$，则相应分布可唯一分解为离散分布、绝对连续分布与奇异分布之和；特别地，若 $F_s\equiv 0$，则称该分布由离散部分与绝对连续部分组成。

常见特殊情形如下。

• 若 $F=F_d$，则 $X$ 为离散型随机变量。
• 若 $F=F_{ac}$，则 $X$ 为连续型随机变量，且存在密度函数。
• 若 $F$ 连续但不存在密度，且又不是常数，则可能含有奇异部分。

常见离散分布

伯努利分布

设随机变量 $X$ 只取两个值 $0,1$。若存在 $p \in [0,1]$，使得

$$P(X=1)=p,\qquad P(X=0)=1-p,$$

则称 $X$ 服从参数为 $p$ 的伯努利分布，记作

$$X \sim \mathrm{Bernoulli}(p).$$

二项分布

设 $n \in \mathbb{N}$，$p \in [0,1]$。若随机变量 $X$ 的取值为 $0,1,\dots,n$，且对任意 $k=0,1,\dots,n$，有

$$P(X=k)=\binom{n}{k} p^k (1-p)^{n-k},$$

则称 $X$ 服从参数为 $n,p$ 的二项分布，记作 $X \sim \mathrm{Bin}(n,p)$。

二项分布可看作 $n$ 重独立伯努利试验中成功次数的分布。

几何分布

设 $p \in (0,1)$。若随机变量 $X$ 的取值为 $1,2,\dots$，且对任意 $k=1,2,\dots$，有

$$P(X=k)=(1-p)^{k-1}p,$$

则称 $X$ 服从参数为 $p$ 的几何分布，记作 $X \sim \mathrm{Geo}(p)$。

几何分布可看作独立重复伯努利试验中第一次成功出现的试验次数的分布。

帕斯卡分布

设 $r \in \mathbb{N}_{+}$，$p \in (0,1)$。若随机变量 $X$ 的取值为 $r,r+1,\dots$，且对任意 $k=r,r+1,\dots$，有

$$P(X=k)=\binom{k-1}{r-1} p^r (1-p)^{k-r},$$

则称 $X$ 服从参数为 $r,p$ 的帕斯卡分布，记作 $X \sim \mathrm{Pascal}(r,p)$。

帕斯卡分布可看作独立重复伯努利试验中第 $r$ 次成功出现时所对应的试验次数的分布。

泊松分布

设 $\lambda > 0$。若随机变量 $X$ 的取值为 $0,1,2,\dots$，且对任意 $k=0,1,2,\dots$，有

$$P(X=k)=\frac{\lambda^k}{k!} e^{-\lambda},$$

则称 $X$ 服从参数为 $\lambda$ 的泊松分布，记作 $X \sim \mathrm{Poisson}(\lambda)$。

泊松分布常用来描述在一定时间间隔、区域或体积内某类随机事件发生的次数分布。

常见连续分布

均匀分布

设 $a<b$。若随机变量 $X$ 的密度函数为

$$p(x)= \begin{cases} \frac{1}{b-a}, & a<x<b, \\ 0, & \text{其他}. \end{cases}$$

则称 $X$ 服从区间 $(a,b)$ 上的均匀分布，记作 $X \sim U(a,b)$。

其分布函数为

$$F(x)= \begin{cases} 0, & x\le a, \\ \frac{x-a}{b-a}, & a<x<b, \\ 1, & x\ge b. \end{cases}$$

均匀分布刻画随机变量在区间 $(a,b)$ 内各等长子区间上取值的概率只与区间长度有关，而与区间位置无关。

正态分布

设 $\mu \in \mathbb{R}$，$\sigma >0$。若随机变量 $X$ 的密度函数为

$$p(x)=\frac{1}{\sqrt{2\pi}\sigma}\exp\left\{-\frac{(x-\mu)^2}{2\sigma^2}\right\}, \qquad x\in\mathbb{R},$$

则称 $X$ 服从参数为 $\mu,\sigma^2$ 的正态分布，记作 $X \sim N(\mu,\sigma^2)$。

其分布函数为

$$F(x)=\int_{-\infty}^{x}\frac{1}{\sqrt{2\pi}\sigma}\exp\left\{-\frac{(t-\mu)^2}{2\sigma^2}\right\}\,dt.$$

当 $\mu=0,\sigma=1$ 时，称 $X$ 服从标准正态分布，记作 $X \sim N(0,1)$。其密度函数与分布函数分别记为

$$\varphi(x)=\frac{1}{\sqrt{2\pi}}e^{-x^2/2},$$ $$\Phi(x)=\int_{-\infty}^{x}\frac{1}{\sqrt{2\pi}}e^{-t^2/2}\,dt.$$

设 $X \sim N(\mu,\sigma^2)$，则其密度函数关于直线 $x=\mu$ 对称，即对任意 $x \in \mathbb{R}$，有

$$p(\mu+x)=p(\mu-x).$$

其分布函数满足

$$F(\mu+x)+F(\mu-x)=1, \qquad x \in \mathbb{R}.$$

特别地，标准正态分布的分布函数 $\Phi$ 满足

$$\Phi(-x)=1-\Phi(x), \qquad x \in \mathbb{R}.$$

若 $X \sim N(\mu,\sigma^2)$，则

$$\frac{X-\mu}{\sigma} \sim N(0,1).$$

反之，若 $Z \sim N(0,1)$，则

$$\mu+\sigma Z \sim N(\mu,\sigma^2).$$

因此对任意 $x \in \mathbb{R}$，有

$$P(X \le x)=\Phi\left(\frac{x-\mu}{\sigma}\right).$$

正态分布的密度函数在 $x=\mu$ 处取得最大值；当 $x<\mu$ 时单调增加，当 $x>\mu$ 时单调减少。

指数分布

设 $\lambda >0$。若随机变量 $X$ 的密度函数为

$$p(x)= \begin{cases} \lambda e^{-\lambda x}, & x>0, \\ 0, & x\le 0, \end{cases}$$

则称 $X$ 服从参数为 $\lambda$ 的指数分布，记作 $X \sim \mathrm{Exp}(\lambda)$。

其分布函数为

$$F(x)= \begin{cases} 1-e^{-\lambda x}, & x>0, \\ 0, & x\le 0. \end{cases}$$

指数分布常用于描述某一随机事件的等待时间或寿命长度。

Gamma 分布

设 $\alpha >0$，$\lambda >0$。若随机变量 $X$ 的密度函数为

$$p(x)= \begin{cases} \frac{\lambda^\alpha}{\Gamma(\alpha)} x^{\alpha-1} e^{-\lambda x}, & x>0, \\ 0, & x\le 0, \end{cases}$$

其中

$$\Gamma(\alpha)=\int_0^{+\infty} x^{\alpha-1} e^{-x}\,dx,$$

则称 $X$ 服从参数为 $\alpha,\lambda$ 的 Gamma 分布，记作 $X \sim \Gamma(\alpha,\lambda)$。

其分布函数为

$$F(x)= \begin{cases} \int_0^x \frac{\lambda^\alpha}{\Gamma(\alpha)} t^{\alpha-1} e^{-\lambda t}\,dt, & x>0, \\ 0, & x\le 0. \end{cases}$$

当 $\alpha = n \in \mathbb{N}_{+}$ 时，Gamma 分布称为 Erlang 分布，此时

$$\Gamma(n)=(n-1)!.$$

特别地，当 $\alpha=1$ 时，Gamma 分布退化为参数为 $\lambda$ 的指数分布。

Beta 分布

设 $\alpha >0$，$\beta >0$。若随机变量 $X$ 的密度函数为

$$p(x)= \begin{cases} \frac{1}{B(\alpha,\beta)} x^{\alpha-1}(1-x)^{\beta-1}, & 0<x<1, \\ 0, & \text{其他}, \end{cases}$$

其中

$$B(\alpha,\beta)=\int_0^1 x^{\alpha-1}(1-x)^{\beta-1}\,dx,$$

则称 $X$ 服从参数为 $\alpha,\beta$ 的 Beta 分布，记作 $X \sim \mathrm{Beta}(\alpha,\beta)$。

其分布函数为

$$F(x)= \begin{cases} 0, & x\le 0, \\ \frac{1}{B(\alpha,\beta)}\int_0^x t^{\alpha-1}(1-t)^{\beta-1}\,dt, & 0<x<1, \\ 1, & x\ge 1. \end{cases}$$

Beta 分布定义在区间 $(0,1)$ 上，常用于描述概率、比例或占比这类取值限制在 $[0,1]$ 内的随机变量。

特别地，当 $\alpha=\beta=1$ 时，Beta 分布退化为区间 $(0,1)$ 上的均匀分布。

分布之间的关系

泊松分布与二项分布

在独立试验中，设事件 $A$ 在每次试验中发生的概率为 $p_n$，它可随试验总数 $n$ 变化。若

$$n p_n \to \lambda, \qquad n \to \infty,$$

其中 $\lambda > 0$，则对任意固定的 $k=0,1,2,\dots$，有

$$\binom{n}{k} p_n^k (1-p_n)^{n-k} \to \frac{\lambda^k}{k!} e^{-\lambda}, \qquad n \to \infty.$$

即当 $n$ 很大、$p_n$ 很小且 $n p_n \approx \lambda$ 时，二项分布 $\mathrm{Bin}(n,p_n)$ 可近似为参数为 $\lambda$ 的泊松分布。

其直观意义是，考虑 $n$ 个事件，第 $i$ 个事件发生的概率为 $p_i$，$i=1,2,\dots,n$。若各个 $p_i$ 都很小，且这些事件相互独立，或至多弱相关，则事件发生总次数近似服从参数为

$$p_1+p_2+\cdots+p_n$$

的泊松分布。

应用中常用近似形式为，当 $n$ 较大且 $p$ 很小时，

$$\binom{n}{k} p^k (1-p)^{n-k} \approx \frac{(np)^k}{k!} e^{-np}.$$

伯努利过程与泊松过程

伯努利过程是离散时间的计数过程，泊松过程是连续时间的计数过程，二者都用于描述随机事件的发生规律。

设 $\{X_n\}_{n\ge 1}$ 为独立同分布的 Bernoulli 随机变量，且

$$P(X_n=1)=p,\qquad P(X_n=0)=1-p.$$

记

$$S_n=\sum_{k=1}^n X_k,\qquad n\ge 1,$$

则称 $\{S_n\}_{n\ge 0}$ 为参数为 $p$ 的伯努利过程，其中 $S_n$ 表示前 $n$ 次试验中事件发生的总次数。对任意 $n$，有

$$S_n \sim \mathrm{Bin}(n,p).$$

泊松过程 $\{N(t), t\ge 0\}$ 则满足

• $N(0)=0$
• 具有独立增量
• 对任意 $0\le s<t$，增量 $N(t)-N(s)$ 服从参数为 $\lambda (t-s)$ 的泊松分布，即

$$N(t)-N(s)\sim \mathrm{Poisson}(\lambda (t-s))$$

其中 $\lambda >0$ 为过程强度。

因此，伯努利过程描述每个离散时刻事件是否发生，泊松过程描述连续时间区间内事件发生了多少次。

若从建模条件看，泊松过程通常对应如下背景：在很短时间区间 $h$ 内，恰好发生一次事件的概率约为 $\lambda h + o(h)$，在很短时间区间 $h$ 内发生两次及以上事件的概率为 $o(h)$，不相交区间内发生次数相互独立，并且事件在等长区间内发生规律相同。

二者的关系在于，泊松过程可看作伯努利过程在时间间隔趋于无穷小极限下得到的连续模型。更具体地，将长度为 $t$ 的时间区间划分为 $n$ 个小区间，每个小区间内事件发生的概率取为

$$p_n=\lambda \frac{t}{n},$$

并假设各小区间内事件发生相互独立，则总发生次数服从二项分布

$$\mathrm{Bin}\left(n,\lambda \frac{t}{n}\right).$$

当 $n\to\infty$ 时，由泊松定理，

$$\mathrm{Bin}\left(n,\lambda \frac{t}{n}\right)\Longrightarrow \mathrm{Poisson}(\lambda t).$$

因此，泊松过程可以看作伯努利过程的连续时间极限模型。

对应地，伯努利过程中第一次成功出现的等待步数服从几何分布，而泊松过程中第一次事件发生的等待时间服从指数分布。这也体现了离散模型与连续模型之间的对应关系。

指数分布与泊松过程

泊松分布描述单位时间区间内随机事件发生的次数，指数分布描述相邻两次事件之间的等待时间。这二者可由同一个泊松过程统一刻画。设 $\{N(t),t\ge 0\}$ 为强度为 $\lambda$ 的泊松过程，则对任意 $t\ge 0$，

$$N(t)\sim \mathrm{Poisson}(\lambda t).$$

若记第一次事件发生的等待时间为 $X$，则

$$\{X>t\}=\{N(t)=0\}.$$

因此

$$P(X>t)=P(N(t)=0)=e^{-\lambda t},$$

从而

$$F_X(t)=P(X\le t)= \begin{cases} 1-e^{-\lambda t}, & t>0, \\ 0, & t\le 0, \end{cases}$$

故

$$X\sim \mathrm{Exp}(\lambda).$$

更一般地，泊松过程中相邻事件间隔 $X_1,X_2,\dots$ 都服从参数为 $\lambda$ 的指数分布；第 $r$ 次事件发生时刻

$$T_r=X_1+\cdots+X_r$$

满足

$$\{T_r\le t\}=\{N(t)\ge r\}.$$

因此，泊松分布给出计数规律，指数分布给出等待时间规律，它们是同一泊松过程的两种等价刻画。

Gamma 分布与泊松过程

设 $\{N(t), t\ge 0\}$ 为强度为 $\lambda >0$ 的泊松过程，记第 $r$ 次事件发生时刻为

$$T_r=\inf\{t\ge 0: N(t)\ge r\}, \qquad r \in \mathbb{N}_{+}.$$

则有

$$\{T_r\le t\}=\{N(t)\ge r\}, \qquad t\ge 0.$$

因此

$$P(T_r\le t)=P(N(t)\ge r)=1-\sum_{k=0}^{r-1}\frac{(\lambda t)^k}{k!}e^{-\lambda t}, \qquad t\ge 0.$$

从而 $T_r$ 的密度函数为

$$f_{T_r}(t)= \begin{cases} \frac{\lambda^r}{(r-1)!} t^{r-1} e^{-\lambda t}, & t>0, \\ 0, & t\le 0, \end{cases}$$

故

$$T_r \sim \Gamma(r,\lambda).$$

也就是说，Gamma 分布描述泊松过程中第 $r$ 次事件的等待时间分布。

特别地，当 $r=1$ 时，

$$T_1 \sim \Gamma(1,\lambda)=\mathrm{Exp}(\lambda),$$

即指数分布是 Gamma 分布的特例；当 $r \in \mathbb{N}_{+}$ 时，Gamma 分布也称为 Erlang 分布。

Beta 分布与二项分布

Beta 分布与二项分布之间存在自然对应关系。二项分布描述在 $n$ 次独立 Bernoulli 试验中成功次数的分布，Beta 分布则常用来刻画成功概率参数 $p$ 在区间 $(0,1)$ 上的不确定性。

设在给定参数 $p \in (0,1)$ 时，

$$P(X=k \mid p)=\binom{n}{k} p^k (1-p)^{n-k}, \qquad k=0,1,\dots,n,$$

即

$$X \mid p \sim \mathrm{Bin}(n,p).$$

若再设参数 $p$ 本身服从 Beta 分布

$$p \sim \mathrm{Beta}(\alpha,\beta),$$

其密度为

$$f(p)=\frac{1}{B(\alpha,\beta)} p^{\alpha-1}(1-p)^{\beta-1}, \qquad 0<p<1,$$

则在观测到 $X=k$ 后，$p$ 的条件密度仍为 Beta 型，即

$$f(p \mid X=k)\propto p^k(1-p)^{n-k} p^{\alpha-1}(1-p)^{\beta-1} = p^{\alpha+k-1}(1-p)^{\beta+n-k-1}.$$

因此

$$p \mid X=k \sim \mathrm{Beta}(\alpha+k,\beta+n-k).$$

这说明 Beta 分布是二项分布参数 $p$ 的共轭先验分布。

特别地，二项分布中的因子 $p^k(1-p)^{n-k}$ 与 Beta 分布密度中的幂函数结构完全一致，因此二者在形式上高度匹配。