条件概率

设 $(\Omega,\mathcal{F},P)$ 为概率空间，$B \in \mathcal{F}$ 且 $P(B)>0$。记

$$\mathcal{F}_B=\{A\cap B:A\in\mathcal{F}\}$$

则 $\mathcal{F}_B$ 可看作样本空间 $B$ 上的事件域。在 $(B,\mathcal{F}_B)$ 上定义集合函数

$$P_B(A\cap B)=\frac{P(A\cap B)}{P(B)}, \quad A\in\mathcal{F}$$

称为在事件 $B$ 发生条件下的条件概率。

它满足概率测度的三个要求。

• 对任意 $A\cap B \in \mathcal{F}_B$，有 $P_B(A\cap B)\ge0$
• $P_B(B)=1$
• 若 $\{A_n\cap B\}_{n\ge1}\subset\mathcal{F}_B$ 两两不交，则

$$P_B\left(\bigcup_{n=1}^{\infty}(A_n\cap B)\right)=\sum_{n=1}^{\infty}P_B(A_n\cap B)$$

完备事件组

设 $\{B_n\}_{n\ge1}\subset\mathcal{F}$。若满足

• $B_i \cap B_j=\varnothing,\quad i\ne j$
• $\displaystyle \bigcup_{n=1}^{\infty} B_n=\Omega$

则称 $\{B_n\}_{n\ge1}$ 为一个完备事件组。

全概率公式

设 $\{B_n\}_{n\ge1}$ 为一个完备事件组，则对任意事件 $A \in \mathcal{F}$，有

$$P(A)=\sum_{n=1}^{\infty} P(B_n) P(A\mid B_n)$$

这称为全概率公式。

Bayes 公式

设 $\{B_n\}_{n\ge1}$ 为一个完备事件组，$A \in \mathcal{F}$ 且 $P(A)>0$，则对任意 $n\ge1$，有

$$P(B_n\mid A)=\frac{P(B_n)P(A\mid B_n)}{\sum_{k=1}^{\infty} P(B_k)P(A\mid B_k)}$$

这称为 Bayes 公式。

独立性

设 $A,B \in \mathcal{F}$。若

$$P(A\cap B)=P(A)P(B)$$

则称事件 $A$ 与 $B$ 相互独立。

设 $A_1,A_2,\dots,A_n \in \mathcal{F}$。若对任意 $1\le i_1<i_2<\cdots<i_k\le n$，$1\le k\le n$，都有

$$P\left(\bigcap_{j=1}^k A_{i_j}\right)=\prod_{j=1}^k P(A_{i_j})$$

则称 $A_1,A_2,\dots,A_n$ 相互独立。

更一般地，设 $\{A_i\}_{i\in I}\subset\mathcal{F}$。若对任意有限指标集 $I_0\subset I$，都有

$$P\left(\bigcap_{i\in I_0} A_i\right)=\prod_{i\in I_0} P(A_i)$$

则称事件族 $\{A_i\}_{i\in I}$ 相互独立。

设 $\{\mathcal{C}_i\}_{i\in I}$ 为事件类。若对任意有限指标集 $I_0\subset I$，任取 $A_i\in\mathcal{C}_i$，$i\in I_0$，都有

$$P\left(\bigcap_{i\in I_0} A_i\right)=\prod_{i\in I_0} P(A_i)$$

则称事件类 $\{\mathcal{C}_i\}_{i\in I}$ 相互独立。

四种集类

设 $\mathcal{C}$ 为 $\Omega$ 的子集族。

若满足 $\Omega \in \mathcal{C}$，对补运算封闭，且对有限交封闭，则称 $\mathcal{C}$ 为代数。

若对任意单调递增集列 $\{A_n\}_{n\ge1}\subset\mathcal{C}$ 有 $\bigcup_{n=1}^{\infty} A_n \in \mathcal{C}$，并且对任意单调递减集列 $\{A_n\}_{n\ge1}\subset\mathcal{C}$ 有 $\bigcap_{n=1}^{\infty} A_n \in \mathcal{C}$，则称 $\mathcal{C}$ 为单调类。

若对任意 $A,B \in \mathcal{C}$，有 $A\cap B \in \mathcal{C}$，则称 $\mathcal{C}$ 为 $\pi$ 类。

若满足 $\Omega \in \mathcal{C}$，并且当 $A,B \in \mathcal{C}$ 且 $A\subset B$ 时有 $B\setminus A \in \mathcal{C}$，又对任意两两不交集列 $\{A_n\}_{n\ge1}\subset\mathcal{C}$ 有 $\bigcup_{n=1}^{\infty} A_n \in \mathcal{C}$，则称 $\mathcal{C}$ 为 $\lambda$ 类。

单调类定理与 $\pi$-$\lambda$ 定理

设 $\mathcal{C}$ 为 $\Omega$ 上一集类，以 $m(\mathcal{C})$ 和 $\lambda(\mathcal{C})$ 分别表示包含 $\mathcal{C}$ 的最小单调类和最小 $\lambda$ 类，则有

$$m(\mathcal{C}) \subset \lambda(\mathcal{C}) \subset \sigma(\mathcal{C})$$

并且

• 若 $\mathcal{C}$ 为代数，则 $m(\mathcal{C})=\sigma(\mathcal{C})$
• 若 $\mathcal{C}$ 为 $\pi$ 类，则 $\lambda(\mathcal{C})=\sigma(\mathcal{C})$

等价地，

• $\mathcal{F}$ 为 $\sigma$ 代数，当且仅当 $\mathcal{F}$ 既是代数又是单调类
• $\mathcal{F}$ 为 $\sigma$ 代数，当且仅当 $\mathcal{F}$ 既是 $\pi$ 类又是 $\lambda$ 类

独立事件类定理

设 $\{\mathcal{C}_i\}_{i\in I}$ 为相互独立的事件类，且对每个 $i\in I$，$\mathcal{C}_i$ 都是 $\pi$ 类，则

$$\{\sigma(\mathcal{C}_i)\}_{i\in I}$$

仍是相互独立的事件类。

Carathéodory 扩张定理

设 $\mathcal{A}$ 为 $\Omega$ 上一个代数，$\mu_0$ 为定义在 $\mathcal{A}$ 上的非负可列可加集函数，且 $\mu_0(\varnothing)=0$。则存在 $\sigma(\mathcal{A})$ 上的测度 $\mu$，使得

$$\mu|_{\mathcal{A}}=\mu_0$$

即 $\mu$ 是 $\mu_0$ 在 $\sigma(\mathcal{A})$ 上的扩张。

若进一步有 $\mu_0(\Omega)<\infty$，则该扩张在 $\sigma(\mathcal{A})$ 上唯一。

独立试验与重复独立试验

设随机试验 $E_i$ 的概率模型为 $(\Omega_i,\mathcal{F}_i,P_i)$，$i\in I$。若复合试验的样本空间为

$$\Omega=\prod_{i\in I}\Omega_i$$

并在其上赋予概率测度 $P$，使得对任意有限指标组 $i_1,\dots,i_n \in I$ 及任意事件 $A_{i_k}\in\mathcal{F}_{i_k}$，$k=1,\dots,n$，都有

$$P\left(\{\omega\in\Omega:\omega_{i_1}\in A_{i_1},\dots,\omega_{i_n}\in A_{i_n}\}\right) =\prod_{k=1}^n P_{i_k}(A_{i_k})$$

则称试验族 $\{E_i\}_{i\in I}$ 为相互独立的试验。

当 $I=\{1,\dots,n\}$ 时，上式等价于说复合试验的概率模型为乘积概率空间

$$\left(\prod_{i=1}^n\Omega_i,\ \bigotimes_{i=1}^n\mathcal{F}_i,\ \bigotimes_{i=1}^n P_i\right)$$

若进一步对每个 $i$，都有

$$(\Omega_i,\mathcal{F}_i,P_i)=(\Omega,\mathcal{F},P)$$

则称这 $n$ 次试验是在相同条件下对试验 $(\Omega,\mathcal{F},P)$ 的 $n$ 次重复独立试验。