概率初步

概述

本文介绍一些概率论的基础概念。

为了简单起见，本文中提到的所有集合都默认是 有限集。如想了解更一般的理论，请阅读任何一本大学概率论课本，或者期待本文的后续更新（如果有这回事的话）。

事件

样本输出、样本空间、随机事件

在一次随机试验 E 中可能发生的不能再细分的结果被称为 样本输出。在随机试验中可能发生的所有样本输出的集合称为 样本空间，用 \Omega 来表示。

也就是说，进行一次随机试验 E ，其结果一定符合 \Omega 中的恰好一个元素，不可能是零个或多个。例如在一次掷骰子的随机试验中，如果用获得的点数来表示样本输出，那么一共可能出现 6 个样本输出，则样本空间可以表示为 \Omega=\{1,2,3,4,5,6\} 。

一个 随机事件 是样本空间 \Omega 的子集，它由样本空间 \Omega 中的元素构成，用大写字母 A, B, C,\ldots 表示。例如在掷两个骰子的随机试验中，设随机事件 A 为“获得的点数和大于 10 ”，则 A 是由下面 3 个样本输出组成的集合： A = \{ (5,6),(6,5),(6,6)\} 。

事件的计算

因为事件在一定程度上是以集合的含义定义的，因此可以把事件当作集合来对待。

和事件：相当于 并集。若干个事件中只要其中之一发生，就算发生了它们的和事件。

积事件：相当于 交集。若干个事件必须全部发生，才算发生了它们的积事件。

概率

定义

古典定义

如果一个试验满足两条：

  • 试验只有有限个基本结果；
  • 试验的每个基本结果出现的可能性是一样的；

这样的试验便是古典试验。 对于古典试验中的事件 A ，它的概率定义为 P(A)=\frac{m}{n} ，其中 n 表示该试验中所有可能出现的基本结果的总数目， m 表示事件 A 包含的试验基本结果数。

统计定义

如果在一定条件下，进行了 n 次试验，事件 A 发生了 N_A 次，如果随着 n 逐渐增大，频率 \frac{N_A}{n} 逐渐稳定在某一数值 p 附近，那么数值 p 称为事件 A 在该条件下发生的概率，记做 P(A)=p 。

公理化定义

设 E 是随机试验， \Omega 是它的样本空间；再设 \mathcal{F} 是样本空间 \Omega 的幂集的一个非空子集，称为事件空间。对事件空间 \mathcal{F} 的每一个元素（称为事件） A 赋予一个实数，记为 P(A) ，称为事件 A 的概率。其中：

\mathcal{F} 满足以下条件：

  • \varnothing \in \mathcal{F} ；

  • 若 A \in \mathcal{F} ，则 \bar{A} \in \mathcal{F} ；

  • 若 A_n \in \mathcal{F}, n = 1, 2, 3\dots ，则 \bigcup A_n \in \mathcal{F} 。

简言之，就是事件空间 \mathcal{F} 对其所有元素的补运算、并运算是封闭的，且包含元素 \varnothing 。

P 是一个从集合到实数的映射，满足以下公理：

  • 非负性：对于一个事件 A ，有概率 P(A)\in [0,1] 。

  • 规范性：样本空间的概率值为 1 ，即 P(\Omega)=1 。

  • 可加性：若 A\cap B=\varnothing ，则 P(A\cup B) = P(A)+P(B) 。

由 (\Omega,\mathcal{F},P) 构成的这样的一个系统称为一个 概率空间。

例如在掷一个骰子的随机试验中，如果用获得的点数来表示样本输出，则样本空间可以表示为 \Omega=\{1,2,3,4,5,6\} ，事件空间可以表示为 \mathcal{F} = \{\varnothing, \{1\}, \{2\}, \{1,2\}, \dots, \{1,2,3,4,5,6\}\} 。设事件 A 表示得到的点数大于 3 ，事件 B 表示得到的点数是偶数，则 A = \{4,5,6\} ， B = \{2,4,6\} 。

计算

  • 广义加法公式: 对任意两个事件 A,B ， P(A \cup B)=P(A)+P(B)-P(A\cap B)
  • 条件概率: 记 P(B|A) 表示在 A 事件发生的前提下， B 事件发生的概率，则 P(B|A)=\dfrac{P(AB)}{P(A)} （其中 P(AB) 为事件 A 和事件 B 同时发生的概率）。
  • 乘法公式: P(AB)=P(A)\cdot P(B|A)=P(B)\cdot P(A|B)
  • 全概率公式：若事件 A_1,A_2,\ldots,A_n 构成一组完备的事件且都有正概率，即 \forall i,j, A_i\cap A_j=\varnothing 且 \displaystyle \sum_{i=1}^n A_i=1 ，则有 \displaystyle P(B)=\sum_{i=1}^n P(A_i)P(B|A_i) 。
  • 贝叶斯定理： \displaystyle P(B_i|A)=\frac{P(B_i)P(A|B_i)}{\displaystyle \sum_{j=1}^n P(B_j)P(A|B_j)}

随机变量

直观地说，一个随机变量，是一个取值由随机事件决定的变量。

如果基于概率的公理化定义，那么一个随机变量——形式化地说——是一个从样本空间 S 到实数集 \mathbf{R} （或者 \mathbf{R} 的某个子集）的映射 X 。如果 X(A)=\alpha ，你可以直观理解为：当随机实验 E 取结果 A 时，该随机变量取值 \alpha 。

由此可以看到，“随机变量 X 取值 \alpha ”（简记为 X=\alpha ）也对应着一个能实现该命题的单位事件集合，因此它也是一个事件，于是也有与之对应的概率 P(X=\alpha) 。

独立性

直观地说，我们认为两个东西独立，当它们在某种意义上互不影响。例如，一个人出生的年月日和他的性别，这两件事是独立的；但一个人出生的年月日和他现在的头发总量，这两件事就不是独立的，因为一个人往往年纪越大头发越少。

数学中的独立性与这种直观理解大体相似，但不尽相同。

随机事件的独立性

我们称两个事件 A,B 独立，当 P(A\cap B)=P(A)P(B) 。

我们称若干个事件 A_{1\ldots n} 互相独立，当对于其中任何一个子集，该子集中的事件同时发生的概率，等于其中每个事件发生概率的乘积。形式化地说：

P\Big(\bigcap\limits_{E\in T} E\Big)=\prod_{E\in T} P(E), \forall T\subseteq \{A_1,A_2,\ldots,A_n\}

由此可见，若干事件 两两独立 和 互相独立 是不同的概念。请注意这一点。

随机变量的独立性

以下用 I(X) 表示随机变量 X 的取值范围。即，如果把 X 看作一个映射，则 I(X) 就是其值域。

我们称两个随机变量 X,Y 独立，当 P\big((X=\alpha)\cap(Y=\beta)\big)=P(X=\alpha)P(Y=\beta),\forall \alpha\in I(X),\beta\in I(Y) ，即 (X,Y) 取任意一组值的概率，等于 X 和 Y 分别取对应值的概率乘积。

我们称若干个随机变量 X_{1\ldots n} 互相独立，当 (X_1,\ldots,X_n) 取任意一组值的概率，等于每个 X_i 分别取对应值的概率乘积。形式化地说：

P\Big(\bigcap\limits_{i=1}^n X_i=F_i\Big)=\prod\limits_{i=1}^n P(X_i=F_i),\forall F_{1\ldots n} \text{ s.t. } F_i\in I(X_i)

由此可见，若干随机变量 两两独立 和 互相独立 是不同的概念。请注意这一点。

期望

定义

如果一个随机变量的取值个数有限（比如一个表示骰子示数的随机变量），或可能的取值可以一一列举出来（比如取值范围为全体正整数），则它称为 离散型随机变量。

形式化地说，一个随机变量被称为离散型随机变量，当它的值域大小 有限 或者为 可列无穷大。

一个离散型随机变量 X 的 数学期望 是其每个取值乘以该取值对应概率的总和，记为 E(X) 。

E(X)=\sum\limits_{\alpha \in I(X)} \alpha\cdot P(X=\alpha)=\sum\limits_{\omega\in S}X(\omega)P(\omega)

其中 I(X) 表示随机变量 X 的值域， S 表示 X 所在概率空间的样本集合。

请读者自行验证连等式中的第二个等号。

连续型随机变量的期望

如果一个随机变量的取值不可列（比如值域为 \mathbb{R} ），则称其为 连续型随机变量。 若有一个连续型随机变量 x 取值为 \xi 的概率为 p(\xi) ，则定义其期望 E(x) 为：

E(x)=\int^{+\infty}_{-\infty}xp(x)\mathrm{d}x

性质

  • 全期望公式： E(Y)=\sum\limits_{\alpha \in I(X)} P(X=\alpha)E(Y|(X=\alpha)) ，其中 X,Y 是随机变量， E(Y|A) 是在 A 成立的条件下 Y 的期望（即“条件期望”）。可由全概率公式证明。
  • 期望的线性性: 对于任意两个随机变量 X,Y （不要求相互独立），有 E(X+Y)=E(X)+E(Y) 。利用这个性质，可以将一个变量拆分成若干个互相独立的变量，分别求这些变量的期望值，最后相加得到所求变量的值。
  • 乘积的期望: 当两个随机变量 X,Y 相互独立时，有 E(XY)=E(X)E(Y) 。

例题

NOIP2017 初赛 T14, T15

NOIP2016 换教室（概率期望 DP）

build本页面最近更新：，更新历史
edit发现错误？想一起完善？ 在 GitHub 上编辑此页！
people本页面贡献者：OI-wiki
copyright本页面的全部内容在 CC BY-SA 4.0 和 SATA 协议之条款下提供，附加条款亦可能应用

评论