概率论

概率空间

事件域

• 定义
设 是 的一些子集构成的集类。
(i)
(ii) 若 ，则
(iii) 若 ，则
若满足以上三个要求，则称 为 域，亦称 代数

• 定义
若 是由样本空间 的一些子集构成的一个 域，则称它为事件域， 中的元素称为事件， 称为必然事件， 称为不可能事件.

• 定义/定理
若给定 的一个非空集类 ，必存在唯一的一个 上的 域 ，具有如下两个性质
1. 包含
2. 若有其他 域包含 ，则必包含 . 这个 称为包含 的最小 域，亦称由 产生的 域

• 例
Borel集

概率

• 定义
定义在事件域 上的一个集合函数 称为概率，如果它满足如下三个要求：
1. （非负性） ，对一切
2. （规范性）
3. （可列可加性）若 且两两互不相容，则

• 性质
1. 不可能事件的概率为 ，即
2. 概率具有有限可加性，即若 ，则
3. 对任何事件 有
4. 如果 ，则
5. 如果 ，则
7. （布尔不等式）
8. （Bonferroni不等式）
9. 若 为 个事件，则

可列可加性与连续性

• 定义
对于 上的集合函数，若它对于 中任何一个单调不减的集序列 均有 ，则我们称它是下连续的.

• 定理
若 是 上满足 的非负集合函数，则它具有可列可加性的充要条件为
1. 它是有限可加的
2. 它是下连续的

• 系1
概率是下连续的

• 系2
概率是上连续的，即若 ，而且 ，则

• 系3

概率空间

• 定义
称三元总体 为概率空间

条件概率，全概率公式，贝叶斯公式

条件概率

• 定义
设 是一个概率空间， ，而且 ，则对任意 ，记
并称 为在事件 发生的条件下事件 发生的条件概率
这个等式被称为概率的乘法公式或乘法定理

• 性质

• 推广的乘法公式
要求

全概率公式

• 定义
设事件 是样本空间 的一个分割，亦称完备事件组，即 两两互不相容，而且
这样一来
这里的 也两两互不相容
由概率的完全可加性
再利用乘法公式即得
这个公式称为全概率公式

贝叶斯公式

• 定义
这个公式称为贝叶斯公式
称为先验概率， 称为后验概率

事件独立性

两个事件的独立性

• 定义
对事件 及 ，若
则称它们是统计独立的，简称独立的
必然事件 及不可能。事件 与任何事件独立。 与 的位置对称，因此亦称 与 相互独立

• 推论1
若事件 独立，且 ，则

• 推论2
若事件 与 独立，则下列各对事件也相互独立：

多个事件的独立性

• 定义
对于三个事件 ，若下列四个等式同时成立，则称他们相互独立.

• 定义
对 个事件 ，若对于所有可能的组合 成立着
则称 相互独立

事件独立性与概率的计算

• 相互独立事件至少发生其一的概率的计算
若 是 个相互独立的事件，则由于
因此

试验的独立性

• 定义
以 记与第 次试验有关的事件全体

• 定义
若对于任意的
均成立
则称试验 是相互独立的

伯努利试验与直线上的随机游动

伯努利概型

• 定义
伯努利试验， 重伯努利试验，可列重伯努利试验

伯努利概型中的一些分布

• 伯努利分布
只进行一次伯努利试验

• 二项分布
重伯努利试验中事件 出现 次的概率，记之为

• 几何分布
首次成功出现在第 次试验的概率，记

• 帕斯卡分布
出现第 次成功，记

直线上的随机游动

推广的伯努利试验与多项分布

二项分布与泊松分布

二项分布的性质及计算

二项分布的泊松逼近

• 定义
称为泊松分布， 称为它的参数
特别的

• 定理
在独立试验中， 以 代表事件 在试验中出现的概率，它与试验总数 有关，如果 ，则当 时，

泊松分布

• 引理
若 是连续函数（或单调函数），且对一切 （或一切 ） 成立 ，则 其中 是某一常数

• 泊松过程
 

随机变量与分布函数

随机变量及其分布

随机变量的定义

• 定义
设 是定义于概率空间 上的单值实函数，如果对于直线上任一Borel点集 ，有 ，则称 为随机变量，而 称为随机变量 的概率分布

• 定义
称 为随机变量 的分布函数
通常把“随机变量 服从分布函数 “简记作

分布函数的性质

• 定理
分布函数 具有下列性质：
1. 单调性：若 ,则
3. 左连续性：

离散型随机变量

• 定义
称为随机变量 的概率分布
上表称为随机变量 的分布列

• 几个分布
• 退化分布（单点分布）
• 伯努利分布（两点分布）
• 二项分布
• 超几何分布
• 泊松分布
• 几何分布
• 几何分布的无记忆性
• 帕斯卡分布
• 负二项分布
对任意实数 ，称

连续型随机变量

• 定义
连续型随机变量 的分布函数 是绝对连续函数，即存在可积函数 ，使 ，称 为 的（分布）密度函数

• 几个分布
• 均匀分布
• 正态分布
密度函数为
其中 ， 与 均为常数，相应的分布函数为
这分布称为正态分布，简记为
特别当 ，这时分布称为标准正态分布，记为 ，相应的分布密度函数及分布函数分别记为 及
• 指数分布
分布密度函数为
分布函数为
这里 是参数，这分布称为指数分布，简记为
• 指数分布的无记忆性
• Erlang分布
其中
• 分布
密度函数为
的分布为 分布
其中 为参数
指数分布
Erlang分布
• 伯努利过程与泊松过程

连续向量，随机变量的独立性

随机向量及其分布

• 定义
若随机变量 定义在同一概率空间 上，则称
构成一个 维随机向量，亦称 维随机变量

• 定义
称 元函数
为随机向量 的（联合）分布函数

• 性质
1. 单调性：关于每个变元是单调不减函数
3. 关于每个变元左连续
4. 在二元场合，有：对任意 ，都有

• 离散型
• 多项分布
在试验中，若每次试验的可能结果为 ，而 ，且 ，重复这种试验 次，并假定这些试验是相互独立的，若以 分别记 出现的次数，则
这里整数 ，且仅当 时上式才成立，否则为
• 多元超几何分布
袋中装 号球 只， ，从中随机摸出 只，若以 分别记 号球的出现数，则
这里整数 ，且仅当 时上式才成立，否则为

• 连续型
• 定义
非负函数 ，使
这里的 称为（多元分布）密度函数，满足如下两个条件：
• 均匀分布
若 为 中有限区域，其测度 ，则由密度函数
给出的分布称为 上的均匀分布
• 多元正态分布
若 是 阶正定对称矩阵，以 表示 的逆阵， 表示行列值， 是任意实值行向量，则由密度函数
定义的分布称为 元正态分布， 简记为
密度函数也可写成如下向量形式：

边际分布

• 定义
与 称为 的边际分布或边缘分布

• 定义
及 称为 的边际分布函数

• 定义
若 是连续型分布函数，则
及 称为 的边际（分布）密度函数

• 二元正态分布
这个 为常数， ，称为二元正态（分布）密度函数，简记为

• 二元正态密度的典型分解
二元正态密度函数具有如下两个分解式

条件分布

• 定义
若已知 ，则事件 的条件概率为
该式子定义了 关于 的条件分布

随机变量的独立性

• 定义
设 为 个随机变量，若对于任意的 成立
则称 是相互独立的
若 的分布函数为 ，联合分布函数为 ，则等价于对一切 成立
对于离散型随机变量，等价于对任何一组可能取的值 成立
对于连续型随机变量，等价于对 几乎处处成立
对一切一维Borel集 成立 相互独立的等价条件

• 定义
称无穷多个随机变量是相互独立的，如果其中任意有限多个随机变量都是相互独立的

随机变量的函数及其分布

博雷尔函数与随机变量的函数

• 定义
设 是 到 上的一个映射，若对于一切 中的Borel集 均有
其中 为 上Borel 域，则称 是一元Borel（可测）函数

• 定义
设 是 到 上的一个映射，若对于一切 中的Borel集 均有
其中 为 上Borel 域，则称 是 元Borel（可测）函数

• 离散卷积公式

单个随机变量的函数的分布律

• 对数正态分布

• 分布

• 变换法
• 若 严格单调，其反函数 有连续导函数，则 是具有密度函数 的连续型随机变量
• 若 在不相重叠的区间 上逐段严格单调，其反函数分别为 而且 均为连续函数，那么 是连续型随机变量，其密度函数为

• 柯西分布

• 均匀分布的特殊地位

• 随机变量的存在性定理
若 是左连续的单调不减函数，且 ，则存在一个概率空间 及其上的随机变量 ，使 的分布函数正好是

随机向量的函数的分布律

• 和的分布
若 ，而 的密度函数为 则
若 相互独立时，可求得 或 ，该公式被称为卷积公式

• 商的分布
若 ，而 的密度函数为 ，则
的密度函数为

• 关于顺序统计量的若干分布

随机向量的变换

随机变量的函数的独立性

• 定理
若 是相互独立的随机变量，则 也是相互独立的，这里 是任意的一元Borel函数

数字特征与特征函数

数学期望

平均值与加权平均值

离散型场合

• 定义
设 为一离散型随机变量，它取值 对应的概率为 如果级数 绝对收敛，则把它称为 的数学期望，简称期望、期望值或均值，记作
当 发散时，则说 的数学期望不存在

• 几个重要的离散分布的期望
• 伯努利分布
• 二项分布
• 泊松分布
• 几何分布

连续型场合

• 定义
设 为具有密度函数 的连续型随机变量，当积分 绝对收敛时，我们称它为 的数学期望，记作 ，即

• 几个重要的连续分布的期望
• 正态分布
• 指数分布
• 柯西分布
期望不存在

一般场合

• 定义
若 的分布函数为 ，则定义 为 的数学期望（或均值）。（要求上述积分绝对收敛）

随机变量函数的数学期望

• 定理
若 是一元Borel函数，而 则

多维场合

• 定义
随机向量 的数学期望为 ，其中 ，这里 是 的分布函数

数学期望的基本性质

• 性质
若 ，则 ，特别地 ，这里 是常数

• 性质
线性性质：对任意常数 及 ，有

方差，相关系数，矩

方差

• 定义
若 存在，则称它为随机变量 的方差，并记为 ，而 称为根方差、均方差或标准差

• 性质

• 性质
• 常数的方差为
• 这里 是常数
• 这里 是常数
• 若 ，则

切比雪夫不等式

• 切比雪夫不等式
对于任何具有有限方差的随机变量 ，都有 ，其中 是任一正数

相关系数

• 定义
称 为 和 的协方差

• 性质

• 协方差矩阵

• 定义
称 为 和 的相关系数，要求 和 不为
常数和任何随机变量的相关系数为
相关系数为正时，称两随机变量正相关，为负时则称负相关
相关系数就是标准化的随机变量 与 的协方差

• 定理 (Cauchy-Schwarz不等式)
对任意随机变量 与 都有 ，等式成立当且仅当 ，这里 是某一个常数

• 性质
对相关系数 ，并且 当且仅当 ，而 当且仅当
时，称为完全正相关， 时，称为完全负相关

• 定义
若随机变量 与 的相关系数 ，则我们称 与 不相关

• 性质
对随机变量 与 ，下面事实是等价的
• 与 不相关

• 性质
若 与 独立，则 与 不相关

• 性质
对于二元正态分布，不相关性与独立性是等价的

• 性质
若 与 都是二值随机变量，则不相关性与独立性是等价的

• 推论
对事件 与 ，若定义事件相关系数为
则 与 独立的充要条件为

矩

• 定义
对正整数 ，称 为 阶原点矩
数学期望是一阶原点矩
由于 ，因此若 阶原点矩存在，则所有低阶矩都存在

• 定义
对正整数 ，称 为 阶中心矩
方差是二阶中心矩

分位数

• 定义
对 ，若 ，则称 为分布函数 的 分位数

条件数学期望，最佳线性预测

• 定义
在 的条件下， 的条件数学期望定义为

• 重期望公式

母函数

整值随机变量与母函数

• 定义
取非负整数值的随机变量为整值随机变量

• 定义
则称 为 的母函数
由佚名统计学家公式可得

• 几种分布的母函数
• 二项分布
• 超几何分布
• 泊松分布
• 几何分布

母函数的性质

• 唯一性
分布列唯一确定母函数，母函数唯一确定分布列

• 母函数与数字特征
若
当期望、方差存在时，
则

独立随机变量和的母函数

随机个随机变量之和的母函数

• 复合泊松分布

特征函数

定义

• 定义
如果 和 都是概率空间 上的实值随机变量，则称 为复随机变量

• 定义
若随机变量 的分布函数为 ，则称
为 的特征函数

• 重要分布的特征函数
• 退化分布
• 二项分布
• 泊松分布
• 分布

性质

• 特征函数 有如下性质：

• 特征函数在 上一致连续

• 对于任意的正整数 及任意实数 及复数 ，成立
特征函数的非负定性

• 两个相互独立的随机变量之和的特征函数等于它们的特征函数之积

• 设随机变量 有 阶矩存在，则它的特征函数可微分 次，且当 时，

• 若随机变量 有 阶矩存在，则它的特征函数可作如下展开

• 设 ，这里 为常数，则

• 正态分布 的特征函数

逆转公式与唯一性定理

• 逆转公式
设分布函数 的特征函数为 ，又 是 的连续点，则

• 唯一性定理
分布函数由其特征函数唯一决定

• 定理
若 ，则相应的分布函数 的导数存在并连续，而且

分布函数的再生性

• 几个分布

多元特征函数

• 多元特征函数

• 元特征函数性质
• 在 中一致连续，而且
• 如果 是 的特征函数，则 的特征函数为
• 如果矩 存在，则
• 若 的特征函数为 ，则 维随机变量 的特征函数为
• 逆转公式
• 唯一性定理
• 若以 及 分别记随机变量 及 的特征函数，则 与 独立的充要条件为：对一切实数 及 成立
• 连续性定理

多元正态分布

密度函数与特征函数

• 元正态分布的密度函数
其中 是 阶正定对称矩阵， 是实值列向量，并简记这个正态分布为

• 定理
元正态分布的特征函数为

• 定义
若 是 维实向量， 是 阶非负定对称阵，则称以上式中的 为其特征函数的分布函数为 元正态分布，并简记为

• 下面总是假定 服从 元正态分布

• 定理
的任一子向量 也服从正态分布，分布为 ，其中 ， 为保留 的第 行及列所得的 阶矩阵
特别地， 服从一元正态分布

• 定理
及 分别是随机向量 的数学期望及协方差矩阵，即

独立性

• 定理
相互独立的充要条件是它们两两不相关

• 定理
若 ,这里 与 是 的子向量，记
其中 及 分别是 及 的协方差矩阵， 则是由 与 的相应分量的协方差构成的相互协方差矩阵，则 与 独立的充要条件是

线性变换

• 是 维随机向量，其数学期望为 ，协方差矩阵为
考虑 的分量的线性组合 ，显然
同样地，若 是 矩阵，则 维随机向量 有
这里 记 的协方差矩阵

• 定理
服从 元正态分布 的充要条件是它的任何一个线性组合 服从一元正态分布

• 定理
若 服从 元正态分布 ，而 为任意 阵，则 服从 元正态分布
正态变量的线性变换不变性

• 推论
若 服从 元正态分布 ，则存在一个正交变换 使得 是一个具有独立正态分布分量的随机向量，它的数学期望为 ，而它的方差分量是 的特征值

• 推论
在正交变换下，多维正态分量保持其独立、同方差性不变

• 推论
若 ，其中 为 阶正定阵，则

条件分布

极限定理

伯努利试验场合的极限定理

• 定义
若 是随机变量序列，令
如果存在这样的一个常数序列 ，对任意的 ，恒有
则称序列 服从大数定律

• 中心极限定理
若 是随机变量序列，假定 及 存在，令
若独立随机变量序列 的标准化和 使
则我们称 服从中心极限定理

伯努利大数定律

• 不等式
• Markov不等式
设 为取非负值的随机变量，则对于任何常数 ，有
• Chebyshev不等式
设随机变量 有数学期望 ，有方差
则 ，有

• 切比雪夫大数定律
设 是由两两不相关的随机变量所构成的序列，每一随机变量都有有限的方差，并且它们有公共上界 ，则对任意的 皆有

• 马尔可夫大数定律
只要 ，则对任意 ，均有

• 伯努利大数定律
设 是 次伯努利试验中事件 出现的次数，而 是事件 在每次试验中出现的概率，则对任意 ，都有

• 泊松大数定律
如果在一个独立试验序列中，事件 在第 次试验中出现的概率等于 ，以 记在前 次试验中事件 出现的次数，则对任意 都有

Do Moivre-Laplace极限定理

• Do Moivre-Laplace定理
若 是 次伯努利试验中事件 出现的次数， ，则对任意有限区间
1. 当 及 时，一致地有
2. 当 ，一致地有
其中

收敛性

分布函数弱收敛

• 定义
对于分布函数列 ，如果存在一个非降函数 使 在 的每一个连续点上都成立，则称 弱收敛于 ，并记为

• 引理
设 是实变量 的非降函数列， 是 上的稠密集。若对于 中的所有点，序列 收敛于 ，则对 的一切连续点 有

• 海莱第一定理
任一一致有界的非降函数列 中必有一子序列 弱收敛于某一有界的非降函数

• 海莱第二定理
设 是 上的连续函数，又 是在 上弱收敛于函数 的一致有界非降函数序列，且 和 是 的连续点，则

• 拓广的海莱第二定理
设 在 上有界连续，又 是 上弱收敛于函数 的一致有界非降函数序列，且
则

连续性定理

• 定理（正极限定理）
设分布函数列 弱收敛于某一分布函数 ，则相应的特征函数列 收敛于特征函数 ，且在 的任一有限区间内收敛是一致的

• 定理（逆极限定理）
设特征函数列 收敛于某一函数 ，且 在 连续，则相应的分布函数列 弱收敛于某一分布函数 ，而且 是 的特征函数

随机变量的收敛性

• 定义
设随机变量 、 的分布函数分别为 及 ，如果 ，则称 依分布收敛于 ，并记为

• 定义
如果 ，对任意的 成立，则称 依概率收敛于 ，并记为

• 定理

• 定理
设 是常数，则

• 定义
设对随机变量 及 有 ，其中 为常数，如果 ，则称 阶收敛于 ，并记为

• 定理
.

• 定义
如果 ，则称 以概率 收敛于 ，又称 几乎处处收敛于 ，记为

独立同分布场合的极限定理

独立和问题

辛钦大数定律

• 定理（辛钦）
设 是相互独立的随机变量序列，它们服从相同的分布，且具有有限的数学期望 ，则对任意的 有

• 矩估计的相合性
样本 阶原点矩
设总体 的 阶矩存在 ，则

中心极限定理

• 定理（Lindeberg-Levy）
对于标准化和 ，若 则

• 多元中心极限定理
若 维随机向量 相互独立，具有相同的分布，其数学期望为 ，协方差阵为 则
的极限分布为

强大数定律

以概率 收敛

• 定义
称 为事件序列 的上限事件，表示 发生无穷多次
称 为事件序列 的下限事件，表示 至多只有有限个不发生
显然
特别当 时，记 ，并称它为事件序列 的极限事件

• 引理（Borel-Cantelli）
1. 若随机事件序列 满足 ，则
2. 若 是相互独立的随机事件序列，则
成立的充要条件为

• 以概率 收敛
也可表达为：对任意的 ，成立

• 定理

Borel强大数定律

• 定理（Borel）
设 时事件 在 次独立试 验中的出现次数，在每次实验中事件 出现的概率均为 ，那么当 时，

科尔摩格罗夫强大数定律

• 定义
设 是独立随机变量序列，若
则称它满足强大数定律

• Renée不等式
若 是独立随机变量序列， 而 是一列正的非增常数序列，则对任意正整数 及 ，均有

• 科尔摩格罗夫不等式
设 是独立随机变量，方差有限，则对任意 成立

• 定理（科尔摩格罗夫强大数定律）
设 是独立随机变量序列，且 ，则成立

独立同分布场合的强大数定律

• 定理（科尔摩格罗夫）
设 是相互独立相同分布的随机变量序列，则
成立的充要条件是 存在且等于

中心极限定理

林德贝格条件与费勒条件

• 设 是一个相互独立的随机变量序列，它们具有有限的数学期望和方差 ，记 ，作标准化和数

• 林德贝格条件
对于任何 ，成立
是标准化和数的分布函数趋于正态分布函数的充分条件

• 费勒条件
等价于下面两个条件成立

林德贝格-费勒定理

• 定理
对于 ，成立
与费勒条件的充要条件是林德贝格条件成立

若干推论

• 定理
若 是独立随机变量序列，存在常数 ，使 ，且 ，则

• 定理（李雅普诺夫）
如果对相互独立的随机变量序列 能选择这样一个正数 ，使当 时，
则