统计推断

随机样本的性质

随机样本的基本概念

• 随机样本

随机样本中随机变量的和

• 定义
设 $X_1,\cdots ,X_n$ 是从总体中抽取的大小为 $n$ 的随机样本， $T(x_1,\cdots,x_n)$ 是定义在 $(X_1,\cdots, X_n)$ 的样本空间上的实值或向量值函数，则随机变量或随机向量 $Y=T(X_1,\cdots,X_n)$ 称为一个统计量， $Y$ 的概率分布称为 $Y$ 的抽样分布

• 定义
样本均值是随机样本值的算数平均，常记做
$\overline{X}=\frac{X_1+\cdots X_n}{n}=\frac{1}{n}\sum_{i=1}^n X_i$

• 定义
样本方差是如下定义的统计量：
$S^2=\frac{1}{n-1}\sum_{i=1}^n(X_i-\overline{X})^2$
样本标准差定义为 $S=\sqrt{S^2}$

• 定理
设 $x_1,\cdots,x_n$ 是任意 $n$ 个数， $\bar{x}=\frac{x_1+\cdots +x_n}{n}$ ，则
1. $\min_a\sum_{i=1}^n(x_i-a)^2=\sum_{i=1}^n(x_i-\bar{x})^2$
2. $(n-1)s^2=\sum_{i=1}^n(x_i-\bar{x})^2=\sum_{i=1}^n x_i^2-n\bar{x}^2$

• 引理
设 $X_1,\cdots,X_n$ 是从总体中抽取的随机样本，函数 $g(x)$ 使得 $\text{E}g(X_1)$ 和 $\text{Var}g(X_1)$ 都存在，则
$\text{E}(\sum_{i=1}^ng(X_i))=n(\text{E}g(X_1))$
且
$\text{Var}(\sum_{i=1}^ng(X_i))=n(\text{Var}g(X_1))$

• 定理
设随机样本 $X_1,\cdots,X_n$ 取自期望为 $\mu$ ，方差为 $\sigma^2<+\infty$ 的总体，则
1. $\text{E}\overline{X}=\mu$
2. $\text{Var}\overline{X}=\frac{\sigma^2}{n}$
3. $\text{E}S^2=\sigma^2$

• 定理
设随机样本 $X_1,\cdots,X_n$ 取自矩母函数为 $M_X(t)$ 的总体，则样本均值的矩母函数为 $M_{\overline{X}}(t)=[M_X(\frac{t}{n})]^n$

• 例（均值的分布）

• 定理
如果 $X$ 和 $Y$ 是一对独立的连续随机变量，概率密度函数分别为 $f_X(x)$ 和 $f_Y(y)$ ，则 $Z=X+Y$ 的概率密度函数为
$f_Z(z)=\int_{-\infty}^{+\infty}f_X(w)f_Y(z-w)dw$

• Cauchy随机变量的和

• 定理
设随机样本 $X_1,\cdots,X_n$ 取自概率密度函数为 $f(x|\theta)$ 的总体，其中
$f(x|\theta)=h(x)c(\theta)\exp(\sum_{i=1}^kw_i(\theta)t_i(x))$
属于某指数分布族。定义统计量 $T_1,\cdots,T_k$ 为
$T_i(X_1,\cdots,X_n)=\sum_{j=1}^nt_i(X_j),i=1,\cdots,k$
如果集合 $\{(w_1(\theta),w_2(\theta),\cdots,w_k(\theta)),\theta\in\Theta\}$ 包含 $\mathbb{R}^k$ 的开子集，则 $(T_1,\cdots,T_k)$ 的分布是如下形式的指数族分布：
$f_T(u_1,\cdots,u_k|\theta)=H(u_1,\cdots,u_k)[c(\theta)]^n\exp(\sum_{i=1}^kw_i(\theta)u_i)$

• 例（Bernoulli随机变量的和）

正态分布的抽样

样本均值与样本方差的性质

• 定理
设随机样本 $X_1,\cdots,X_n$ 取自服从 $N(\mu,\sigma^2)$ 分布的总体， $\overline{X}=\frac{\sum_{i=1}^n X_i}{n}$ 且 $S^2=\frac{\sum_{i=1}^n(X_i-\overline{X})^2}{n-1}$ ，则
1. $\overline{X}$ 和 $S^2$ 是独立变量
2. $\overline{X}$ 服从 $N(\mu,\frac{\sigma^2}{n})$ 分布
3. $\frac{(n-1)S^2}{\sigma^2}$ 服从自由度为 $n-1$ 的 $\chi^2$ 分布

• 引理（关于 $\chi^2$ 随机变量的若干事实）
以 $\chi_p^2$ 记自由度为 $p$ 的 $\chi^2$ 随机变量
1. 如果 $Z$ 是 $N(0,1)$ 随机变量，则 $Z^2\sim \chi_1^2$ ，即标准正态随机变量的平方是 $\chi^2$ 随机变量
2. 如果 $X_1,\cdots,X_n$ 独立且 $X_i\sim \chi_{p_i}^2$ ，则 $X_1+\cdots+X_n\sim\chi_{p_1+\cdots+p_n}^2$ ，即独立的 $\chi^2$ 随机变量之和仍为 $\chi^2$ 随机变量，且其自由度为原随机变量自由度之和

• 引理
设 $X_j\sim N(\mu_j,\sigma_j^2),j=1,\cdots,n$ 是随机独立变量，对任意常数 $a_{ij}$ 以及 $b_{rj}$ $(j=1,\cdots,n;i=1,\cdots,k;r=1,\cdots,m)$ ，其中 $k+m\leq n$ ，定义
$U_i=\sum_{j=1}^na_{ij}X_j,i=1,\cdots,k$$V_r=\sum_{j=1}^nb_{rj}X_j,r=1,\cdots,m$
1. 随机变量 $U_i$ 与 $V_r$ 独立当且仅当 $Cov (U_i,V_r)=0$ ，此外，还有 $Cov(U_i,V_r)=\sum_{j=1}^n a_{ij}b_{rj}\sigma^2_j$
2. 随机向量 $(U_1,\cdots,U_n)$ 与 $(V_1,\cdots,V_m)$ 独立当且仅当对任意 $i,r(i=1,\cdots,k;r=1,\cdots,m)$ ， $U_i$ 与 $V_r$ 都独立
💡
表明对于由独立的正态随机变量的线性函数构成的随机变量，协方差等于 $0$ 等价于独立
可推导正态分布 $\overline{X}$ 与 $S^2$ 独立

导出分布： $t$ 分布与 $F$ 分布

• 定义
设随机样本 $X_1,\cdots,X_n$ 取自服从 $N(\mu,\sigma^2)$ 分布的总体，则称量 $\frac{\overline{X}-\mu}{\frac{S}{\sqrt{n}}}$ 服从自由度为 $n-1$ 的学生 $t$ 分布。换言之，如果随机变量 $T$ 的概率密度函数为
$f_T(t)=\frac{\Gamma(\frac{p+1}{2})}{\Gamma(\frac{p}{2})}\frac{1}{\sqrt{p\pi}}\frac{1}{(1+t^2/p)^{(p+1)/2}},-\infty<t<+\infty$
则称 $T$ 服从自由度为 $p$ 的学生 $t$ 分布，记作 $T\sim t_p$

• 例（方差比值的分布）

• 定义（ $F$ 分布）

次序统计量

• 定义
随机样本 $X_1,\cdots,X_n$ 的次序统计量是按升序排列的样本值，记作 $X_{(1)},\cdots,X_{(n)}$
样本极差 $R=X_{(n)}-X_{(1)}$
样本中位数 $M=X_\frac{n+1}{2},n\ is\ odd,\frac{X_\frac{n}{2}+X_{\frac{n}{2}+1}}{2},n\ is\ even$
样本百分位数

• 定理
设随机样本 $X_1,\cdots,X_n$ 取自概率质量函数为 $f_X(x_i)=p_i$ 的离散型总体，其中 $x_1<x_2<\dots$ 是 $X$ 的所有可能的取值. 定义 $P_i=\sum_{k=1}^i p_k$ ，以 $X_{(1)},\cdots,X_{(n)}$ 记样本 $X_1,\cdots,X_n$ 的次序统计量，则
$P(X_{(j)}\leq x_i)=\sum_{k=j}^n\binom{n}{k}P_i^k(1-P_i)^{n-k}$
且
$P(X_{(j)}=x_i)=\sum_{k=j}^n\binom{n}{k} [P_i^k(1-P_i)^{n-k}-P_{i-1}^k(1-P_{i-1})^{n-k}]$

• 定理
设随机样本 $X_1,\cdots,X_n$ 取自累计分布函数为 $F_X(x)$ ，概率密度函数为 $f_X(x)$ 的连续型总体， $X_{(1)},\cdots,X_{(n)}$ 为其次序统计量，则 $X_{(j)}$ 的概率密度函数为
$f_{X(j)}(x)=\frac{n!}{(j-1)!(n-j)!}f_X(x)[F_X(x)]^{j-1}[1-F_X(x)]^{n-j}$

• 例（均匀次序统计量的概率密度函数）

• 定理
设随机样本 $X_1,\cdots,X_n$ 取自累积分布函数为 $F_X(x)$ ，概率密度函数为 $f_X(x)$ 的连续型总体， $X_{(1)},\cdots,X_{(n)}$ 为其次序统计量，则 $X_{(i)}$ 和 $X_{(j)}$ ， $1\leq i<j\leq n$ 的联合概率密度函数为
$f_{X_{(i)},X_{(j)}}=\frac{n!}{(i-1)!(j-1-i)!(n-j)!}f_X(u)f_X(v)[F_X(u)]^{i-1}[F_X(v)-F_X(u)]^{j-1-i}[1-F_X(v)]^{n-j},-\infty<u<v<+\infty$

• 全体次序统计量的联合概率密度函数
\begin{equation} f_{X_{(1)},\cdots,X_{(n)}}(x_1,\cdots,x_n)= \left\{ \begin{aligned} n! f_X(x_1) \times \cdots \times f_X(x_n),\\ 0, \\ \end{aligned} \begin{aligned} -\infty<x_1<\cdots<x_n<+\infty\\ other \end{aligned} \right. \end{equation}

• 例（中程数与极差的分布）

收敛的概念

依概率收敛

• 定义
称随机变量序列 $X_1, X_2, \cdots$ 依概率收敛于随机变量 $X$ ，如果对任意 $\epsilon>0$ ，都有 $\lim_{n\to\infty}P(|X_n-X|\geq \epsilon)=0$ 或等价地， $\lim_{n\to\infty}P(|X_n-X|<\epsilon)=1$

• 定理（弱大数定律）

殆必收敛

依分布收敛

• 例
设 $X_n\sim B(n,\frac{1}{n}),n=1,2,\cdots$ ， $X_d\stackrel{d}{\to} Poisson(1)$

• 例
$X_n\sim B(n,p)$ ， $\frac{x_n-n p}{\sqrt{n p(1-p)}}\stackrel{d}{\to} N(0,1)$

• 例
$X_n\sim iid. U(-1,1),n=1,\cdots$ ， $\frac{\sqrt{n}\overline{X}}{\sigma}\stackrel{d}{\to} N(0,1)$

• 例
$X_n\sim Beta(\frac{1}{n},\frac{1}{n})$ ， $X_n\stackrel{d}{\to} B(1,\frac{1}{2})$

• 例
设 $X_1,\cdots,X_n,iid.N(0,1),n\geq 1$
定义 $R_n=\frac{x_1}{x_2}+\cdots+\frac{x_{2n-1}}{x_{2n}}$
$D_n=x_1^2+\cdots+x_n^2$
$T_n=\frac{R_n}{D_n}$
$T_n=\frac{R_n/n}{D_n}$
$\frac{D_n}{n}\to 1$
$T_n\stackrel{Slutsky}{\to} \frac{Cauchy(0,1)}{L}$
 

数据简化原理

充分性原理

• 充分性原理
如果 $T(\mathbf{X})$ 是 $\theta$ 的一个充分统计量，则 $\theta$ 的任意依赖于样本 $\mathbf{X}$ 的推断都可以经由值 $T(\mathbf{X})$ 完成
💡
$\theta$ 的充分统计量提取了样本中关于 $\theta$ 的全部信息

充分统计量

• 定义
如果样本 $\mathbf{X}$ 在已知统计量 $T(\mathbf{X})$ 取值时的条件分布与 $\theta$ 无关，则称统计量 $T(\mathbf{X})$ 是 $\theta$ 的充分统计量
💡
不同的 $\theta$ 可能会有不同的分布，从而能获得关于 $\theta$ 的信息。如果已知了一些条件后的分布不会随着 $\theta$ 变化了，那么也就是关于 $\theta$ 的信息已经全部包含了
例
• 二项充分统计量
$T(\bm{X})=X_1+\cdots+X_n$ 是 $\theta$ 的充分统计量
• 正态充分统计量
$T(\bm{X})=\overline{X}=\frac{X_1+\cdots+X_n}{n}$ 是 $\mu$ 的充分统计量
• 均匀充分统计量
$T(\bm{X})=\max_i X_i$ 是 $\theta$ 的充分统计量
• 充分次序统计量

• 定理
设 $p(\bm{x}|\theta)$ 为样本 $\bm{X}$ 的联合概率密度函数， $q(t|\theta)$ 为 $T(\bm{X})$ 的概率密度函数。如果对样本空间中的任意 $\bm{x}$ ，比值 $\frac{p(\bm{x}|\theta)}{q(T(\bm{x})|\theta)}$ 都是 $\theta$ 的常函数，则 $T(\bm{X})$ 是 $\theta$ 的充分统计量
💡
由定义可得

• 因子分解定理
设 $f(\bm{x}|\theta)$ 为样本 $\bm{X}$ 的联合概率密度函数，统计量 $T(\bm{X})$ 是 $\theta$ 的充分统计量当且仅当存在函数 $g(t|\theta)$ 和 $h(\bm{x})$ ，使得对任意样本点 $\bm{x}$ 以及参数 $\theta$ ，都有 $f(\bm{x}|\theta)=g(T(\bm{x})|\theta)h(\bm{x})$
💡
可以考虑 $f$ 取正值的集合，若与 $\theta$ 有关，可帮助求充分统计量 对于向量同样成立

• 定理
设随机样本 $X_1,\cdots,X_n$ 取自概率密度函数为 $f(x|\theta)$ 的总体，其中 $f(x|\theta)$ 属指数族概率密度函数，其定义为：
$f(x|\bm{\theta})=h(x)c(\bm{\theta})\exp(\sum_{i=1}^kw_i(\bm{\theta})t_i(x))$
其中 $\theta=(\theta_1,\theta_2,\cdots,\theta_d),d\leq k$ ，则
$T(\bm{X})=(\sum_{j=1}^nt_1(X_j),\cdots\sum_{j=1}^n t_k(X_j))$
是 $\bm{\theta}$ 的充分统计量

极小充分统计量

• 定义
称充分统计量 $T(\bm{X})$ 是极小充分统计量 ，如果对其余任一充分统计量 $T'(\bm{X})$ ， $T(\bm{X})$ 都是 $T'(X)$ 的函数. 即若 $T'(x)=T'(y)$ ，则必有 $T(x)=T(y)$
即极小充分统计量对应的划分是充分统计量中最粗的划分

• 定理
设 $f(\bm{x}|\theta)$ 是样本 $\bm{X}$ 的概率密度函数. 如果存在函数 $T(\bm{x})$ 使得对任意两个样本点 $\bm{x}$ 和 $\bm{y}$ ，比值 $\frac{f(\bm{x}|\theta)}{f(\bm{y}|\theta)}$ 是 $\theta$ 的常函数当且仅当 $T(\bm{x})=T(\bm{y})$ ，则 $T(\bm{X})$ 是 $\theta$ 的极小充分量
💡
判别极小充分量 同样可考虑 $f$ 取正值的集合

辅助统计量

• 定义
如果统计量 $S(\bm{X})$ 的分布与 $\theta$ 无关，则称 $S(\bm{X})$ 为辅助统计量
💡
单个辅助统计量不包含任何关于 $\theta$ 的信息，但可以和其他统计量联合
例
• 均匀辅助统计量
$R=X_{(n)}-X_{(1)}$ 是辅助统计量
• 位置族辅助统计量
$R=X_{(n)}-X_{(1)}$ 是辅助统计量
• 尺度族辅助统计量
$S(\bm{X})=(\frac{X_1}{X_n},\cdots,\frac{X_{n-1}}{X_n})$ 是辅助统计量

充分统计量、辅助统计量与完全统计量

• 定义
设 $f(t|\theta)$ 是统计量 $T(\bm{X})$ 的概率密度函数，如果满足：对任意 $\theta$ 都有 $\text{E}_\theta g(T)=0$ ，那么对任意 $\theta$ 都有 $\text{P}_\theta (g(T)=0)=1$ ，则称该概率分布族是完全的，或称 $\bm{T}(\bm{X})$ 是完全统计量
完全性是整个概率分布族而非某个特定分布的性质

• 定理（Basu定理）
设 $T(\bm{X})$ 是完全的极小充分统计量，则 $T(\bm{X})$ 与任意辅助统计量都独立

• 定理（指数族的完全统计量）
设随机变量 $X_1,\cdots,X_n$ 曲子概率密度函数为
$f(x|\bm{\theta})=h(x)c(\bm{\theta})\exp(\sum_{j=1}^k w(\theta_j)t_j(x))$
的指数族总体，其中 $\bm{\theta}=(\theta_1,\theta_2,\cdots,\theta_k)$ .如果参数空间 $\Theta$ 包含 $\mathbb{R}^k$ 的开集，则统计量
$T(\bm{X})=(\sum_{i=1}^n t_1(X_i),\sum_{i=1}^n t_2(X_i),\cdots,\sum_{i=1}^n t_k(X_i))$
是完全统计量

• 定理
如果极小充分统计量存在，则任意完全统计量都是极小充分统计量
💡
Basu定理中的极小性可以去掉

似然原理

似然函数

• 定义
设 $f(\bm{x}|\theta)$ 为样本 $\bm{X}=(X_1,\cdots,X_n)$ 的联合概率密度（或质量）函数，如果观测到 $\bm{X}=\bm{x}$ ，则称 $\theta$ 的函数 $L(\theta|\bm{x})=f(\bm{x}|\theta)$ 为似然函数。如果 $\bm{X}$ 是离散随机向量，则 $L(\theta|\bm{x})=P_\theta(\bm{X}=\bm{x})$

• 似然原理
设样本点 $\bm{x}$ 和 $\bm{y}$ 满足 $L(\theta|\bm{x})$ 与 $L(\theta|\bm{y})$ 成比例，即存在某常数 $C(\bm{x},\bm{y})$ 使得对任意 $\theta$ 有 $L(\theta|\bm{x})=C(\bm{x},\bm{y})L(\theta|\bm{y})$ ，则由 $\bm{x}$ 和 $\bm{y}$ 出发所作的关于 $\theta$ 的推断完全相同

• 信仰推断

点估计

• 定义
样本的任何一个函数 $W(X_1,\cdots,X_n)$ 称为一个点估计量，即任何一个统计量就是一个点估计量

求估计量的方法

矩法

• $k$ 阶样本矩与 $k$ 阶总体矩相等

• Satterthwaite近似

极大似然估计量

• 似然函数
$L(\theta | \bm{x})=L(\theta_1,\cdots,\theta_k|x_1,\cdots,x_n)=\prod_{i=1}^n f(x_i|\theta_1,\cdots,\theta_k)$

• 定义
对每一个固定的样本点 $\bm{x}$ ，令 $\hat{\theta}(\bm{x})$ 是参数 $\theta$ 的一个取值，它使得 $L(\theta|\bm{x})$ 作为 $\theta$ 的函数在该处达到最大值. 那么，基于样本 $\bm{X}$ 的极大似然估计量（MLE）就是 $\hat{\theta}(\bm{X})$

• 极大似然估计的不变性 若 $\hat{\theta}$ 是 $\theta$ 的MLE，则对于 $\theta$ 的任何函数 $\tau(\theta)$ ， $\tau(\hat{\theta})$ 是 $\tau(\theta)$ 的MLE

Bayes估计量

• 先验分布后验分布
把先验分布记为 $\pi(\theta)$ ，而把样本分布记为 $f(\bm{x}|\theta)$ ，那么后验分布时给定样本 $\bm{x}$ 的条件下 $\theta$ 的条件分布，就是 $\pi(\theta|\bm{x})=f(\bm{x}|\theta)\pi(\theta)/m(\bm{x})$ ，这里 $m(\bm{x})$ 是 $\bm{X}$ 的边缘分布，由下式给出 $m(\bm{x})=\int f(\bm{x}|\theta)\pi(\theta)d\theta$
可以用后验分布的均值来作为 $\theta$ 的点估计

• 定义
设 $\mathcal{F}$ 是概率密度函数或概率质量函数 $f(x|\theta)$ 的类（以 $\theta$ 为指标）. 称一个先验分布类 $\Pi$ 为 $\mathcal{F}$ 的一个共轭族，如果对所有的 $f\in\mathcal{F}$ ，所有的 $\Pi$ 中的先验分布和所有的 $x\in X$ ，其后验分布仍在 $\Pi$ 中
• 贝塔分布族是二项分布族的共轭族
• 正态分布族是自身的共轭族
• 伽马分布是Poisson分布族的共轭族

• 例
贝塔分布族是二项分布族的共轭族

估计量的评价方法

均方误差

• 定义
参数 $\theta$ 的估计量 $W$ 的均方误差（MSE）是由 $E_\theta(W-\theta)^2$ 定义的关于 $\theta$ 的函数

• $E_\theta(W-\theta)^2=Var_\theta W+(E_\theta W-\theta)^2=Var_\theta W+(Bias_\theta W)^2$

• 定义
参数 $\theta$ 的点估计量 $W$ 的偏倚bias是指 $W$ 的期望值与 $\theta$ 之差， $Bias_\theta W=E_\theta W-\theta$ 。一个估计量如果它的偏倚恒等于0，则称为无偏差的，满足 $E_\theta W=\theta$ 对所有 $\theta$ 成立

最佳无偏估计量

• 定义
估计量 $W^*$ 称为 $\tau(\theta)$ 的最佳无偏估计量，如果它满足 $E_\theta W=\tau(\theta)$ 对所有 $\theta$ 成立，并且对任何一个其他的满足 $E_\theta(W)=\tau(\theta)$ 的估计量 $W$ ，都有 $\text{Var} _\theta W^*\leq \text{Var} _\theta W$ 对所有 $\theta$ 成立. $W^*$ 也称为 $\tau(\theta)$ 的一致最小方差无偏估计量（UMVUE）

• （Cramer-Rao不等式）
设 $X_1,\cdots,X_n$ 是具有概率密度函数 $f(\bm{x}|\theta)$ 的样本，令 $W(\bm{X})=W(X_1,\cdots,X_n)$ 是任意的一个估计量，满足 $\frac{d}{d\theta}E_\theta W(\bm{X})=\int_X \frac{\partial}{\partial \theta} [W(\bm{x})f(\bm{x}|\theta)]dx$ 和 $\text{Var}_\theta W(\bm{X})<\infty$ ，则有
$\text{Var}_\theta (W(\bm{x}))\geq \frac{(\frac{d}{d\theta} E_\theta W(\bm{X}))^2}{E_\theta ((\frac{\partial}{\partial \theta}\log f(\bm{X}|\theta))^2)}$

• （Cramer-Rao不等式，iid情况）
如果上一个定理的假设满足，且 $X_1,\cdots,X_n$ 是 iid 的，具有概率密度函数 $f(x|\theta)$ ，则
$\text{Var}_\theta(W(\bm{X}))\geq \frac{(\frac{d}{d\theta}E_\theta W(\bm{X}))^2}{nE_\theta ((\frac{\partial}{\partial \theta}\log f(X|\theta))^2)}$
💡
对于满足限制且 $E_\theta W=\tau(\theta)$ 的估计量 $W$ 的方差有一个下界，这个界仅依赖于 $\tau(\theta)$ 和 $f(x|\theta)$ 并且是方差的一致下界

• 引理
若 $f(x|\theta)$ 满足
$\frac{d}{d\theta} E_\theta (\frac{\partial}{\partial\theta}\log f(X|\theta))=\int \frac{\partial}{\partial\theta} [(\frac{\partial}{\partial\theta}\log f(x|\theta))f(x|\theta)]dx$
（对一个指数族为真），则
$E_\theta((\frac{\partial}{\partial\theta}\log f(X|\theta))^2)=-E_\theta (\frac{\partial^2}{\partial\theta^2}\log f(X|\theta))$

• 达到下界 设 $X_1,\cdots, X_n$ 是 iid 的，具有概率密度函数 $f(x|\theta)$ ，其 $f(x|\theta)$ 满足 Cramer-Rao 定理的条件。令 $L(\theta|\bm{x})=\prod_{i=1}^n f(x_i|\theta)$ 表示似然函数。如果 $W(\bm{X})=W(X_1,\cdots, X_n)$ 是 $\tau(\theta)$ 的任意一个无偏估计量，则 $W(\bm{X})$ 达到 Cramer-Rao 下界当且仅当
$a(\theta)[W(\bm{x})-\tau(\theta)]=\frac{\partial}{\partial \theta} \log L(\theta|\bm{x})$
对某一函数 $A(\theta)$ 成立
💡
考虑Cauchy不等式取等号条件

充分性和无偏性

• 定理 Rao-Blackwell
设 $W$ 是 $\tau(\theta)$ 的任意一个无偏估计量，而 $T$ 是关于 $\theta$ 的一个充分统计量. 定义 $\phi(T)=E(W|T)$ . 则 $E_\theta \phi(T)=\tau(\theta)$ 而且 $Var_\theta \phi(T)\leq Var_\theta W$ 对所有 $\theta$ 成立；即是说 $\phi(T)$ 是 $\tau(\theta)$ 的一个一致较优的无偏估计量
💡
求最佳无偏估计量时只需考虑是充分统计量的函数的统计量

• 定理
如果 $W$ 是 $\tau(\theta)$ 的一个最佳无偏估计量，则 $W$ 是唯一的

• 定理
如果 $E_\theta W=\tau(\theta)$ ， $W$ 是 $\tau(\theta)$ 的最佳无偏估计量当且仅当 $W$ 与 $0$ 的所有无偏估计量不相关
💡
如果相关，则不能作为最佳无偏。如果不相关，由于 $0$ 的无偏估计量（即噪声）方差非负，故是最佳无偏估计量

• 定理
设 $T$ 是一个参数 $\theta$ 的完全充分统计量而 $\phi(T)$ 是任意的一个仅基于 $T$ 的估计量. 则 $\phi(T)$ 是其期望值的唯一最佳无偏估计量
💡
若 $T$ 是参数 $\theta$ 的一个完全充分统计量， $h(X_1,\cdots,X_n)$ 是 $\tau(\theta)$ 的任意一个无偏估计量，则 $\phi(T)=E(h(X_1,\cdots,X_n)|T)$ 是 $\tau(\theta)$ 的最佳无偏估计量

假设检验

• 定义
假设是关于总体参数的一个陈述

• 定义
一个假设检验问题中两个互补的假设成为原假设（零假设）和备择假设. 把它们分别记作 $H_0$ 和 $H_1$

• 定义
假设检验过程是一个法则，它明确描述：
1. 对于哪些样本值应该决定接受 $H_0$ 为真
2. 对于哪些样本值应该拒绝 $H_0$ 而接受 $H_1$ 为真
由拒绝 $H_0$ 的样本构成的样本空间的子集叫做拒绝区域或者或者临界区域，拒绝区域的补集叫做接受区域

检验的求法

似然比检验（LRT）

• 定义
关于检验 $H_0:\theta \in \Theta_0$ 对 $H_1:\theta\in \Theta^C_0$ 的似然比检验统计量是
$\lambda(\bm{x})=\frac{\sup_{\Theta_0}L(\theta|\bm{x})}{\sup_{\Theta} L(\theta|\bm{x})}$
任何一个拒绝区域的形式为 $\lbrace \bm{x}:\lambda(\bm{x})\leq c\rbrace$ 的检验都叫做似然比检验（LRT），这里 $c$ 是任意一个满足 $0\leq c\leq 1$ 的数

• 定理
设 $T(\bm{X})$ 是关于 $\theta$ 的一个充分统计量，而 $\lambda^*(t)$ 和 $\lambda(\bm{x})$ 分别是依赖于 $T$ 和 $\bm{X}$ 的LRT统计量，则对于样本空间内每一个 $\bm{x}$ ，有 $\lambda^*(T(x))=\lambda(\bm{x})$
💡
对 $\lambda(\bm{x})$ 化简后结果应该仅通过充分统计量 $T(\bm{x})$ 依赖于 $\bm{x}$

• 冗余参数

Bayes检验

• 如果 $P(\theta\in \Theta_0|\bm{X})\geq P(\theta\in \Theta_0^C|\bm{X})$ 就接受 $H_0$ 为真否则就拒绝 $H_0$ 。拒绝区域是 $\{x:P(\theta\in \Theta_0^C|\bm{x})>\frac{1}{2}\}$

并-交检验与交-并检验

• 并-交检验
在原假设被方便地表示成一个交集时有用
设 $H_0:\theta\in \bigcap_{\gamma\in \Gamma} \Theta_\gamma$ ， 其中 $\Gamma$
假定有了关于每一个检验问题 $H_{0\gamma}:\theta \in \Theta_\gamma$ 对 $H_{1\gamma}:\theta\in \Theta_\gamma^C$ 的检验
设关于检验 $H_{0\gamma}$ 的拒绝区域是 $\lbrace \bm{x}:T_\gamma(\bm{x})\in R_\gamma\rbrace$ ，则关于并-交检验的拒绝区域就是 $\bigcup_{\gamma\in\Gamma}\lbrace \bm{x}:T_\gamma(\bm{x})\in R_\gamma\rbrace$
特别地，若每一个个别检验都具有 $\lbrace \bm{x}:T_\gamma(\bm{x})>c\rbrace$ 形式的拒绝区域，其中 $c$ 不依赖于 $\gamma$ ，则并-交检验的拒绝区域能够表示成 $\bigcup_{\gamma\in \Gamma}\lbrace \bm{x}:T_\gamma(\bm{x})>c\rbrace=\lbrace \bm{x}:\sup_{\gamma\in \Gamma} T_\gamma(\bm{x})>c\rbrace$ ，则关于 $H_0$ 的检验统计量为 $T(\bm{x})=\sup_{\gamma\in \Gamma}T_\gamma(\bm{x})$