概率论与数理统计第八章——假设检验

第八章 假设检验

8.1 假设检验

8.1.1 概述

又叫“显著性检验”。

举个例子，研究新冠疫苗对预防新冠是否有效，我们将被试随机分为两组，一组注射新冠疫苗，另一组注射葡萄糖。

原假设：疫苗无效

备择假设：疫苗有效

如果注射疫苗组的发病率“远远”低于另一组，就拒绝原假设，接受备择假设。（换句话说，证据表明，疫苗对预防新冠有效）

例1 已知某钢铁厂铁水含碳量$X$在某种工艺条件下服从正态分布$N(4.55,0.108^2)$。现在改变了工艺条件，又测了五炉铁水，其含碳量分别为：

\[4.28,4.40,4.42,4,35,4.37\]

根据以往的经验，总体的方差$\sigma^2=0.108^2$不会改变。试问，工艺条件改变后，铁水含碳量的均值有无改变？

解：原假设$H_0:\mu=\mu_0=4.55$，备择假设$H_1:\mu\neq 4.55$。

$\bar X=\frac{1}{n}\sum_{i=1}^nX_i$是$\mu$的无偏估计，因此，若$\mu_0$正确，则$\bar X$与$\mu_0$的偏差一般不应太大，即$\lvert\bar X-\mu_0\rvert$不应太大。由于$Z=\frac{\bar X-\mu_0}{\sigma/\sqrt{n}}\sim N(0,1)$，因此可考察$Z$的大小。

对于给定的小正数$\alpha$，$P{\frac{\lvert\bar X-\mu_0\rvert}{\sigma/\sqrt{n}}\geq z_{\alpha/2}}=\alpha$，为小概率事件。因此，当用样本值代入$Z$时，若其观察值$\lvert z\rvert\geq z_{\alpha/2}$，就说明小概率事件发生了，因此有理由拒绝原假设，接受备择假设。

本例中$z_{\alpha/2}=1.96$，而$\lvert z\rvert=\lvert -3.9\rvert =3.9>1.96$，因此拒绝原假设，接受备择假设，认为新工艺改变了铁水的平均含碳量。

• 检验统计量：上例中定义的统计量$Z$。

• 拒绝域：$Z$取某个区域中的值时拒绝原假设，这个区域称为拒绝域。

• 临界点：拒绝域的边界点。

• 显著性水平/假设水平：$\alpha$。

• 显著性假设检验：在$H_0$和$H_1$之间，我们倾向于保护$H_0$，即$H_0$确实成立时，做出拒绝$H_0$的概率应是一个很小的正数，这类假设检验被称为显著性假设检验。

总结：参数的假设检验步骤：

1. 建立原假设$H_0$和备择假设$H_1$；
2. 确定检验统计量$Z$，其分布是明确已知的；
3. 给定显著性水平$\alpha$，由$P${$ \lvert Z\rvert \geq z_{\alpha/2}$}$\leq \alpha$；
4. 由样本数据计算出$Z$的观察值$z$，做出判断：若$\lvert z\rvert\geq z_{\alpha/2}$，则拒绝原假设$H_0$，接受备择假设$H_1$。反之则反。

8.1.2 双边检验与单边检验

上面介绍的是双边检验问题，事实上也存在单边假设。这时应根据实际问题确定分位点$z_{\alpha}$。

假设	双边检验	左边检验	右边检验
$H_0$	$\mu=\mu_0$	$\mu \geq \mu_0$	$\mu \leq \mu_0$
$H_1$	$\mu \neq \mu_0$	$\mu < \mu_0$	$\mu > \mu_0$

不同检验拒绝域分布：

8.2 正态总体均值和方差的检验

下面讨论的是正态总体，因此样本分布为正态分布。另外注意：我们给出检验统计量时，是认为原假设成立的。换句话说，原假设会参与得出检验统计量的化简过程。

8.2.1 单个正态总体均值的检验

检验的是均值$\mu$，双边检验，原假设$\mu=\mu_0$。

其它参数	检验统计量
$\sigma^2$已知	$Z=\frac{\bar X-\mu_0}{\sigma/\sqrt{n}}\sim N(0,1)$
$\sigma^2$未知	$T=\frac{\bar X-\mu_0}{S/\sqrt{n}}\sim t(n-1)$

8.2.2 两个正态总体均值差的检验

检验的是均值差$\mu_1-\mu_2$，双边检验，原假设$\mu_1-\mu_2=\delta$。

其它参数	检验统计量
$\sigma_1^2,\sigma_2^2$已知	$Z=\frac{\bar X-\bar Y-\delta}{\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}}\sim N(0,1)$
$\sigma_1^2=\sigma_2^2$未知	$T=\frac{\bar X-\bar Y-\delta}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\sim t(n_1+n_2-2)$

其中，$S_w=\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}$。

8.2.3 成对数据的均值差的检验

$n$对相互独立的样本：$(X_1,Y_1),(X_2,Y_2),…,(X_n,Y_n)$，并记$D_i=X_i-Y_i$，其中$D_i\sim N(\mu_D,\sigma_D^2)$。

双边检验，原假设$\mu_D=0$。记样本均值和方差分别为$\bar D,S_D^2$。

检验统计量：

\[\frac{\bar D}{S_D/\sqrt{n}}\sim t(n-1)\]

思考：什么时候检验成对数据的均值差？什么时候用两个正态总体的均值差？

对于成对数据，每对内部可能并不相互独立，但两个正态总体是相互独立的。

8.2.4 单个正态总体方差的检验

检验的是方差$\sigma^2$，双边检验，原假设$\sigma^2=\sigma_0^2$

其它参数	检验统计量
$\mu$已知	$\chi^2=\frac{\sum_{i=1}^n(X_i-\mu)^2}{\sigma_0^2}\sim \chi^2(n)$
$\mu$未知	$\chi^2=\frac{(n-1)S^2}{\sigma_0^2}\sim \chi^2(n-1)$

8.2.5 两个正态总体方差的检验

检验的是方差是否相等，双边假设，原假设$\sigma_1^2=\sigma_2^2$。

其它参数	检验统计量
$\mu_1,\mu_2$已知	$F=\frac{\frac{1}{n_1}\sum_{i=1}^{n_1}(X_i-\mu_1)^2}{\frac{1}{n_2}\sum_{i=1}^{n_2}(X_i-\mu_2)^2}\sim F(n_1,n_2)$
$\mu_1,\mu_2$未知	$F=\frac{S_1^2}{S_2^2}\sim F(n_1-1,n_2-1)$

8.3 假设检验中的p值法

之前讲的是假设检验的临界值法。本节所要讲的是假设检验的另一种方法——p值法。

例1 设总体$X\sim N(\mu,\sigma^2)$，$\mu$未知，$\sigma^2=100$，现有样本值$x_1,x_2,…,x_{52}$，计算得$\bar x=62.75$，检验假设

\[H_0: \mu \leq \mu_0=60\qquad H_1:\mu>60\]

采用$Z$检验法，检验统计量为$Z=\frac{\bar X-\mu_0}{\sigma/\sqrt{n}}\sim N(0,1)$。代入样本值，得$Z$的观察值$z_0=1.983$。

查表得，$P{Z\geq z_0}=0.0238$，记$p=0.0238$，即为p值，如下图所示：

由图可见，$p=0.0238$是$H_0$被拒绝的最小显著性水平。

• p值：假设检验问题的p值是由检验统计量的样本观察值得出的原假设可被拒绝的最小显著性水平。它是分布函数的尾部面积。

注：

(1) 与临界值法相比，p值法给出了有关拒绝域的更多的信息；

(2) p值表示反对原假设$H_0$的依据的强度。p值越小，反对$H_0$的依据越强、越充分。

8.4 分布假设检验

非参数检验：根据总体的样本对其分布进行推断和检验。包括单个分布的$\chi^2$拟合检验，分布族的$\chi^2$拟合检验及置换检验。

8.4.1 单个分布的$\chi^2$拟合检验

• 检验内容：设总体$X$的分布未知，$X_1,X_2,…,X_n$是来自$X$的样本值。检验假设：
  $H_0$：总体$X$的分布函数为$F(x)$
  $H_1$：总体$X$的分布函数不是$F(x)$
  其中$F(x)$不含未知参数。

• 检验统计量：
  \(\sum_{i=1}^kC_i\bigg(\frac{f_i}{n}-p_i\bigg)^2\)
  解释一下：把总体$X$的取值范围分成互不相交的子集$A_1,A_2,…,A_k$，设样本的观察值为$x_1,x_2,…,x_n$，则公式中$f_i$为样本落在子集$A_i$中的个数，$p_i=P(A_i)$是根据$H_0$中假设分布得到的，$C_i$为给定的常数。

定理 若$n$充分大$(n\geq 50)$，则当$H_0$为真时，统计量

\[\chi^2=\sum_{i=1}^k\frac{n}{p_i}\bigg(\frac{f_i}{n}-p_i\bigg)^2=\sum_{i=1}^k\frac{f_i^2}{np_i}-n\]

近似服从$\chi^2(k-1)$分布。

如果样本观察值使得$\chi^2\geq \chi_\alpha^2(k-1)$，则在显著性水平$\alpha$下拒绝$H_0$，否则接受$H_0$。这就是$\chi^2$拟合检验法。

注：若$np_i<5$，适当合并某些组，使合并后大于等于5。

8.4.1 分布族的$\chi^2$拟合检验

• 检验内容：设总体$X$的分布已知，为$F(x;\theta_1,\theta_2,…,\theta_r)$，参数$\Theta=(\theta_1,\theta_2,…,\theta_r)$未知（共$r$个）。$F(x;\theta_1,\theta_2,…,\theta_r)$代表一族分布。检验假设：

$H_0$：总体$X$的分布函数是$F(x;\theta_1,\theta_2,…,\theta_r)$

• 检验统计量：
  \(\chi^2=\sum_{i=1}^k\frac{(f_i-n\hat p_i)^2}{n\hat p_i}\)
  解释一下：把总体$X$的取值范围分成$k$个互不相交的子集$A_1,A_2,…,A_k$，先用极大似然估计的方法估计出参数$\Theta$，然后将观察值代入所假设的分布，计算出$\hat P(A_i)=\hat p_i$。$f_i$为样本落在子集$A_i$中的个数。

定理 在某些条件下，当$H_0$为真时，近似地有

\[\chi^2=\sum_{i=1}^k\frac{(f_i-n\hat p_i)^2}{n\hat p_i}\sim \chi^2(k-r-1)\]

在显著性水平$\alpha$下，拒绝域为 \(\chi^2\geq \chi_{\alpha}^2(k-r-1)\)