概率论与数理统计（计算机专业课）期中复习笔记，前五章：随机事件与概率，随机变量及其分布，多维随机变量及其分布，随机变量的数字特征，大数定律及中心极限定理

第一章 随机事件与概率

1.1 随机事件及其概率

• 随机事件的运算：事件是集合，因此事件间的关系和运算规则按照集合间的关系和运算规则处理，有交、并、补、差，运算律有交换律、结合律、分配律和De Morgan律。

1.2 频率与概率

• 频率：$n$次试验，事件$A$发生$n_A$次（频数），频率定义为

\[f_n(A):=\frac{n_A}{n}\]

• 概率：

  • 性质：非负性、规范性、可列可加性。

    注：可列可加性含义为，若$\forall i \neq j$，$ A_iA_j = 0$，则有

    \[P\bigg(\bigcup_iA_i\bigg)=\bigcup_i P(A_i)\]

  • 逆事件：

    \[P(\bar A)=1-P(A)\]

  • 差事件：若$A \subset B$，则

    \[P(B-A)=P(B)-P(A)\]

  • 加法公式：

    \[P(A \cup B)=P(A)+P(B)-P(AB)\]

1.3 古典概型与几何概型

• 古典概型：$A$为一随机事件，$\Omega$为样本空间，$N(A)$为事件$A$中样本点个数，则

\[P(A)=\frac{N(A)}{N(\Omega)}\]

• 几何概型：$A$为随机事件，$D$为样本空间，$m_A$为事件$A$的度量，则

\[P(A)=\frac{m_A}{m_D}\]

1.4 条件概率

• 条件概率：在事件$A$已发生的条件下事件$B$发生的概率，记为$P(B|A)$

• 计算公式：

\[P(B|A)=\frac{P(AB)}{P(A)}\]

• 性质：非负性、规范性、可列可加性。

• 逆事件：

\[P(\bar B|A)=1-P(B|A)\]

• 加法公式：

\[P(B_1\cup B_2|A)=P(B_1|A)+P(B_2|A)-P(B_1B_2|A)\]

• 乘法公式：

\[P(AB)=P(B|A)P(A)\]

• 乘法公式的推广：

\[P(A_1A_2\cdots A_n)=P(A_n|A_1A_2\cdots A_{n-1})P(A_{n-1}|A_1A_2\cdots A_{n-2})\cdots P(A_2|A_1)P(A_1)\]

• 全概率公式（★★★）：对于$\Omega$的一个划分$B_1,B_2,\cdots,B_n$及随机事件$A$，有全概率公式

\[P(A)=P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+\cdots+P(A|B_n)P(B_n)\]

• Bayes定理（★★★）：对于$\Omega$的一个划分$B_1,B_2,\cdots,B_n$及随机事件$A$，$\forall i \in {1,2,\cdots,n}$，有Bayes定理

\[P(B_i|A)=\frac{P(A|B_i)P(B_i)}{P(A)}=\frac{P(A|B_i)P(B_i)}{\sum_{i=1}^n P(A|B_i)P(B_i)}\]

1.5 独立性

• 独立性：若满足

\[P(AB)=P(A)P(B|A)=P(A)P(B)\]

则称$A$与$B$相互独立。

• 互不相容：两事件不同时发生。

  • 互不相容与相互独立的关系：当$A$与$B$非空时，互不相容与相互独立不能同时发生。

• 多事件的独立性：$n$个事件中任意$k$个事件同时发生的概率都等于它们各自发生的概率之积，则称这$n$个事件相互独立。即

\[P(A_{i_1}A_{i_2}\cdots A_{i_k})=P(A_{i_1})P(A_{i_2})\cdots P(A_{i_k}),k=1,2,\cdots,n\]

• Bernoulli试验：只有两个结果（“成功”与“失败”）的随机试验。

• $n$重Bernoulli试验：独立重复地进行$n$次Bernoulli试验。

  • 恰好成功$k$次的概率：

\[P_n(k)=\binom{n}{k}p^k(1-p)^{n-k}\]

第二章 随机变量及其分布

2.1 离散型随机变量及分布函数

• 分布律：

\[P\{X=X_k\}=p_k(k=1,2,\cdots)\]

或

$X$	$x_1$	$x_2$	$\cdots$	$x_k$	$\cdots$
$P$	$p_1$	$p_2$	$\cdots$	$p_k$	$\cdots$

• 分布律性质：非负性、归一化。

• 常用离散型随机变量：

名称	含义	记法	分布律
Bernoulli分布	一次Bernoulli试验中事件$A$发生的次数	$X$~$B(1,p)$	\(P\{X=k\}=p^k(1-p)^{1-k}(k=0,1)\)
二项分布	n重Bernoulli试验中事件$A$发生的次数	$X$~$B(n,p)$	\(P\{X=k\}=\binom{n}{k}p^k(1-p)^{n-k}(k=0,1,2,\cdots,n)\)
Poisson分布	在一定的时间或空间内事件$X$出现的个数	$X$~$P(\lambda)$或$\pi(\lambda)$	\(P\{X=k\}=\frac{\lambda ^k}{k!}e^{- \lambda}(k=0,1,2,\cdots)\)
几何分布	Bernoulli试验进行到事件$A$首次发生为止时试验进行的次数	/	\(P\{X=k\}=p(1-p)^{k-1}(k=1,2,\cdots)\)
超几何分布	无放回抽样中事件$A$发生的次数	/	\(P\{X=k\}=\frac{\binom{M}{k}\binom{N-M}{n-k}}{\binom{N}{n}}(k=0,1,\cdots,min(M,n))\)

注：

1、二项分布的分布形态：先增后减，$k$取中间项时取得最大值，称为该二项分布的最大可能次数。

2、当$n$比较大，$p$比较小时，二项分布可近似用Poisson分布刻画，此时$\lambda=np$。

3、当$N\to\infty$时，无放回抽样和有放回抽样区别不大，超几何分布可近似用二项分布刻画。

• 分布函数：

\[F(x)=P\{X\leq x\}\]

• 分布函数性质：不减、右连续、$0\leq F(x) \leq 1$且$F(-\infty)=0,F(+\infty)=1$。

• 离散型随机变量的分布函数：

\[F(X)=P\{X\leq x\}=\sum_{x_k\leq x}P\{X=x_k\}\]

2.2 连续型随机变量及其概率密度

• 概率密度函数：

\[f(x):=\lim_{\Delta x \to 0}\frac{P\{x<X\leq x+\Delta x\}}{\Delta x}\]

• 概率密度函数性质：非负性、归一化。【这两条性质是判断一个函数$f(x)$是否为概率密度函数的充要条件！】

• 若$f(x)$在点$x$处连续，则$F’(x)=f(x)$。（$F(x)$为分布函数）

• 注： 1、$f(x)\Delta x$在连续型随机变量中起的作用类似于$p_k$在离散型随机变量中的作用。 2、$f(x)$的值反映在$x$附近取值的概率，不能反映取值为$x$的概率，因为

\[P\{X=x\}=0\]

• 常用连续型随机变量：

名称	含义	记法	概率密度函数	分布函数
均匀分布	$X$在区间$[a,b]$子区间的取值与长度成正比，与位置无关	$X$~$U[a,b]$	\(f(x)=\left\{\begin{aligned}&\frac{1}{b-a},&a\leq x\leq b\\&0, & otherwise\end{aligned}\right.\)	\(F(x)=\left\{\begin{aligned}&0,&x<a \\&\frac{x-a}{b-a}, &a\leq x\leq b\\&1, & x>b \end{aligned}\right.\)
正态分布	随机变量受诸多因素影响，但其中任一因素都不起决定性作用	$X$~$N(\mu ,\sigma^2)$	\(f(x)=\frac{1}{\sqrt{2\pi }\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}\)	\(\Phi (x)=\int_{-\infty}^xf(x)dx\)
指数分布	“寿命分布”，某事件持续时间为$X$的概率	/	\(f(x)=\left\{\begin{aligned}&\lambda e^{-\lambda x},&x>0\\&0, & x\leq 0\end{aligned}\right.\)	\(F(x)=\left\{\begin{aligned}&1-e^{-\lambda x},&x>0\\&0, & x\leq 0\end{aligned}\right.\)
$\Gamma$-分布	发生$r$次事件的等候时间之和	/	\(f(x)=\left\{\begin{aligned}&\frac{\lambda ^ r}{\Gamma(r)}x^{r-1}e^{-\lambda x},&x>0\\&0, & x\leq 0\end{aligned}\right.\)	\(F(x)=\int_{-\infty}^xf(x)dx\)

注：

1、正态分布：

1）标准正态分布：$X$~$N(0,1)$是称之为标准正态分布，利用代换$Y=\frac{X-\mu}{\sigma}$可将任意分布化为标准正态分布。

2）$3\sigma$准则：$X$在$(\mu-3\sigma,\mu+3\sigma)$内取值概率为$99.7\%$，近似为1。

2、$\Gamma$-分布：

1）$\Gamma$函数：

\[\Gamma (r)=\int_0^{+\infty}x^{r-1}e^{-x}dx\]

2）$\Gamma$函数的性质：

a.

\[\Gamma (r+1)=r\Gamma (r)\]

特别地，当$r=n$为自然数时，有

\[\Gamma(n)=(n-1)!\]

b.

\[\Gamma\bigg(\frac{1}{2}\bigg)=\sqrt{\pi }\]

3）与其他分布的联系：

参数取值	分布名称
$r=1$	指数分布
$r=n$	Erlang分布
$r=\frac{n}{2},\lambda=\frac{1}{2}$	自由度为$n$的$\chi ^2$-分布

2.3 随机变量函数的分布

• 问题：已知随机变量$X$的分布，且已知$Y=g(X)$，求随机变量$Y$的分布。

• 离散型随机变量：将$X$值代入得到$Y$，如果有不同的$X$对应相同的$Y$，将概率相加即可。

• 连续型随机变量：设$X$的密度函数为$f_X(x)$，求$f_Y(y)$：

  • 一般思路：先积分得出$Y$的分布函数

    \[F_Y(y)=\int_{g(x)\leq y}f_X(x)dx\]

    再对$y$求导。

  • 严格单调函数的分布：设恒有$g’(x)>0$（或$<0$），$h(y)=g^{-1}(y)$为$g(x)$的反函数，则

    \(f_Y(y)=\left\{ \begin{aligned} &f_X[h(y)]|h'(y)|,&\alpha <y<\beta\\ &0, &otherwise \end{aligned} \right.\) 其中， \(\alpha=min\{g(-\infty),g(+\infty)\},\beta=max\{g(-\infty),g(+\infty)\}\)

第三章 多维随机变量及其分布

本章以研究二维随机变量为主，主要研究其联合分布、边缘分布、条件分布、随机变量相互独立、两个随机变量的函数的分布。

3.1 二维随机变量

1、二维离散型随机变量

• （联合）分布律：记\(P\{X=x_i,Y=y_j\}=p_{ij}\)称$p_{ij}$为$(X,Y)$的分布律。表格形式：

  

• 分布律性质：非负性、规范性。

2、二维连续型随机变量

• 联合概率密度：$F(x,y)$为联合分布函数，$f(x,y)$为联合概率密度，则

\[F(x,y)=\int_{-\infty}^y\int_{-\infty}^xf(x,y)dxdy\]

• 联合概率密度性质：非负性、规范性、$P{(x,y)\in G}=\iint_{(x,y)\in G}f(x,y)dxdy$、$F_{xy}(x,y)=f(x,y)$。

• 常见二维连续型随机变量：

名称	联合概率密度
二维均匀分布	\(f(x)=\left\{\begin{aligned}&\frac{1}{A},&(x,y) \in D\\&0, & (x,y)\notin D\end{aligned}\right.\)其中$A$为区域$D$的面积
二维正态分布	\(f(x,y)=\frac{1}{2\pi \sigma_1\sigma_2\sqrt{1-\rho^2}}exp\bigg(-\frac{1}{2(1-\rho^2)}\bigg[\frac{(x-\mu_1)^2}{\sigma_1^2}-\frac{2\rho(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2}+\frac{(y-\mu_2)^2}{\sigma_2^2}\bigg]\bigg)\)其中$-1<\rho<1$，为相关系数

3.2 联合分布

• 联合分布函数：二维随机变量的联合分布函数，简称分布函数，如下定义：

\[F(x,y):=P\{X\leq x,Y\leq y\}\]

即随机点$(X,Y)$落在以$(x,y)$为右上角顶点的无穷矩形区域。

• 基本公式：

\[P\{x_1<X<x_2,y_1<Y<y_2\}=F(x_2,y_2)-F(x_2,y_1)-F(x_1,y_2)+F(x_1,y_1)\]

• 性质：单调性、有界性、右连续、非负性。【这4条性质是二维随机变量分布函数的充要条件！】

3.3 边缘分布

• 边缘分布函数：$F_X(x),F_Y(y)$为边缘分布函数，

\[F_X(x)=P\{X\leq x,Y< +\infty\}=F(x,+\infty)\\ F_Y(y)=P\{X<+\infty,Y\leq y\}=F(+\infty ,y)\]

• 二维离散型随机变量-边缘分布律：

\[p_{i\cdot}=\sum_jp_{ij}\\ p_{\cdot j}=\sum_ip_{ij}\]

• 二维连续型随机变量-边缘密度函数:

\[f_X(x)=\int_{-\infty}^{+\infty}f(x,y)dy\\ f_Y(y)=\int_{-\infty}^{+\infty}f(x,y)dx\]

3.4 条件分布

1、二维离散型随机变量：

• 条件分布律：

\[P(X=x_i|Y=y_j)=\frac{p_{ij}}{p_{\cdot j}}\]

• 条件分布律性质：非负性、规范性。

2、二维连续型随机变量：

• 条件分布函数：

\[F_{X|Y}(x|y)=P\{X<x|Y=y\}=\lim_{\epsilon\to 0}\frac{P\{X\leq x,y<Y\leq y+\epsilon\}}{P\{y<Y\leq y+\epsilon\}}\]

• 条件概率密度：

\[f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}\]

• 条件概率密度性质：非负性、规范性。

3、联合分布、边缘分布和条件分布的关系：

• 联合分布可唯一确定边缘分布和条件分布。

• 边缘分布和条件分布不能各自唯一确定联合分布，但可共同唯一确定联合分布：

\[f(x,y)=f_{X|Y}(x|y)f_Y(y)=f_{Y|X}(y|x)f_X(x)\]

3.5 相互独立的随机变量

1、二维随机变量相互独立：若分布函数

\[F(x,y)=F_X(x)F_Y(y)\]

则称随机变量$X,Y$相互独立。

上式表明，此时联合分布可由边缘分布唯一确定。

2、二维离散型随机变量：独立性条件（判断$X,Y$是否相互独立）：

\[p_{ij}=p_{i\cdot}\cdot p_{\cdot j}\]

3、二维连续型随机变量：若对于所有连续点，都有

\[f(x,y)=f_X(x)f_Y(y)\]

则$X,Y$相互独立。

4、$n$维随机变量相互独立：若

\[F(x_1,x_2,\cdots,x_n)=\prod_{i=1}^nF_{X_i}(x_i)\]

则称$X_1,X_2,\cdots,X_n$是相互独立的。

3.5 两个随机变量的函数的分布

1、一般解法：设$Z=g(X,Y)$，求$Z$的概率密度$f_Z(z)$：

①求$Z$的分布函数

\[F_Z(z)=P\{Z\leq z\}=\iint_{g(X,Y)\leq z}f(x,y)dxdy\]

②对$z$求导可得$z$概率密度函数。

2、特殊二元函数概率密度的求法：

• Z=X+Y：

\[f_Z(z)=\int_{-\infty}^{+\infty}f(z-y,y)dy=\int_{-\infty}^{+\infty}f(x,z-x)dx\]

卷积公式：当X和Y相互独立时，上式可化为

\[f_Z(z)=\int_{-\infty}^{+\infty}f_X(z-y)f_Y(y)dy=\int_{-\infty}^{+\infty}f(x,z-x)dx\]

这两个公式称为卷积公式，记作$f_Xf_Y$。*

• Z=Y/X：

\[f_Z(z)=\int_{-\infty}^{+\infty}|x|f(x,xz)dx\]

• Z=XY：

\[f_Z(z)=\int_{-\infty}^{+\infty}\bigg|\frac{1}{x}\bigg|f\bigg (x,\frac{z}{x}\bigg)dx\]

• Z=max{X,Y}：

\[F_Z(z)=F_X(z)F_Y(z)\]

• Z=min{X,Y}：

\[F_Z(z)=1-[1-F_X(z)][1-F_Y(z)]\]

第四章 随机变量的数字特征

本章关注一些常用的数字特征：数学期望、方差、协方差、相关系数、矩。

4.1 数学期望

1、离散型随机变量：

• 计算：

\[E(X)=\sum_{k=1}^{\infty}x_kp_k\]

• 常见离散型随机变量的数学期望

  • 0-1分布：$p$

  • 二项分布：$np$

  • 几何分布(▲)：$\frac{1}{p}$

  • 泊松分布(▲)：$\lambda $

2、连续型随机变量：

• 计算：

\[E(X)=\int_{-\infty}^{+\infty}xf(x)dx\]

• 常见连续型随机变量的数学期望：

  • 均匀分布：$\frac{a+b}{2}$

  • 指数分布(▲)：$\frac{1}{\lambda}$

  • 正态分布：$\mu$

3、随机变量函数：

• Y=g(X)：

  • 离散型随机变量：$E(Y)=\sum_{k=1}^{\infty}g(x_k)p_k$

  • 连续型随机变量：$E(Y)=\int_{-\infty}^{+\infty}g(x)f(x)dx$

• Z=g(X,Y)：

  • 离散型随机变量：$E(Z)=\sum_{j=1}^{\infty}\sum_{i=1}^{\infty}g(x_i,y_j)p_{ij}$

  • 连续型随机变量：$E(Z)=\iint_{(x,y)\in \mathbb{R}^2}g(x,y)f(x,y)dxdy$

4、性质：

• 常数不变：

\[E(C)=C\]

• 线性性：

\[E(aX+bY+c)=aE(X)+bE(Y)+c\]

• 若$X,Y$相互独立，则

\[E(XY)=E(X)E(Y)\]

4.2 方差

1、计算：方差记为$D(X)$或$Var(X)$，计算方式：

\[D(X)=Var(X)=E\bigg(\big(X-E(X)\big)^2\bigg)\]

或

\[D(X)=E(X^2)-E(X)^2\]

前一式为定义式，后一式为定义式之推论。

2、常见分布的方差：

• 0-1分布：$p(1-p)$

• 二项分布：$npq$

• Poisson分布：$\lambda(=E(X))$

• 均匀分布：$\frac{(b-a)^2}{12}$

• 指数分布：$\frac{1}{\lambda ^2}$

3、性质：

• 常数方差为零：

\[D(C)=0\]

• 常系数：

\[D(CX)=C^2D(X)\]

• 和差：

\[D(X\pm Y)=D(X)+D(Y)\pm 2E((X-E(X))(Y-E(Y)))\]

• 方差为零恒取均值：

\[D(X)=0\Leftrightarrow P(X=E(X))=1\]

4、独立同分布：

一串随机变量具有相同的概率密度且相互独立，则称它们独立同分布。

5、定理：

设$X_1,X_2,\cdots,X_n$独立同分布，期望为$\mu$，方差为$\sigma^2$，定义样本均值为$\overline{X_n}=\frac{1}{n}\sum_{i=1}^nX_i$，样本方差为$S_n^2=\frac{1}{n}\sum_{i=1}^n(X_i-\overline{X_n})^2$，则有

\[E(\overline{X_n})=\mu,E(S_n^2)=\sigma^2,D(\overline{X_n})=\frac{\sigma^2}{n}\]

6、Chebyshev不等式：

设随机变量$X$期望为$\mu$，方差为$\sigma^2$，则$\forall \epsilon>0$，

\[P\{|X-\mu|\geq\epsilon\}\leq \frac{\sigma^2}{\epsilon^2}\]

4.3 协方差及相关系数

1、定义：

• 协方差：

\[Cov(X,Y)=E((X-E(X))(Y-E(Y)))\]

• 相关系数：

\[\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}\]

2、协方差的性质：

• 对称性：

\[Cov(X,Y)=Cov(Y,X)\]

• 与期望的关系：（这也说明相互独立的两变量协方差及相关系数为零）

\[Cov(X,Y)=E(XY)-E(X)E(Y)\]

• 双线性性：

\[Cov(aX,bY)=ab Cov(X,Y)\] \[Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)\]

• 与方差的关系：

\[Cov(X,X)=D(X)\] \[D(X\pm Y)=D(X)+D(Y)\pm 2Cov(X,Y)\]

• 相关系数的几何意义：

可以量度两随机变量的线性相关性。

定义

\[e=\min_{a,b}E[(Y-(a+bX))^2]\]

它表征了用$X$对$Y$进行线性拟合的偏差。通过求偏导数的方法解出$a,b$并回代，可得

\[e=D(Y)(1-\rho_{XY}^2)\]

因此，我们定义，若$\rho_{XY}=0$，则称随机变量$X$与$Y$不相关。

4.4 矩、协方差矩阵

1、矩：

名称	公式
$k$阶（原点）矩	$E(X^k)$
$k$阶中心矩	$E((X-E(X))^k)$
$k+l$阶混合矩	$E(X^kY^l)$
$k+l$阶混合中心矩	$E[(X-E(X))^kE(Y-E(Y))^l]$

2、协方差矩阵：

设$n$维随机变量$X_1,X_2,\cdots,X_n$的二阶混合中心矩（协方差）$c_{ij}=Cov(X_i,X_j)$都存在，定义协方差矩阵为

\[C= \left( \begin{array}{cccc} c_{11} & c_{12} & \cdots & c_{1n} \\ c_{21} & c_{22} & \cdots & c_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ c_{n1} & c_{n2} & \cdots & c_{nn} \\ \end{array} \right)\]

3、$n$维正态分布：

\[f(x_1,x_2,\cdots,x_n)=\frac{1}{(2\pi)^{\frac{n}{2}}\sqrt{\det C}}\exp[-\frac{1}{2}(X-\mu)^TC^{-1}(X-\mu)]\]

其中$X=[x_1,x_2,\cdots,x_n],\mu=[\mu_1,\mu_2,\cdots,\mu_n]$。

第五章 大数定律及中心极限定理

5.1 大数定律

大数定律的一般形式、Chebyshev大数定律、Poisson大数定律、Markov大数定律、Khinchin大数定律、Bernoulli大数定律。

1、依概率收敛：

若$\forall \epsilon>0$，有

\[\lim_{n \to \infty}P\{|X_n-X|<\epsilon\}=1\]

则称随机变量序列$X_1,X_2,\cdots,X_n,\cdots$依概率收敛于随机变量$X$，记为$X_n\stackrel{P}{\longrightarrow}X$。

2、大数定律：

• 一般形式：

若$\forall \epsilon>0$，有

\[\lim_{n\to \infty}P\{|\frac{1}{n}\sum_{i=1}^nX_i-\frac{1}{n}\sum_{i=1}^nE(X_i)|<\epsilon\}=1\]

即

\[\frac{1}{n}\sum_{i=1}^nX_i\stackrel{P}{\longrightarrow}\frac{1}{n}\sum_{i=1}^nE(X_i)\]

则称这一随机变量序列服从大数定律。

• 各类大数定律：

名称	条件	结论
Chebyshev大数定律	1、$X_1,X_2,\cdots,X_n,\cdots$两两相互独立；2、$D(X_k)$存在；3、序列$D(X_1),D(X_2),\cdots,D(X_n),\cdots$有界	$X_1,X_2,\cdots,X_n,\cdots$服从大数定律
Khinchin大数定律	1、$X_1,X_2,\cdots,X_n,\cdots$独立同分布；2、期望为$\mu$	$X_1,X_2,\cdots,X_n,\cdots$满足大数定律
Markov大数定律	\(\lim_{n \to \infty}D\bigg(\frac{1}{n}\sum_{i=1}^nX_i\bigg)=0\)	$X_1,X_2,\cdots,X_n,\cdots$满足大数定律
Poisson大数定律	独立试验序列中，第$n$次试验时$A$发生的概率为$p_n$，前$n$次试验中$A$出现$n_A$次	\(\frac{n_A}{n}\stackrel{P}{\longrightarrow}\frac{p_1+p_2+\cdots+p_n}{n}\)
Bernoulli大数定律	独立试验序列中，每次试验时$A$发生的概率为$p$，前$n$次试验中$A$出现$n_A$次	\(\frac{n_A}{n}\stackrel{P}{\longrightarrow}p\)

3、应用：Mont Carlo方法、大数定律与公平博弈(St Petersburg悖论)。

5.2 中心极限定理

中心极限定理的一般形式、独立同分布的中心极限定理、Lyapunov中心极限定理、De Moivre-Laplace中心极限定理。

1、一般形式：

设随机变量序列$X_1,X_2,\cdots,X_n$独立同分布，各自的期望、方差均存在，记这些随机变量之和的标准化变量

\[Y_n=\frac{\sum_{k=1}^nX_k-E(\sum_{k=1}^nX_k)}{\sqrt{D(\sum_{k=1}^nX_k)}}\]

若$\forall x\in \mathbb{R}$，有

\[\lim_{n\to \infty }P\{Y_n\leq x\}=\frac{1}{\sqrt{2\pi}}e^{-t^2}dt=\Phi(x)\]

则称该随机变量序列服从中心极限定理。

2、 各类中心极限定理：

名称	条件	结论
独立同分布的中心极限定理	$X_1,X_2,\cdots,X_n$独立同分布	该随机变量序列服从中心极限定理
Lyapunov中心极限定理	$X_1,X_2,\cdots,X_n$相互独立，记$E(X_k)=\mu_k$，$D(X_k)=\sigma_k^2>0$，$B_n^2=\sum_{k=1}^n\sigma_k^2$。条件：$\exists\delta>0$,\(\lim_{n\to\infty}\frac{1}{B_n^{2+\delta}}\sum_{k=1}^nE[|X_k-\mu_k|^{2+\delta}]=0\)	该随机变量序列服从中心极限定理
De Moivre-Laplace中心极限定理	随机变量$\eta_n$服从参数为$n,p$的二项分布	\(\lim_{n\to\infty}P\{\frac{\eta_n-np}{\sqrt{np(1-p)}}\}=\Phi(x)\)