概率论与数理统计第十至十二章——随机过程、Markov链与平稳随机过程
第十章 随机过程
10.1 随机过程的概念
随机过程从动态的角度考察概率问题，研究对象随时间演变。
- 随机过程
$\{X(e,t),e\in S,t\in T \}$是定义在$S,T$上的二元函数。若此函数对任意固定的$t\in T$，$X(e,t)$是个随机变量， 则称$\{X(e,t),e\in S,t\in T \}$是随机过程。
- 样本函数
对随机过程$\{X(e,t),e\in S,t\in T \}$进行一次试验，即给定e，那么它是t的函数，称为随机过程的样本函数。
- 状态
对任意固定的e和t，$X(e,t)$称为过程的状态。
- 状态空间
$X(e,t)$所有可能的取值称为状态空间。之后将$X(e,t)$简记为$X(t)$。
随机过程可以根据参数集T和任一时刻的状态状态S分为四类：
连续参数 连续型的随机过程、连续参数离散型的随机过程、离散参数连续型的随机过程、离散参数离散型的随机过程。
10.2 随机过程的统计描述
10.2.1 分布函数
- 分布函数族
在随机过程$\{X(t),t\in T\}$中，对每一固定的$t\in T$，称
\[F_x(x,t)=P\left\{ X(t)\leq x\right\},x\in \mathbb{R}\]为该随机过程的一维分布函数，而
\[\left\{ F_x(x,t),t\in T\right\}\]称为一维函数分布族。
- →推广到n维：
n维分布函数：
\[F_x(x_1,x_2,...,x_n;t_1,t_2,...,t_n)=P\left\{ X(t_1)\leq x_1,X(t_2)\leq x_2,...,X(t_n)\leq x_n\right\}, x_i\in \mathbb{R}\]n维分布函数族：
\[\left\{F_x(x_1,x_2,...,x_n;t_1,t_2,...,t_n),t_i\in T\right\}\]10.2.2 数字特征
- 某一时间点t的数字特征
均值函数
\[\mu_X(t)=E[X(t)]\]均方值函数
\[\Psi_X^2(t)=E[X^2(t)]\]方差函数
\[\sigma_X^2(t)=D_X(t)=E\left\{[X(t)-\mu_X(t)]^2\right\}\]标准差函数
\[\sigma_X(t)=\sqrt{D_X(t)}\]- 不同时间点的数字特征
对任意$t_1,t_2\in T$，
（自）相关函数
\[R_{XX}(t_1,t_2)=E[X(t_1)X(t_2)]\]简记为$R_X(t_1,t_2)$。
（自）协方差函数
\[\begin{aligned} C_{XX}(t_1,t_2)& =Cov[X(t_1)X(t_2)]\\ & =E\left\{[X(t_1)-\mu_X(t_1)][X(t_2)-\mu_X(t_2)]\right\} \end{aligned}\]简记为$C_X(t_1,t_2)$。
- 各数字特征之间的关系
- 二阶矩过程
在随机过程$\{X(t),t\in T\}$中，对每一固定的$t\in T$，$E[X^2(t)]$都存在，则称$X(t)$为二阶矩过程。
- 正态过程
若对随机过程$\{X(t),t\in T\}$，任意整数$n$和任意$t_1,t_2,…,t_n\in T$，$(X(t_1),X(t_2),…,X(t_n))$服从$n$维正态分布，则称$\{X(t),t\in T\}$是正态过程。
10.2.3 二维随机过程的分布函数和数字特征
- 二维随机过程
设$X(t),Y(t)$是依赖于同一参数$t\in T$的随机过程，对于不同的$t\in T$，$(X(t),Y(t))$是不同的二维随机变量，称$\{X(t),Y(t)\}$为二维随机过程。
- 二维随机过程的n+m维分布函数
n+m维随机变量$(X(t_1),X(t_2),…,X(t_n);Y(t_1’),Y(t_2’),…,Y(t_m’))$的分布函数
\[F(x_1,x_2,...,x_n;t_1,t_2,...,t_n;y_1,y_2,...,y_m;t_1',t_2',...,t_m')\]称为二维随机过程的n+m维分布函数。
- 二维随机过程的数字特征
互相关函数
\[R_{XY}(t_1,t_2)=E[X(t_1)Y(t_2)],\quad t_1,t_2\in T\] \[R_{YX}(t_1,t_2)=E[Y(t_1)X(t_2)],\quad t_1,t_2\in T\]互协方差函数
\[C_{XY}(t_1,t_2)=R_{XY}(t_1,t_2)-\mu_{X}(t_1)\mu_Y(t_2)\] \[C_{YX}(t_1,t_2)=R_{YX}(t_1,t_2)-\mu_Y(t_1)\mu_X(t_2)\]若对任意$t_1,t_2\in T$，恒有$C_{XY}(t_1,t_2)=0$，则$X(t)$和$Y(t)$是不相关的。
10.3 泊松过程及维纳过程
10.3.1 独立增量过程
- 增量
给定二阶矩过程$\{X(t),t\geq 0\}$，对$s,t(0\leq s<t)$，称随机变量
\[X(t)-X(s)\]为随机过程在区间$(s,t]$上的增量。
- 独立增量过程
如果对任意选定的正整数n和$0\leq t_0<t_1<t_2<\cdots<t_n$，n个增量
\[\left\{X(t_i)-X(t_{i-1})\right\},i=1,2,...,n\]则称$\{X(t),t\geq 0\}$为独立增量过程。
- 平稳性
如果任给实数h和$0\leq s+h<t+h$，$X(t+h)-X(s+h)$和$X(t)-X(s)$具有相同的分布，则称增量具有平稳性。
- 独立增量过程的性质
1、 $X(t)$的有限维分布函数族可以由增量$X(t)-X(s)(0\leq s<t)$的分布所确定。
2、 设方差函数$D_X(t)$已知，则协方差函数
\[C_X(s,t)=D_X(\min (s,t))\]10.3.2 泊松过程
以$N(t_0),t\geq 0$表示在时间间隔$(0,t]$内出现的质点数。记$N(t_0,t)=N(t)-N(t_0),0\leq t_0<t$，它表示时间间隔$(t_0,t]$内出现的质点数，其概率记为
\[P_k=(t_0,t)=P\left\{N(t_0,t)=k\right\},\quad k=0,1,2,...\]- 泊松过程
计数过程$N(t)$满足如下条件，称作强度为$\lambda$的泊松过程：
1、 在不相重叠的区间上的增量具有独立性
2、 对于充分小的$\Delta t$,
\[P_1(t,t+\Delta t)=P\left\{(N(t,t+\Delta t))=1\right\}=\lambda \Delta t+o(\Delta t)\]其中常数$\lambda$称为$N(t)$的强度。
3、 对于充分小的$\Delta t$，
\[\sum_{j=2}^{\infty}P_j(t,t+\Delta t)=\sum_{j=2}^{\infty}P\left\{N(t,t+\Delta t)=j\right\}=o(\Delta t)\]4、 $N(0)=0$
- 分布律
若$N(t)$是强度为$\lambda$的泊松过程，则
\[P_k(t_0,t)=P\left\{N(t_0,t)=k\right\}=\frac{[\lambda (t-t_0)]^k}{k!}e^{-\lambda (t-t_0)},t>t_0,k=0,1,2,...\]即$N(t_0,t)\sim \pi[\lambda (t-t_0)]$。
因此有泊松过程的另一等价定义
1、 它是独立增量过程
2、 对任意的$t>t_0\geq 0$，增量
\[N(t)-N(t_0)\sim\pi[\lambda (t-t_0)]\]3、 $N(0)=0$
- 数字特征
均值函数：
\[E[N(t_0,t)]=E\left\{N(t)-N(t_0)\right\}=\lambda (t-t_0)\]方差函数：
\[D[N(t_0,t)]=D\left\{N(t)-N(t_0)\right\}=\lambda (t-t_0)\]特别地，当$t_0=0$时，$\mu_N(t)=D_N(t)=\lambda t$
协方差函数：
\[C_N(s,t)=D_N(\min(s,t))=\lambda \min(s,t),s,t\geq 0\]自相关函数：
\[R_N(s,t)=C_N(s,t)+\mu_N(s)\mu_N(t)=\lambda \min(s,t)+\lambda^2st\]- 应用：粒子统计
1、 记$W_n$是第$n$个质点出现的时间，则其概率密度为
\[f_{W_n}(t)= \left\{ \begin{aligned} & \frac{\lambda (\lambda t)^{n-1}e^{-\lambda t}}{(n-1)!},& t>0\\ & 0,& t\leq 0 \end{aligned} \right.\]服从$\Gamma(n,\lambda)$分布。
特别地，质点首次出现的等待时间服从指数分布
\[f_{W_1}(t)= \left\{ \begin{aligned} & \lambda e^{-\lambda t},& t>0\\ & 0,& t\leq 0 \end{aligned} \right.\]2、 记$T_i=W_i-W_{i-1},W_0=0$，称之为相继出现的第$i-1$个质点和第$i$个质点的点间间距，则其概率密度为
\[f_{T_i}(t)= \left\{ \begin{aligned} & \lambda e^{-\lambda t},& t>0\\ & 0,& t\leq 0 \end{aligned} \right.\]两个定理：
定理1 强度为$\lambda$的泊松过程的点间间距是相互独立的随机变量，且服从同一指数分布。
定理2 如果任意相继出现的两个质点的点间间距相互独立，且服从同一个指数分布：
\[f(t)= \left\{ \begin{aligned} & \lambda e^{-\lambda t},& t>0\\ & 0,& t\leq 0 \end{aligned} \right.\]则质点流构成强度为$\lambda$的泊松过程。
10.3.3 维纳过程
- 维纳过程
对于二阶矩过程$\{W(t),t\geq 0\}$，如果它满足：
1、 具有独立增量
2、 对任意$t>s\geq 0$，增量$W(t)-W(s)\sim N(0,\sigma^2(t-s))$且$\sigma>0$
3、 $W(0)=0$
则称之为维纳过程。
- 性质
1、 维纳过程是齐次的独立增量过程（当增量具有平稳性时，称为齐次的独立增量过程）
2、 维纳过程是正态过程，故其分布完全由它的均值函数和自协方差函数（即自相关函数）所确定
3、 维纳过程的数字特征
\[\mu_W(t)=E(W(t))=0\] \[D_W(t)=D(W(t))=\sigma^2t\] \[C_W(s,t)=R_W(s,t)=D_W[\min (s,t)]=\sigma^2\min (s,t),s,t>0\]第十一章 Markov链
11.1 Markov过程及其概率分布
11.1.1 Markov性与Markov过程
- Markov性
过程在时刻$t_0$所处的状态已知，若它在时刻$t>t_0$所处的状态的条件分布与过程在时刻$t_0$之前所处的状态无关。
- Markov过程
具有Markov性的过程。即对随机过程$\{X(t),t\in T\}$，对于参数集T中的任意n个数值$t_1<t_2<\cdots<t_n,n\geq 3,t\in T$，
\[P\left\{X(t_n)\leq x_n\mid X(t_1)=x_1,...,X(t_{n-1})=x_{n-1}\right\}=P\left\{X(t_n)\leq x_n\mid X(t_{n-1})=x_{n-1}\right\}\]- Markov链
时间和状态都离散的Markov过程称为Markov链，简称马氏链，记为
\[\left\{X_n=X(n),n=0,1,2,...\right\}\]用条件分布律表示为
\[P\left\{X_{m+n}=a_j\mid X_m=a_i\right\} =: P_{ij}(m,m+n)\]- 转移概率
上述$P_{ij}=(m,m+n)$称为马氏链在时间m处于状态$a_i$的条件下，在时间$m+n$转移到状态$a_j$的转移概率。转移概率有一个显然的性质：
\[\sum_{j=1}^{\infty}P_{ij}(m,m+n)=1,j=1,2,...\]- 转移概率矩阵
此矩阵的每一行元素之和为1。
当$P_{ij}(m,m+n)$只与$i,j$及$n$有关时，把它记为$P_{ij}(n)$，称此概率为马氏链的n步转移概率。
当转移概率具有平稳性时，称此链是齐次马氏链。
- 初始分布
- 一维分布
性质：
\[\sum_{j=1}^{\infty}P_j(n)=1\]一个重要的公式：
\[P_j(n)=\sum_{i=1}^{\infty}P_i(0)P_{ij}(n),j=1,2,...\]11.2 多步转移概率的确定
11.2.1 C-K方程
设$\{X_n,n=1,2,…\}$是一齐次马氏链，则对任意的$u,v\in T_1=\{0,1,2,…\}$，有
\[P_{ij}(u+v)=P_{ik}(u)P_{kj}(v),i,j=1,2,...\]根据矩阵乘法的性质，C-K方程可以写成矩阵乘法形式
\[P(u+v)=P(u)P(v)\]设$P(n)$是n步转移概率矩阵，则
\[P(n)=P^n\]齐次马氏链的有限维分布可由初始分布与一步转移概率完全确定。
11.3 遍历性
- 遍历性
对固定的状态j，不管链在某一时刻从什么状态i出发，经过长时间的转移，到达状态j的概率都趋近于$\pi_j$，这就是遍历性。
即满足下式
\[\lim_{n\to \infty}P(n)= \left( \begin{matrix} & \pi_1 & \pi_2 & \cdots \\ & \pi_1 & \pi_2 & \cdots \\ & \vdots & \vdots & \ddots \end{matrix} \right)\]- 链的极限分布
由于$\pi_0+\pi_1=1$，所以$(\pi_0,\pi_1)$记为$\pi$，构成一分布律，称为链的极限分布。
即满足下式
\[\sum_j\pi_j=1\]- 有限链的遍历性的充分条件
设齐次马氏链$\{X_n\geq 1\}$的状态空间为$I=\{a_1,a_2,…,a_N\}$，P是它的一步转移概率矩阵，如果存在正整数m，使对任意的$a_i,a_j\in I$，都有$P_{ij}(m)>0,i,j=1,2,…,N$，则此链具有遍历性，且有极限分布$\pi=(\pi_1,\pi_2,…,\pi_N)$，它是方程组
\[\pi=\pi P\]的满足条件
\[\pi_j>0,\sum_{j=1}^N\pi_j=1\]的唯一解。
第十二章 平稳随机过程
12.1 平稳随机过程的概念
- 平稳性
对任意的$n(n=1,2,…),t_1,t_2,…,t_n\in T$和任意实数$h$，当$t_1+h,t_2+h,…,t_n+h\in T$时，
\[(X(t_1),X(t_2),...,X(t_n))\]和
\[(X(t_1+h),X(t_2+h),...,X(t_n+h))\]具有相同的分布函数，则称随机过程具有平稳性，称此过程为严平稳随机过程，简称严平稳过程。
- 数字特征
$X(t)$与$X(t+h)$同分布，取$h=-t$，则$X(t)$与$X(0)$同分布，从而有相同的数学期望（均值函数）。
\[\mu_X(t)=E[X(t)]=E[X(0)]=:\mu_X为常数\]取$h=-t_1$，则$(X(t_1),X(t_2))$与$(X(0),X(t_2-t_1))$同分布，从而自相关函数仅是时间差$t_2-t_1=\tau$的函数。
\[R_X(t_1,t_2)=E[X(t_1)X(t_2)]=R_X(0,t_2-t_1)=:R_X(t_2-t_1)=R_X(\tau)\]协方差函数
\[C_X(\tau)=R_X(\tau)-\mu_X^2\]方差函数：这里$t_2=t_1=t$，因此$\tau=0$
\[D_X(t)=C_X(0)=R_X(0)-\mu_X^2\]- 宽平稳过程
给定二阶矩过程$\{X(t),t\in T\}$，如果对任意的$t,t+\tau\in T$，都有
\[E[X(t)]=\mu_X为常数\] \[E[X(t)X(t+\tau)]=R_X(\tau)\]则称$\{X(t),t\in T\}$为宽平稳过程。
- 平稳相关（联合平稳）
若两个平稳过程的互相关函数也只是时间差的函数，记为$R_{XY}(\tau)$，即
\[R_{XY}(t,t+\tau)=E[X(t)Y(t+\tau)]=R_{XY}(\tau)\]则称$X(t)$和$Y(t)$是平稳相关的，或称这两个过程是联合（宽）平稳的。
12.2 各态历经性
考虑到平稳过程的统计特性不随时间的推移而变化，可以定义随机积分。
老师突然告诉我这一章不考了，摆！