随机过程期末复习笔记
[toc]
随机过程基本概念
设\(E=\{e\}\)是样本空间，如果对每一个时刻\(t\in T\)定义在\(E\)上的随机变量\(X(e,t)\)，则称一簇随机变量\(\{X(e,t),e\in E,t\in T\}\)是一个随机过程。
例如，“北京一年中的气温”就是一个随机过程。
随机过程的统计描述
一维分布函数： \[ F_x(x,t)=P\{x(t)\leq x\} \]
一维概率密度： \[ p_x(t)=\frac {dF}{dx} \]
特征函数： \[ \phi(\omega)=E[e^{j\omega x(t)}]=\mathscr F[p_x(x)] \] 若干个相互独立的随机变量\(x_1\cdots x_n\)的和\(S=\sum x\)的特征函数等于它们的特征函数的积，即： \[ \phi(\omega;S)=\prod _{i=1}^n \phi(\omega;x_i) \]
随机过程的数字特征
均值（期望） \[ m_x(t)=E[x(t)]=\int xp(x,t)dx \] 均值是一个时间的函数。例如对前面的随机过程“北京一年中的气温”来说，“过去若干年中每个时刻的气温的平均值”就是均值。
均方值 \[ \psi^2(t)=E[x^2(t)] \]
方差 \[ \sigma_x^2(t)=E[(x(t)-m_x(t))^2] \]
自相关函数 \[ R_x(t_1,t_2)=E[x(t_1)x(t_2)] \]
协方差 \[ C(t_1,t_2)=R_x(t_1,t_2) \]
几个相关概念：
随机过程正交 \[ E[x_1(t)x_2(t)]=0 \] 或： \[ R_{x_1x_2}(0)=R_{x_2x_1}(0)=0 \]
随机过程不相关 \[ E[(x_1(t)-m_1)(x_2(t)-m_2)]=0 \]
随机过程统计独立 \[ f(x_1,x_2,t_1\cdots x_n)=f(x_1,t_1\cdots t_n)f(x_2,t_1\cdots t_n) \]
独立的一定不相关，不相关的不一定独立。
如果\(m_1=m_2=0\)，那么正交和不相关等价。
平稳随机过程
严格平稳随机过程 \[ F(t_1,t_2\cdots t_n)=F(t_1+\tau,t_2+\tau,\cdots,t_n+\tau) \]
宽平稳过程
同时符合以下条件：
- \(m_x(t)\)是一个常数，与时间无关
- \(R_x(t_1,t_2)=R_x(t_1-t_2)\)，仅和\(t_1\)和\(t_2\)的差有关
- 二阶矩\(E[x^2(t)]\leq \infty\)
一般来说，严平稳和宽平稳不能互相推出（即，一个严平稳过程也不一定是宽平稳过程），但是在高斯随机过程中，二者等价。以下主要讨论宽平稳过程。
平稳随机过程的相关函数\(R_x(\tau)\)有以下性质：
\(R_x(\tau)=R_{\bar x}(-\tau)\)。如果过程是实过程，那么\(R_x(\tau)\)是偶函数。
证明： \[ R(\tau)=E[x(t)x(t-\tau)]=E[x(t-\tau)x(t)]=R(-\tau) \]
\(|R_x(\tau)|\leq R_x(0)=\psi_x^2\)
证明： \[ \begin{align} & E[(x(t)\pm x(t-\tau))^2]=E[x^2(t)\pm 2x(t)x(t-\tau)+x^2(t-\tau)]\geq 0\\ & \to 2R(0)\pm 2R(\tau)\geq 0\\ & \to |R(\tau)|\leq R(0) \end{align} \]
\(R_x(\infty)=m_x^2\)
\(R_{xy}(\tau)=R_{\bar yx}(-\tau)\)
相关系数和相关时间
这是和自相关函数紧密关联的两个参数。
相关系数定义为： \[ r_x(\tau)=\frac{R_x(\tau)-m_x^2}{\sigma_x^2} \] 它除去起伏量强度的影响，确切表示了关联程度。
相关时间定义为： \[ \tau_0=\frac{1}{r_x(0)}\int_{0}^\infty r_x(\tau)d\tau \] 相关时间越小，随机过程随时间变化越激烈。
时间平均和各态历经
只有平稳随机过程才讨论时间平均、时间自相关和各态历经性。
随机过程的时间平均定义为： \[ \bar x=\lim_{T\to \infty} \frac{1}{2T}\int_{-T}^Tx(t)dt \] 时间自相关定义为： \[ \overline{x(t)x(t-\tau)}=\lim_{T\to \infty}\frac 1{2T}\int_{-T}^T x(t)x(t-\tau)dt \] 时间平均和时间自相关都是状态量的函数，这与期望不同。例如，北京\(X\)年的平均气温，这是和\(X\)有关的数字，这就是时间平均。北京各年\(t\)时刻的平均气温，这是\(t\)的函数，这就是期望。
如果有：
- \(m_x=\bar x\)（均值各态历经）
- \(R_x(\tau)=\overline{x(t)x(t-\tau)}\)（自相关各态历经）
则称随机过程是各态历经的。
平稳随机过程的功率谱
只有平稳随机过程才讨论功率谱。 \[ S_x(\omega)=\mathscr F[R_x(\tau)] \] 即：功率谱和自相关函数是一对傅里叶变换对。
因为\(R_x(\tau)\)是偶函数，所以 \[ S_x(\omega)=2\int_0^\infty R_x(\tau)\cos(\omega\tau)d\tau \]
常用概率分布速查表
以下是常用概率分布的概率密度函数、均值和方差速查表：
【例】设随机过程\(Z(t)=X\sin t-Y\cos t\)，其中\(X,Y\)是相互独立的，服从\([-a,a]\)均匀分布的随机变量。
- 求\(Z(t)\)的均值和自相关函数，判断是否是宽平稳过程
- 判断\(Z(t)\)是否是均值各态历经的。
【解】
因为\(E[x]=E[y]=0\)，所以 \[ \begin{align} m_Z&=E[X\sin t-Y\cos t]\\ &=m_X\sin t-m_Y\cos t\\ &=0 \end{align} \] 计算自相关函数： \[ \begin{align} R_x(t_1,t_2)&=E[(X\sin t_1-Y\cos t_1)(X\sin t_2-Y\cos t_2)]\\ &=E[X^2\sin t_1\sin t_2-XY\sin t_1\cos t_2-XY\cos t_1\sin t_2-Y^2\cos t_1\cos t_2]\\ &=E[X^2]\sin t_1\sin t_2+E[Y^2]\cos t_1\cos t_2(注: E[XY]=E[X]E[Y]=0)\\ &=E[X^2]\cos(t_1-t_2)\\ &=\dfrac {a^2}{3}\cos (\tau) \end{align} \] 计算时间平均： \[ \lim_{T\to \infty}\int_{-T}^T \frac 1{2T}(X\sin t-Y\cos t)dt=0 \] 故均值各态历经。
随机过程通过线性系统
设有线性系统 \[ Y(t)=L\{X(t)\} \] 对于线性时不变因果系统，设 \[ h(t)=L\{\delta (t)\} \] 则有： \[ Y(t)=x(t)\otimes h(t) \] 记系统传递函数为： \[ H(j\omega)=\mathscr F[h(t)] \]
均方微积分
当\(t\to t_0\)时，\(x(t)\)均方收敛于\(x\)，记作： \[ \lim_{t\to t_0}E[(x(t)-x)^2]=0 \] 均方微积分，就是把普通微积分里面的极限都换成上面这个均方极限。下记\(\dot{x}(t)\)为\(x(t)\)的均方微分过程，即： \[ \dot{x}(t)=l.i.m_{\Delta t\to 0}\frac{x(t+\Delta t)-x(t)}{\Delta t} \] 关于微分过程的性质，有：
- \(m_{\dot x}=\dfrac {d m_x(t)}{dt}\)
- \(R_{\dot x}(t_1,t_2)=\dfrac{\partial^2}{\partial t_1\partial t_2}R_x(t_1,t_2)\)
- \(R_{x\dot x}=\dfrac {\partial}{\partial t_2}R_{x}\)
- \(R_{\dot x x}=\dfrac {\partial}{\partial t_1}R_{x}\)
特别的，如果\(x\)平稳，有：
- \(m_{\dot x}=0\)
- \(R_{\dot x}(t_1,t_2)=-\dfrac{d^2}{d\tau ^2}R_x(\tau)\)
- \(R_{x\dot x}=-\dfrac {d}{d \tau}R_{x}\)
- \(R_{\dot x x}=\dfrac {d}{d \tau}R_{x}\)
- \(S_{\dot x}(\omega)=(\omega)^2S_x(\omega)\)
对于均方积分过程，只需要将对变量求导换成对变量积分即可。注意到，对于平稳过程，有：\(m_Y=(t-a)m_x\)，因此平稳过程通过线性系统以后不一定是平稳过程。
冲激响应法
即利用随机过程线性变换的冲激响应来研究经过线性变换后的随机过程的性质。有： \[ Y(t)=x(t)\otimes h(t) \] 因此：
- \(m_Y(t)=m_x(t)\otimes h(t)\)
- \(R_{XY}(t_1,t_2)=R_x(t_1,t_2)\otimes h(t_2)\)
- \(R_{YX}(t_1,t_2)=R_x(t_1,t_2)\otimes h(t_1)\)
- \(R_{Y}(t_1,t_2)=R_x(t_1,t_2)\otimes h(t_1)\otimes h(t_2)\)
如果\(x\)平稳，有：
- \(m_Y(t)=m_x\int_{-\infty}^\infty h(t)dt\)
- \(R_{XY}(\tau)=R_x(\tau)\otimes h(\tau)\)
- \(R_{YX}(\tau)=R_x(\tau)\otimes h(-\tau)\)
- \(R_{Y}(\tau)=R_x(\tau)\otimes h(\tau)\otimes h(-\tau)\)
频谱法
即利用传递函数\(H\)分析 \[ H(j\omega)=\mathscr F[h(t)] \] 有：
- \(S_Y(\omega)=|H(j\omega)|^2S_x(\omega)\)
- \(S_{XY}=\overline H(j\omega)S_X(\omega)\)，其中上划线表示共轭
- \(S_{YX}=H(j\omega)S_X(\omega)\)
重要傅里叶变换
| \(f(t)\) | \(F(\omega)\) |
|---|---|
| \(e^{-\beta|t|}\) | \(\dfrac {2\beta}{\beta^2+\omega^2}\) |
| 门函数（在\(\left[-\dfrac{T}{2},\dfrac T2\right]\)为\(1\)，其余为\(0\)） | \(TSa\left(\dfrac{\omega T}{2}\right)\) |
| 三角形函数（在\(0\)为\(1\)，\(-T,T\)处为0，中间用直线段连接），记作\(f_\Delta(t;T)\) | \(TSa^2\left(\dfrac{\omega T}{2}\right)\) |
| \(\sin \omega_0t\) | \(i\pi [\delta(\omega+\omega_0)-\delta(\omega-\omega_0)]\) |
| \(\cos \omega_0 t\) | \(\pi [\delta(\omega+\omega_0)+\delta(\omega-\omega_0)]\) |
| \(1\) | \(2\pi \delta(\omega)\) |
| \(\delta (t)\) | \(1\) |
【例】设\(X(t)\)是高斯白噪声过程，功率谱密度为\(S_X(\omega)=\dfrac 12\)，通过如图所示的线性系统，求：
- \(R_{XZ}(\tau)\)
- \(S_{ZX}(\omega)\)
- \(E[Z^2(t)]\)
【解】
求\(R_{XZ}(\tau)\) \[ \begin{align} R_X(\tau)&=\frac 12 \delta(\tau)\\ h(\tau)&=\int_{-\infty}^t \delta(t)-\delta(t-T) dt=u(t)-u(t-T)\\ R_{XZ}(\tau)&=R_X(\tau)\otimes h(\tau)\\ &=\frac 12 \delta(\tau)\otimes u(t)-u(t-T)\\ &=\frac 12(u(\tau)-u(\tau-T)) \end{align} \]
\(S_{ZX}(\omega)\) \[ \begin{align} S_X(\omega)&=\frac 12\\ H(j\omega)&=\mathscr F[h(t)]\\ &=TSa\left(\frac{\omega T}{2}\right)e^{-j\frac T2}\\ S_{ZX}(\omega)&=H(j\omega)S_X(\omega)\\ &=\frac T2Sa\left(\frac{\omega T}{2}\right)e^{-j\frac T2}\\ \end{align} \]
\(E[Z^2(t)]\) \[ \begin{align} S_Z(\omega)&=S_X(\omega)|H(j\omega)|^2\\ &=\frac 12 T^2Sa^2\left(\frac{\omega T}{2}\right)\\ R_Z(\tau)&=\mathscr F^{-1}[S_Z(\omega)]\\ &=\frac 12Tf_{\Delta}(\tau;T)\\ \psi^2_z&=R_Z(0)\\ &=\frac T2 \end{align} \]
窄带随机过程
复随机过程
即形如 \[ Z(t)=X(t)+jY(t) \] 的随机过程。
关于其数字特征，有：
- \(m_Z(t)=m_x(t)+jm_Y(t)\)
- \(R_Z(t)=E[Z(t_1)\overline{Z}(t_2)]\)
- \(c(t_1,t_2)=R_z(t_1,t_2)-m_x(t_1)\overline{m_Y}(t_2)\)
希尔伯特变换
希尔伯特变换定义为： \[ \hat x(t)=\mathscr H[x(t)]=x(t)\otimes \frac 1{\pi t} \] 这个定义有三种等价写法：
- \(\hat x(t)=\dfrac 1\pi \int _{-\infty}^\infty x(\tau)\dfrac {1}{t-\tau}d\tau\)
- \(\hat x(t)=-\dfrac 1\pi \int _{-\infty}^\infty x(t+\tau)\dfrac {1}{\tau}d\tau\)
- \(\hat x(t)=\dfrac 1\pi \int _{-\infty}^\infty x(t-\tau)\dfrac {1}{\tau}d\tau\)
希尔伯特变换的性质有：
\(\mathscr F[\hat x(t)]=-j\text{sgn}(\omega)\mathscr F[x(t)]\)
\(\mathscr H[\hat x(t)]=-x(t)\)
对有限带宽信号： \[ A(\omega)=\begin{cases} A(\omega) ,&|\omega|<B\\ 0,&\text{otherwise} \end{cases} \] \(A(\omega)=\mathscr F[a(t)]\)，有： $$ \[\begin{align} \mathscr H[a(t)\cos \omega_ct]&=a(t)\sin \omega_c t\\ \mathscr H[a(t)\sin \omega_ct]&=-a(t)\cos \omega_c t\\ \end{align}\] $$
若\(y(t)=x(t)\otimes v(t)\)，则 \[ \hat y(t)=\hat x(t)\otimes v(t)=x(t)\otimes \hat v(t) \]
翻转奇偶性
实随机过程的复表示
\[ \tilde{x}(t)=x(t)+j\hat x(t) \]
关于其数字特征，有：
- \(R_{\hat x}=R_x\)
- \(R_{\hat xx}=\hat R_x,R_{x\hat x}=-\hat R_x\)
- \(R_{\tilde{x}}=2[R_x+j\hat R_x]\)
窄带随机过程
设有窄带随机过程
\[ X(t)=A(t) \cos \left[\omega_0 t+\Phi(t)\right] \]
则其正交表示为
\[ X(t)=A_c(t) \cos \omega_0 t-A_s(t) \sin \omega_0 t \]
其中
\[ \begin{aligned} & A_c(t)=A(t) \cos \Phi(t) \\ & A_s(t)=A(t) \sin \Phi(t) \end{aligned} \]
且有
\[ \begin{aligned} A(t) & =\left[A_c^2(t)+A_s^2(t)\right]^{1 / 2} \\ \Phi(t) & =\arctan \frac{A_s(t)}{A_c(t)} \end{aligned} \] 窄带随机过程正交表示的统计特征
- 自相关函数
\[ \begin{aligned} & R_c(\tau)=R_X(\tau) \cos \omega_0 \tau+\hat{R}_X(\tau) \sin \omega_0 \tau \\ & R_s(\tau)=R_X(\tau) \cos \omega_0 \tau+\hat{R}_X(\tau) \sin \omega_0 \tau \\ & R_c(\tau)=R_s(\tau)\\ \end{aligned} \]
- 互相关函数
$$
- 在同一时刻 \(R_{cs}(0)=0\) ；
【例】窄带实平稳随机过程： \[ X(t)=X_c(t)\cos \omega_0t+X_s(t)\sin \omega_0t \] 已知\(S_{cs}(\omega)=0\)， \[ S_c(\omega)\begin{cases} \pi+\omega,&-\pi\leq \omega\leq 0\\ \pi-\omega,&0\leq \omega\leq \pi\\ 0,&others \end{cases} \] 求：
- \(R_X\)
- \(S_{X\hat X}\)
- \(S_{\tilde X}\)
【解】
\(R_X\) \[ \begin{align} S_c&=\pi f_{\Delta}(\omega;\pi)\\ R_c&=\mathscr F^{-1}[S_c]\\ &=\frac 1{2\pi}\pi\pi Sa^2\left(\frac{\tau\pi}{2}\right)\\ &=\frac \pi2 Sa^2\left(\frac{\tau\pi}{2}\right)\\ R_X&=R_c\cos\omega_0\tau+R_{cs}\sin\omega_0\tau\\ &=R_c\cos\omega_0\tau+0\\ &=\frac \pi2 Sa^2\left(\frac{\tau\pi}{2}\right)\cos \omega_0\tau \end{align} \]
\(S_{X\hat X}\) \[ \begin{align} R_{x\hat x}&=-\hat R_x\\ \to S_{x\hat x}&=\mathscr F[-\hat R_x]=j\text{sgn}(\omega)S_X\ \end{align} \] 则： \[ \begin{align} S_x&=\mathscr F[R_x]\\ &=\mathscr F\left[\frac \pi2 Sa^2\left(\frac{\tau\pi}{2}\right)\right]\otimes \mathscr F[\cos \omega_0\tau]\\ &=S_c(\omega)\otimes \frac 12 (\delta(\omega+\omega_0)+\delta(\omega-\omega_0))\\ &=\frac 12 [S_c(\omega+\omega_0)+S_c(\omega-\omega_0)] \end{align} \]
\(S_{\tilde{x}}\) \[ \begin{align} R_{\tilde{x}}&=2[R_x+j\hat R_x]\\ S_{\tilde X}&=\mathscr F [R_{\tilde{x}}]\\ &=2S_{x}+2j(-j\text{sgn}(\omega))S_x\\ &=2[1+\text{sgn}(\omega)]S_x \end{align} \]
高斯过程
任意有限维分布都是高斯分布的随机过程叫高斯随机过程。
一维高斯分布函数： \[ f(x) = \dfrac{1}{\sqrt{2\pi}\sigma} \exp\left\{-\dfrac{(x-\mu)^2}{2\sigma^2}\right\} \] \(n\)维高斯分布函数： \[ f(\boldsymbol{x})=\frac 1{(2\pi)^{\frac n2}|C|^{\frac 12}}exp\left\{-\frac 12 (\boldsymbol{x-a})^TC^{-1}(\boldsymbol{x-a})\right\} \] 高斯分布的不相关可以推出相互独立（思路：协方差矩阵\(C\)只有对角线有元素）
【例】已知 \(X(t)\) 是均值为零，自相关函数为 \(R_X(\tau)=\delta(\tau)\) 的高斯白噪声，且有
\[ \begin{gathered} Z(t)=Y(t) * h(t) \\ Y(t)=X(t)-X(t-T) \end{gathered} \]
其中 \(T>0\) 为延迟时间，冲激响应函数 \(h(t)=\left\{\begin{array}{ll}1, & -T / 2 \leq t \leq T / 2 \\ 0, & \text { 其他 }\end{array}\right.\) 。求： 1．\(X(t)\) 和 \(Z(t)\) 的互相关函数 \(R_{X Z}(\tau)\) ： 2．\(Z(t)\) 和 \(X(t)\) 的互功率谱密度 \(S_{Z X}(\omega)\) ： 3．\(Z(t)\) 的一维和 \(n\) 维概率密度函数。
【解】
记\(h_a(t)\)为全系统冲激响应，则： \[ \begin{align} h_a(t)&=(\delta(t)-\delta(t-T))\otimes h(y)\\ &=h(t)-h(t-T)\\ H_a(j\omega)&=\mathscr F[h_a]\\ &=TSa\frac {T\omega}{2}(1-e^{-j\omega T})\\ S_{XZ}(\omega)&=\mathscr F[R_x]\overline{H_a}(j\omega)\\ &=TSa\frac {T\omega}{2}(1-e^{j\omega T})\\ R_{XZ}&=\mathscr F ^{-1}[S_{XZ}]\\ &=h(t)-h(t+T) \end{align} \]
\(S_{ZX}\) \[ \begin{align} S_{XZ}&=\mathscr F[R_x]H_a(j\omega)\\ &=TSa\frac {T\omega}{2}(1-e^{-j\omega T}) \end{align} \]
\(Z(t)\) \[ \begin{align} S_z&=S_xH_a(j\omega)\overline{H_a}(j\omega)\\ &=T^2 Sa^2 \frac{\omega T}{2}\left(2-e^{-j \omega T}-e^{j \omega T}\right)\\ R_z&=\mathscr F^{-1}[S_z]\\ &=T \cdot\left[2 f_{\Delta}(\tau;T)-f_{\Delta}(\tau+T;T)-f_{\Delta}(\tau-T;T)\right]\\ m_z&=\sqrt{R_z(\infty)}=0\\ \psi_z^2&=R_z(0)=2T\\ \sigma_Z^2&=E[Z^2]-E^2[Z]=2T\\ f(z) &= \dfrac{1}{\sqrt{4\pi T}} \exp\left\{-\dfrac{x^2}{4T}\right\}\\ f(\boldsymbol{z})&=\frac 1{(2\pi)^{\frac n2}|C|^{\frac 12}}exp\left\{-\frac 12 \boldsymbol{z}^TC^{-1}\boldsymbol{z}\right\}\\ C&=\text{diag}\{2T,2T\cdots,2T\} \end{align} \]
泊松过程
计数过程
计数过程表示在一段时间内某事件发生的次数。计数过程的特征有：
- \(N(0)=0\)
- \(N(t)\geq 0\)
- \(N(s)\leq N(t),s<t\)
独立增量过程
\(N(t)-N(s)\)与\(N(t+\Delta t)-N(s+\Delta t)\)相互独立（区间不相交）。
泊松随机过程
满足以下条件的计数过程：
平稳增量
独立增量
单跳跃：在计数随机过程中，同一时刻至多只有一个计数增量 \[ P[N(t+\Delta t)-N(t)=k]=0,k\geq2 \]
随机性：在计数随机过程中，时间间隔 \(\Delta t\) 内出现事件 \(A\) 的次数为 \(k\) 的概率 \(p, 0<p<1\)是任意的，即令 \[ P\{[N(t+\Delta t)-N(t)]=k\}=p, 0 \]
且 \[ \sum_{k=0}^{\infty} P\{[N(t+\Delta t)-N(t)]=k\}=1, t, \Delta t \geq 0 \]
称为泊松过程。有： \[ P\{N(t)=k\}=\frac{(\lambda t)^k}{k!} e^{-\lambda t} \] 其数字特征为：
- \(E[N(t)]=\lambda t\)
- \(E[N^2(t)]=\lambda t+(\lambda t)^2\)
- \(D[N(t)]=\lambda t\)
- \(R(t_1,t_2)=\lambda^2t_1t_2+\lambda \min (t_1,t_2)\)
- 特征函数：\(\phi(v)=e^{\lambda t(e^{jv}-1)}\)
到达时间和到达间隔
泊松计数过程第\(k\)个到达时间\(T_k\)的概率密度 \[ f_{T_k}(t)= \begin{cases}\lambda e^{-\lambda t} \frac{(\lambda t)^{k-1}}{(k-1)!} & t \geq 0 \\ 0 & t<0\end{cases} \] 泊松过程中逐次到达的时间间隔的长度\(Z_k\)称为到达间隔，有： \[ Z_k=T_k-T_{k-1} \] 所有到达间隔都服从同样的分布： \[ f_{Z_k}(z)= \begin{cases}\lambda e^{-\lambda z}, & z \geq 0 \\ 0 & \text { 其他 }\end{cases} \]
本站的运行成本约为每个月5元人民币，如果您觉得本站有用，欢迎打赏：
