第六节 马尔柯夫过程

一、马尔柯夫过程的定义及特征

若随机过程X（t）满足

则X（t）被称为马尔柯夫过程（马氏过程）。式（2-32）右端的条件分布函数

称为马尔柯夫过程从时刻t_n状态X_n转移到时刻t_n+k状态X_n+k的概率，简称“转移概率”。

从定义知，在t_n时刻所处的状态已知的条件下，马尔柯夫过程在时刻t_n+k（k>0）所处的状态只与其在t_n时刻所处的状态有关，而与其在t_n时刻以前所处的状态无关。这种特性称为马尔柯夫过程的无后效性（马氏性）。也就是说，过程“现在”的状态已知，其“将来”的状态与“过去”的状态无关。另外，可以证明，马尔柯夫过程的统计特性完全由它的初始分布和转移概率确定。因此，要研究马尔柯夫过程，只需确定其初始分布和转移概率就行了。

马尔柯夫过程可分三类：①时间和状态都连续的马尔柯夫过程，如维纳过程（Weiner过程）；②时间连续、状态离散的马尔柯夫过程，如散粒噪声过程（shot noise）；③时间和状态都离散的马尔柯夫过程，一般称马尔柯夫链（Markov chain）。马尔柯夫链是最简单的马氏过程，在水文学中广为应用。

二、马尔柯夫链

设马尔柯夫链有m个状态a₁，a₂，…，a_m（如径流的特丰、丰、中、枯、特枯），记转移时刻为t₁，t₂，…，t_n，…。某一转移时刻的状态为m个状态之一。据式（2-32）有

式中：a_n+k为t_n+k时刻的状态，其余符号含义类推。

这里要求式（2-34）左端有意义，即大于0。记

为过程从时刻t_n状态a_i经k步转移到状态a_j的概率。一般而言，P_ij（n，k）与i，j，k和n有关。当P_ij（n，k）与n无关（与初始时刻无关）时，则称为齐次马尔柯夫链。

在实际工作中，一般考虑齐次马尔柯夫链。取k=1，则式（2-35）变为

式中：P_ij为一步转移概率。

由一步转移概率可构成一步转移概率矩阵

式中，0≤P_ij≤1，。当k≥2时就变成多步转移概率矩阵。可以证明，一步转移概率矩阵与k步转移概率矩阵存在以下关系

令时刻t的无条件概率分布或边际概率分布为P_t=［p_t（1），p_t（2），…，p_t（m）］，其中p_t（j）是概率P［X（t）=j］。若时刻t已发生，则P_t已知。那么，t+1时刻的条件分布为

依此类推，有

式中：P₀为开始时刻的无条件概率分布。

【例2-3】 表2-5收集了桂江流域中游控制站平乐站48年（1952—1999年）径流资料。将年径流划分为5个状态（m=5）：枯、偏枯、平、偏丰、丰分别用1，2，3，4，5表示。状态划分标准采用均值标准差法，即枯、偏枯、平、偏丰、丰分别对应、，其中年径流样本均值，样本标准差s=96.2m³/s。分类结果见表2-5。

由表2-5统计得一步转移频数矩阵

式中：f_ij为第i状态经一步转移为第j状态的频数。

转移概率为

故一步转移矩阵为

1999年径流为平水年，则其无条件概率分布为P₁₉₉₉=［0，0，1，0，0］。由式（2-39）有，2000年径流的条件概率分布为P₂₀₀₀=［0.267，0.067，0.400，0.200，0.066］，即2000年径流处于5种状态的概率。由式（2-40）可得2001年径流的条件概率分布。

需要说明的是，应用马尔柯夫进行概率分析的必要前提是研究的随机过程满足马氏性。对于马尔柯夫链的马氏性，可用χ²检验法检验。当样本容量足够大时，统计量

服从自由度为（m-1）²的χ²分布。给定显著性水平α，若，则满足马氏性。式 （2 42）中的p·j为边际概率

对于［例2-3］的平乐站年径流序列的χ²统计值为 34.2，给定显著性水平α=0.05，查表可得分位点。由于，故该站年径流序列满足马氏性。可见，对于马尔柯夫链，可以根据t时刻的状态推求t+1时刻的状态概率分布。基于这一思想，马尔柯夫链不仅可用于天气预报、水文水资源、地震和经济预测问题，而且还可以用于管理决策、遗传学研究等领域。