2.5 静态向量情况下的参数估计
本节将要研究静态（非时变）向量情况下的参数估计问题，由于最大似然估计和最大后验估计需要知道待估计参数x的似然函数p（Zk|x）或先验概率密度函数p（x），而实际中做到这一点是比较困难的，所以这一节只把最小二乘估计和最小均方误差估计扩展到静态（非时变）向量情况，同时还给出最小二乘估计的递推形式。
1.最小二乘估计
在向量情况下，使二次误差
达到最小的估计
即为非随机向量X的最小二乘估计。其中第i个时刻的量测值为
式中，H（i）为量测矩阵，W（i）为协方差矩阵为R（i）的量测噪声，且
非随机向量X的最小二乘估计可通过令其二次误差关于
的梯度等于零得到，即
由式（2.89）可得
由于一般情况下，量测噪声W（i）的协方差矩阵R（i）并不是同分布的，因此考虑使误差的加权平方和
达到最小的估计
更为合理，此时
称为非随机向量X的加权最小二乘估计，即
由式（2.90）和式（2.92）可以看出，当误差协方差矩阵Rk为单位阵时，加权最小二乘估计即为最小二乘估计，因此下面只讨论加权最小二乘估计。
由于
所以向量情况下的加权最小二乘估计式（2.92）是无偏的，其估计误差为
利用式（2.94）可得向量情况下的加权最小二乘估计的误差协方差矩阵为
对于高斯扰动，非随机向量X的LS估计和ML估计是一致的。由式（2.90）和式（2.92）获得的LS估计是对k个数据同时进行处理，也就是批处理形式，批处理形式一般情况下计算量较大，下面给出最小二乘估计的递推式。
当得到了新的观测值z（k+1）时，把从1到k+1时刻的量测值构造成为多重向量、多重量测矩阵、量测误差的多重向量及其对应的分块对角正定矩阵表示为
由式（2.95）可得k+1时刻误差协方差矩阵的逆为
所以k+1时刻Fisher意义上的信息（即逆协方差矩阵）等于k时刻的信息再加上从量测z（k+1）所获得的与向量X有关的新信息。
利用矩阵反演引理
可把误差协方差矩阵的递推式重写为
定义
所以协方差的递推式又可表示为
利用式（2.98）有
这是增益K（k+1）的另一种表达形式。
由式（2.90）可得估计的递推式为
上式说明新估计
等于先前时刻的估计
加上一个修正项，这个修正项由增益K（k+1）和中括号里的新息构成。
最小二乘估计在曲线拟合法、航迹匹配、数据关联等诸多领域都有着广泛应用[14-16]。
2.最小均方误差估计
设x为待估计向量，z为向量x的观测向量，并且这两个随机向量是联合正态分布的，即
式中
式中，
、Pxx和
、Pzz分别是随机向量x和z的均值和各自的自协方差，Pxz为互协方差。由于
所以
设
则由式（2.105）和式（2.110）可得
令
因为q是x的二次型，所以给定z的x的条件概率密度函数也是高斯分布的。又因为
进而，可求得依据z的x的最小均方误差估计为
在高斯分布情况下，依据z的x的最小均方误差估计是给定z的x的条件均值。对应的条件误差协方差矩阵为
3.线性最小均方误差估计（LMMSE）
如果随机向量x和z不是联合高斯分布的，则一般情况下很难得到条件均值。但可以推导依据z的x的最佳线性估计。正交原理是线性估计成为最佳估计的充分必要条件，根据正交原理，最佳线性估计的估计误差
是无偏的，并且正交于观测值z。
若设
为非高斯分布情况下的最佳线性估计。由于最佳线性估计的估计误差
是无偏的，所以
由此可得
此时估计误差可表示为
由于最佳线性估计同时还要满足估计误差
和量测值z正交的条件，所以
由式（2.120）得到的A的解为
联立式（2.118）和式（2.121）可得线性最小均方误差估计的表达式为
该估计即为非高斯分布情况下使均方误差
达到极小的最佳线性估计。注意：式（2.122）形式和高斯分布情况下的MMSE估计式（2.114）相同，它仍是量测值z的线性函数，但它不是条件均值。
由式（2.119）可求得与式（2.122）对应的均方误差为
式中
它具有与式（2.115）同样的表达式，但由于式（2.122）不是条件均值，所以严格来讲上式也不是协方差矩阵。
线性最小均方误差估计是以均方误差最小为准则获得的观测数据的线性函数，其仅需要知道观测数据和待估计参数的一、二阶矩，即均值、方差/协方差，在实际中比较容易满足，其线性估计的特性使估计器的实现得到简化，所以应用非常广泛[17-19]。卡尔曼滤波就是最小均方误差估计的典型应用，其除了均方误差最小的特点以外，还具有无偏性、一致估计等特性，并且适用于非平稳过程、可对向量进行处理，卡尔曼滤波是离散时间系统下的递推最优滤波器[20-23]。