第三节　回归模型的参数估计

一、普通最小二乘法

对一元线性回归模型Y_i＝α＋βX_i＋μ两边取期望值，得到样本回归直线：

式中，为α的估计量；为β的估计量。

任意选定一组样本观测值A（X_i，Y_i），要求样本回归函数值尽可能好地拟合A这组样本值。若定样本值Y_i与回归拟合值之差为ε_i，即，通常将ε_i称为残差（Residual）。

因为ε_i既可以为正值，也可以为负值，故普通最小二乘法原理：给定样本观测值A（X_i，Y_i）的情况下，估算最合适的回归模型参数与，使得被解释变量的回归拟合值与样本值Y_i之差的二次方和最小，即如何使得

达到最小。

二、回归模型参数的估算

根据微积分中极小值计算原理，于是Q函数式（2-8）分别对与求一阶偏导数，且定其一阶偏导数值为0，即

式（2-9）一般称为正规方程组（Normal Equations）。显然

解正规方程组得

相关链接

时间序列数据的普通最小二乘法参数估计

EViews 6.0软件操作步骤：

（1）输入变量名和样本数据。

（2）选择Quick/Estimate Equation菜单命令，如图2-7所示。

（3）打开如图2-8所示的对话框，在Equation Specification设置框中输入因变量与自变量，因变量与自变量用空格隔开，例如log（GDPFJNY）c log（LAG），其中log（）是对数函数，即对变量求对数，c为常数项；在Method下拉列表中选择LS-Least Squares（普通最小二乘法）。

（4）单击“确定”按钮，输出回归模型结果（如图2-9所示）：ln（GDPFJNY）＝35.2834-4.2649ln（LAG）。

（5）由软件（英文）格式转换成中文格式（表2-3）。

相关链接

面板数据的普通最小二乘法参数估计

EViews 6.0软件操作步骤：

（1）输入变量名和样本数据。

（2）单击Pool对象，选择Proc/Estimate菜单命令，如图2-10所示。

（3）弹出Pool Estimation对话框（图2-11），在Dependent variable文本框中输入因变量名，Method下拉列表中选择LS-Least Squares（普通最小二乘法），在Cross-section（截面）和Period（时期）下拉列表中可对影响方式进行设定：None为无影响，Fixed为固定影响，Random为随机影响。

在Weights（权重）下拉列表中选择加权项或不加权，如果选择Cross-section weights为广义最小二乘法使用估计截面残差的方差，可减少截面数据的异方差影响；如果选择Crosssection SUR为广义最小二乘法使用估计截面残差的协方差，可减少截面数据的异方差和同期相关性影响，但截面成员很多且时期很短时该方法失效；如果选择Period Weights为广义最小二乘法使用估计时期残差的方差，可减少时期异方差影响。

在Regressors and AR（　）terms框中输入解释变量；在Cross-section specific框中输入的变量对Pool对象中每个截面成员的系数都不同，输出结果用截面成员的标识名称和一般序列名称组合形式；在Period specific框中输入的变量对Pool对象中每个时期的系数都不同，输出结果用时期的标识名称和一般序列名称组合形式。

（4）单击“确定”按钮，输出回归模型结果（图2-12）。

三、回归模型参数的统计性质

当模型参数被估计出之后，需考虑参数估计值的精度，即是否能代表总体参数的真值，或者说需考查参数估计量的统计性质。

一个用于考查总体的回归参数估计量，可从如下几个方面考查其优劣性：

（1）线性性，即它是否是另一随机变量的线性函数。

（2）无偏性，即它的均值或期望值是否等于总体的真实值。

（3）有效性，即它是否在所有线性无偏估计量中具有最小方差。

这三个准则也称作估计量的小样本性质。拥有这类性质的估计量称为最佳线性无偏估计量（Best Liner Unbiased Estimator）。

当不满足小样本性质时，需进一步考查估计量的大样本或渐近性质：

（4）渐近无偏性，即样本容量趋于无穷大时，是否它的均值序列趋于总体真值。

（5）一致性，即样本容量趋于无穷大时，它是否依概率收敛于总体的真值。

（6）渐近有效性，即样本容量趋于无穷大时，是否它在所有的一致估计量中具有最小的渐近方差。

相关链接

高斯-马尔可夫定理（Gauss-Markov Theorem）

在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量。

（1）线性性，即估计量、是Y_i的线性组合。

证明：

令，故有

（2）无偏性，即估计量、的均值（期望）等于总体回归参数真值β₀与β₁。

证明：

易知

故

同样地，容易得出

（3）有效性（最小方差性），即在所有线性无偏估计量中，最小二乘估计量、具有最小方差。

先求与的方差：

证明最小方差性：

假设是其他估计方法得到的关于β₁的线性无偏估计量

其中，c_i＝c_i－k_i＋k_i，c_i为不全为零的常数。

则容易证明。

证明：

同理，可证明β₀的最小二乘估计量具有最小的方差。