在下文中, 我们将用到下述的一些记号, 对于矩阵$A$和$B$, $A>B$$(A\geq B)$表示$A-B$是正定(非负定)矩阵; tr$(B)$表示方阵的迹, $B'$和${\rm rk}(B)$分别表示$B$的转置和$B$的秩, $B^{-}$为$B$的广义逆, $R^{n}$表示$n$维欧式空间.

对于一般线性模型:

$ \left\{\begin{array}{ll} Y=X\beta+e, \\ E(e)=0, ~{\hbox{Cov}}(e)=\sigma^{2}I, \end{array}\right. $

其中$Y$为$n$维观测向量, $X$为$n\times p$阶列满秩矩阵, $\beta\in R^{p}$和$\sigma^{2}> 0$为未知参数.人们常常从拟合优度角度出发得到了回归系数的最小二乘估计, 基于统计判决理论得到了二次损失函数下线性估计类中的可容许估计.而Zellner将这两种标准综合, 提出了一个新的称之为平衡损失函数的标准

$ L(d;\beta, \sigma)=w(Y-Xd)'(Y-Xd)+( 1-w)(d-\beta)'S(d-\beta), $

其中$0\leq w\leq1$, $S$为已知的正定矩阵.

现考虑线性模型:

$ \left\{\begin{array}{ll} Y=X\beta+e, \\ E(e)=0, {\hbox{Cov}}(e)=\Sigma, \end{array}\right. $

(1.1)

这里$Y$为$n\times1$的观测向量, $\beta$为$p\times1$的未知随机参数向量, $X$为$n\times p$的列满秩矩阵, $e$为随机误差向量, $\Sigma>0$已知, $\beta$与$e$相互独立.

对于模型(1.1) 的回归系数$\beta$的广义最小二乘估计为

$ \widehat{\beta}_{GLS}=(X'\Sigma^{-1}X)^{-1}X\Sigma^{-1}Y, $

(1.2)

它是$\beta$的最佳线性无偏估计.

设$\beta$的先验分布适合下列条件:

$ E(\beta)=\mu, {\hbox{Cov}}(\beta)=T, $

(1.3)

此处$\mu$是已知的向量, $T>0$.

线性模型中参数的Bayes估计方法除了多层先验方法外主要有两种方法:一种是在正态线性模型下, 假定参数向量的先验分布为正态或者为无信息先验, 因此在二次损失下, Bayes估计由后验均值给出.另一种方法是在Gauss-Markov模型下, 假定先验分布的二阶矩存在, 并假设Bayes估计具有线性形式, 利用最优化方法使Bayes风险达到最小, 确定Bayes估计.利用这种方法获得的估计通常称为线性Bayes估计(见文献[7-9]等).现有文献中对第一种方法研究较多, 对第二种方法研究的较少.线性Bayes估计对样本模型和先验分布所加条件较弱, 适用范围广.本文将运用第二种方法研究线性模型中参数的Bayes估计.文献[2-4]研究了未知参数$\beta$的协方差阵为单位阵或误差向量$e$的协方差阵为单位阵时的Bayes估计的优良性, 本文则研究了更一般的线性模型未知参数的Bayes估计优良性.第二节将导出该线性模型下未知参数的Bayes线性无偏估计, 第三节讨论Bayes线性无偏估计在平衡损失风险函数准则下的优良性, 第四节讨论其在MESEM准则下的优良性.

设参数$\beta$的线性无偏估计类：

$ \mathcal{F}=\{\widehat{\beta}=AY+b, A\in R^{p\times n}, b\in R^{p\times 1} \}, $

则在损失函数$L(\delta, \beta)=(\delta-\beta)'D(\delta-\beta)$及相应的风险函数$R(\delta, \beta)=E(L(\delta, \beta))$下, $\beta$的Bayes线性无偏估计为$\widehat{\beta}_{\rm BE}$, 即$\widehat{\beta}_{\rm BE}$满足

$ R(\widehat{\beta}_{\rm BE}, \beta)=\mathop {\min}\limits_{A, b}R(\delta, \beta)=\mathop {\min}\limits_{A, b}E(\delta-\beta)'D(\delta-\beta) $

和无偏性条件$E(\widehat{\beta}-\beta)=0$, 为了确定$A$和$b$, 由无偏性可以解得

$ b=(I-AX)\mu. $

(2.1)

为了得到最优的矩阵$A$, 首先计算$\beta$的Bayes风险

$ R(\widehat{\beta}, \beta)=(A(Y-X\mu)+\mu-\beta)'D(A(Y-X\mu)+\mu-\beta)\\ \quad\quad\quad=E[{\hbox{tr}}D(AY-X\mu)+\mu-\beta)(A(Y-X\mu)+\mu-\beta)']\\ \quad\quad\quad={\hbox{tr}}DE[(AX-I)\beta-(AX-I)\mu+Ae][(AX-I)\beta-(AX-I)\mu+Ae]’\\ \quad\quad\quad={\hbox{tr}}D[(AX-I)T(AX-I)'+A\Sigma A']\\ \quad\quad\quad={\hbox{tr}}D(AXTX'A'-AXT-TX'A'+T+A\Sigma A'). $

令$\frac{\partial R(\widehat{\beta}, \beta)}{\partial A}=0$, 由矩阵的微商法则得

$ DA(XTX'+\Sigma)=DTX', $

所以

$ A=TX'(XTX'+\Sigma)^{-1}. $

(2.2)

结合$(2.1)$, $(2.2)$式, 得$\beta$的Bayes线性无偏估计为

$ \widehat{\beta}_{\rm BE}=\mu+TX'(XTX'+\Sigma)^{-1}(Y-X\mu). $

(2.3)

引入下列定义与引理:

定义 3.1  ^[2] 对于模型$(1.1)$, 设参数$\beta$的估计量为$d$, 则称

$ L(d, \beta)=w( Y - X d )'(Y-Xd)+( 1-w )(d-\beta)' S(d-\beta ) $

为平衡损失函数, 称

$ R(d, \beta) = E[w(Y-Xd)'(Y-X d)+(1-w)(d-\beta)'S(d-\beta)] $

为$d$的平衡损失风险函数, 此处$S$为已知的正定阵, $0\leq w\leq1$.设$\widehat{\beta}_{1}$和$\widehat{\beta}_{2}$为参数$\beta$的两不同的估计量, 若$R(\widehat{\beta}_{1}, \beta ) < R(\widehat{\beta}_{2}, \beta )$, 则称$\widehat{\beta}_{1}$在平衡损失准则下优于$\widehat{\beta}_{2}$.

引理 3.1  ^[1] 设$E(X)=\mu, {\hbox{Cov}}(X) =\Sigma, $则

$ E(X'AX)=\mu'A\mu+{\hbox{tr}}(A\Sigma ). $

(3.1)

下面在平衡损失准则下讨论参数$\beta$的BayeS线性无偏估计相对于GLS估计的优良性, 取$S=X'X$, 则

$ L(d, \beta)=w( Y - X d )'(Y-Xd)+( 1-w )(d-\beta)'X'X(d-\beta ), $

(3.2)

$ R(d, \beta) = E[w(Y-Xd)'(Y-X d)+(1-w)(d-\beta)'X'X(d-\beta)]. $

(3.3)

定理 3.1  在模型$(1.1)$和平衡损失(3.2) 下, $\beta$的先验分布由式$(1.3)$给出, $\beta$的 GLS 估计和 Bayes 线性无偏估计分别由式$(1.2)$和式$(2.3)$给出, 则$\beta$的 Bayes 线性无偏估计优于GLS估计的充要条件是$w<0.5$.

证  因为

$ \quad\quad Y-X\widehat{\beta}_{\rm BE} =Y-X\mu+XTX'(XTX'+\Sigma)^{-1}(Y-X\mu)\nonumber\\ =\quad[I-XTX'(XTX'+\Sigma)^{-1}](Y-X\mu) =\Sigma(XTX'+\Sigma)^{-1}(Y-X\mu)\nonumber\\ =\quad(XTX'\Sigma^{^{-1}}+I)(Y-X\mu), $

(3.4)

而$E(Y-X\mu)=0$, Cov$(Y-X\mu)=\Sigma+XTX'$, 由引理$3.1$, 得

$ \quad\quad E(Y-X\widehat{\beta}_{\rm BE})'(Y-X\widehat{\beta}_{\rm BE})\nonumber\\ =\quad E(Y-X\mu)'(XTX'+\Sigma)^{-1}\Sigma^{2}(XTX'+\Sigma)^{-1}(Y-X\mu)\nonumber\\ =\quad{\hbox{tr}}[(XTX'+\Sigma)^{-1}\Sigma^{2}(XTX'+\Sigma)^{-1}{\hbox{Cov}}(Y-X\mu)]\nonumber\\ =\quad{\hbox{tr}}(XTX'+\Sigma)^{-1}\Sigma^{2}. $

(3.5)

由$\beta$与$e$相互独立, 得

$ \quad\quad E(\widehat{\beta}_{\rm BE}-\beta)'X'X(\widehat{\beta}_{\rm BE}-\beta )\nonumber\\ =\quad E(X\widehat{\beta}_{\rm BE}-X\beta)'(X\widehat{\beta}_{\rm BE}-X\beta )\nonumber\\ =\quad E[X\mu+XTX'(XTX'+\Sigma)^{-1}(Y-X\mu)-X\beta]'\nonumber\\ \quad\quad[X\mu+XTX'(XTX'+\Sigma)^{-1}(Y-X\mu)-X\beta]\nonumber\\ =\quad E[\Sigma(XTX'+\Sigma)^{-1}(X\mu-Y)+e]'[\Sigma(XTX'+\Sigma)^{-1}(X\mu-Y)+e]\nonumber\\ =\quad E(Y-X\mu)'(XTX'+\Sigma)^{-1}\Sigma^{2}(XTX'+\Sigma)^{-1}(Y-X\mu)\nonumber\\ \quad\quad-2E[(Y-X\mu)'(XTX'+\Sigma)^{-1}\Sigma e]+E(e'e)\nonumber\\ =\quad {\hbox{tr}}(XTX'+\Sigma)^{-1}\Sigma^{2}-2E(e'(XTX'+\Sigma)^{-1}\Sigma e)+{\hbox{tr}}\Sigma\nonumber\\ =\quad {\hbox{tr}}(XTX'+\Sigma)^{-1}\Sigma^{2}-2{\hbox{tr}}(XTX'+\Sigma)^{-1}\Sigma^{2}+{\hbox{tr}}\Sigma\nonumber\\ =\quad {\hbox{tr}}[\Sigma-(XTX'+\Sigma)^{-1}\Sigma^{2}], $

(3.6)

结合式(3.2), (3.5), (3.6) 得

$ \quad\quad R(\widehat{\beta}_{\rm BE}, \beta) =E[w(Y-X\widehat{\beta}_{\rm BE})'(Y-X\widehat{\beta}_{\rm BE})+(1-w)(\widehat{\beta}_{\rm BE}-\beta)'X'X(\widehat{\beta}_{\rm BE}-\beta)]\nonumber\\ =\quad w{\hbox{tr}}(XTX'+\Sigma)^{-1}\Sigma^{2}+(1-w){\hbox{tr}}[\Sigma-(XTX'+\Sigma)^{-1}\Sigma^{2}]\nonumber\\ =\quad (1-w){\hbox{tr}}\Sigma+(2w-1){\hbox{tr}}(XTX'+\Sigma)^{-1}\Sigma^{2}. $

(3.7)

因为

$ Y-X\widehat{\beta}_{\rm GLS}=[I-X(X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1}]Y. $

由引理$3.1$及迹的性质tr$(AB)={\hbox{tr}}(BA)$可得

$ \quad\quad E(Y-X\widehat{\beta}_{\rm GLE})'(Y-X\widehat{\beta}_{\rm GLE})\nonumber\\ =\quad EY'[I-X(X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1}]'[I-X(X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1}]Y\nonumber\\ =\quad(X\mu)'[I-X(X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1}]'[I-X(X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1}]X\mu\nonumber\\ \quad\quad+{\hbox{tr}}[I-X(X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1}]'[I-X(X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1}]{\hbox{Cov}}(Y)\nonumber\\ =\quad0+{\hbox{tr}}[I-X(X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1}]'[I-X(X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1}](XTX'+\Sigma)\nonumber\\ =\quad{\hbox{tr}}[I-X(X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1}]'(\Sigma-X(X'\Sigma^{-1}X)^{-1}X')\nonumber\\ =\quad{\hbox{tr}}[\Sigma-X(X'\Sigma^{-1}X)^{-1}X'-\Sigma^{-1}X(X'\Sigma^{-1}X)^{-1}X'\Sigma\nonumber\\ \quad\quad+\Sigma^{-1}X(X'\Sigma^{-1}X)^{-1}X'X(X'\Sigma^{-1}X)^{-1}X']\nonumber\\ =\quad{\hbox{tr}}[\Sigma-X(X'\Sigma^{-1}X)^{-1}X'], $

(3.8)

$ \quad\quad E(X\widehat{\beta}_{\rm GLE}-X\beta)'(X\widehat{\beta}_{\rm GLE}-X\beta)\nonumber\\ =\quad E[X(X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1}(X\beta+e)-X\beta]'[X(X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1}(X\beta+e)-X\beta]\nonumber\\ =\quad E[X(X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1}e]'[X(X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1}e]\nonumber\\ =\quad{\hbox{tr}}[\Sigma^{-1}X(X'\Sigma^{-1}X)^{-1}X'X(X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1}{\hbox{Cov}}(e)]\nonumber\\ =\quad{\hbox{tr}}[X'X(X'\Sigma^{-1}X)^{-1}], $

(3.9)

结合$(3.2)$, $(3.8)$, $(3.9)$式, 有

$ \quad\quad R(\widehat{\beta}_{\rm GLE}, \beta)\nonumber\\ =\quad E[w(Y-X\widehat{\beta}_{\rm GLE})'(Y-X\widehat{\beta}_{\rm GLE})+(1-w)(\widehat{\beta}_{\rm GLE}-\beta)'X'X(\widehat{\beta}_{\rm GLE}-\beta)]\nonumber\\ =\quad w {\hbox{tr}}[\Sigma-X(X'\Sigma^{-1}X)^{-1}X']+(1-w){\hbox{tr}}[X'X(X'\Sigma^{-1}X)^{-1}]\nonumber\\ =\quad w\hbox{tr}\Sigma+(1-2w)\hbox{tr}[X'X(X'\Sigma^{-1}X)^{-1}], $

(3.10)

由式$(3.7), (3.10)$, 得

$ \quad\quad R(\widehat{\beta}_{\rm GLE}, \beta)-R(\widehat{\beta}_{\rm BE}, \beta)\nonumber\\ =\quad w{\hbox{tr}}\Sigma+(1-2w)\hbox{tr}[X'X(X'\Sigma^{-1}X)^{-1}]-[(1-w)\hbox{tr}\Sigma+(2w-1){\hbox{tr}}(XTX'+\Sigma)^{-1}\Sigma^{2}]\nonumber\\ =\quad (2w-1)\hbox{tr}\Sigma+(1-2w){\hbox{tr}}[X'X(X'\Sigma^{-1}X)^{-1}]+(1-2w){\hbox{tr}}(XTX'+\Sigma)^{-1}\Sigma^{2}. $

(3.11)

利用矩阵求逆公式

$ (P+BCB')^{-1}=P^{-1}-P^{-1}B(B'P^{-1}B+C^{-1})^{-1}B'P^{-1}, $

$(XTX'+\Sigma)^{-1}$可以写为

$ (XTX'+\Sigma)^{-1}=\Sigma^{-1}-\Sigma^{-1}X(X'\Sigma^{-1}X+T^{-1})^{-1}X'\Sigma^{-1}. $

(3.12)

将式$(3.12)$代入式$(3.11)$, 得

$ \quad\quad R(\widehat{\beta}_{\rm GLE}, \beta)-R(\widehat{\beta}_{\rm BE}, \beta)\nonumber\\ =\quad(2w-1)\hbox{tr}\Sigma+(1-2w){\hbox{tr}}[X'X(X'\Sigma^{-1}X)^{-1}]\nonumber\\ \quad\quad+(1-2w){\hbox{tr}}[\Sigma-\Sigma^{-1}X(X'\Sigma^{-1}X+T^{-1})^{-1}X'\Sigma]\nonumber\\ =\quad(1-2w){\hbox{tr}}[X'X(X'\Sigma^{-1}X)^{-1}]+(2w-1){\hbox{tr}}[\Sigma^{-1}X(X'\Sigma^{-1}X+T^{-1})^{-1}X'\Sigma]\nonumber\\ =\quad(2w-1){\hbox{tr}}[X(X'\Sigma^{-1}X+T^{-1})^{-1}X'-X'X(X'\Sigma^{-1}X)^{-1}]\nonumber\\ =\quad (2w-1){\hbox{tr}}[X'X(X'\Sigma^{-1}X+T^{-1})^{-1}-X'X(X'\Sigma^{-1}X)^{-1}]. $

(3.13)

又因为

$ {\hbox{tr}}[X'X(X'\Sigma^{-1}X+T^{-1})^{-1}]<{\hbox{tr}}[X'X(X'\Sigma^{-1}X)^{-1}], $

故若当$w<0.5$, 有

$ R(\widehat{\beta}_{\rm GLE}, \beta)-R(\widehat{\beta}_{\rm BE}, \beta)>0. $

即在平衡损失风险函数准则下, 未知参数$\beta$的线性无偏估计优于GLS估计.

定理3.1 表明:在平衡损失函数中, $(d-\beta)'X'X(d-\beta)$所占的权重大于$(Y-X\beta)'(Y-X\beta)$所占的权重时, $\beta$的线性无偏估计优于GLS估计.

推论 3.1  在模型$(1.1)$和平衡损失$(3.2)$下, $\beta$的先验分布由式$(1.3)$给出, $\beta$的GLS估计和线性无偏估计分别由$(1.2)$和$(2.3)$式给处, $\beta$的线性无偏估计等价于GLS估计的充要条件是$w =0.5$.

证  略.

为了研究$\widehat{\beta}_{BE}$的优良性, 引入如下定义:

定义 4.1  设$\widehat{\theta}$的参数向量$\theta$的一个估计, 则$\widehat{\theta}$的均方误差定义为

$ {\hbox{MSE}}(\theta)=E[(\widehat{\theta}-\theta)'(\widehat{\theta}-\theta)], $

$\widehat{\theta}$的均方误差阵定义为$M(\theta)=E[(\widehat{\theta}-\theta)(\widehat{\theta}-\theta)']$.

设$\widehat{\theta}_{1}$, $\widehat{\theta}_{2}$为参数向量$\theta$的两个不同的估计, 如果

$ M(\widehat{\theta}_{1})-M(\widehat{\theta}_{2})\geq 0 $

(或者MSE$(\widehat{\theta}_{1})-$MSE$(\widehat{\theta}_{2})> 0$), 则称$\widehat{\theta}_{2}$在MSEM(或MSE准则)下优于$\widehat{\theta}_{1}$.

由上述定义可知MSE$(\widehat{\theta})=$tr$[M(\widehat{\theta})]$, 很明显MSEM准则强于MSE准则.

定理 4.1  在模型$(1.1)$和先验分布$(1.3)$下, $\beta$的GLS估计和Bayes线性无偏估计分别由$(1.2)$, $(2.3)$式给出, 则

$ M(\widehat{\beta}_{\rm GLS})-M(\widehat{\beta}_{\rm BE})>0. $

证  由$(2.3)$式知$\widehat{\beta}_{\rm BE}=\mu+TX'(XTX'+\Sigma)^{-1}(Y-X\mu)$, 用矩阵求逆公式得

$ \quad\quad\widehat{\beta}_{\rm BE}=(X'\Sigma^{-1}X+T^{-1})(X'\Sigma^{-1}Y+T^{-1}\mu), \nonumber\\ \quad\quad M(\widehat{\beta}_{\rm GLS}) =E[(\widehat{\beta}_{\rm GLS}-\beta)(\widehat{\beta}_{\rm GLS}-\beta)']\nonumber\\ =\quad E[(X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1}Y-\beta][(X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1}Y-\beta]'\nonumber\\ =\quad E[(X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1}e][(X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1}e]'\nonumber\\ =\quad(X'\Sigma^{-1}X)^{-1}. $

(3.1)

因在线性模型$(1.1)$中$\beta$与$e$相互独立, 得

$ \quad\quad M(\widehat{\beta}_{\rm BE}) =E[(\widehat{\beta}_{\rm BE}-\beta)(\widehat{\beta}_{\rm BE}-\beta)']\nonumber\\ =\quad E[(X'\Sigma^{-1}X+T^{-1})^{-1}(X'\Sigma^{-1}Y+T^{-1}\mu)-\beta]\nonumber\\ \quad\quad[(X'\Sigma^{-1}X+T^{-1})^{-1}(X'\Sigma^{-1}Y+T^{-1}\mu)-\beta]'\nonumber\\ =\quad E[(X'\Sigma^{-1}X+T^{-1})^{-1}T^{-1}(\mu-\beta)+(X'\Sigma^{-1}X+T^{-1})^{-1}X'\Sigma^{-1}e]\nonumber\\ \quad\quad[(X'\Sigma^{-1}X+T^{-1})^{-1}T^{-1}(\mu-\beta)+(X'\Sigma^{-1}X+T^{-1})^{-1}X'\Sigma^{-1}e]'\nonumber\\ =\quad(X'\Sigma^{-1}X+T^{-1})^{-1}T^{-1}+(X'\Sigma^{-1}X+T^{-1})^{-1}(X'\Sigma^{-1}X)(X'\Sigma^{-1}X+T^{-1})^{-1}\nonumber\\ =\quad(X'\Sigma^{-1}X+T^{-1})^{-1}, $

(3.2)

结合$(4.1)$, $(4.2)$式, 由$X'\Sigma^{-1}X<X'\Sigma^{-1}X+T^{-1}$, 得

$ (X'\Sigma^{-1}X)^{-1}>(X'\Sigma^{-1}X+T^{-1})^{-1}, $

所以

$ M(\widehat{\beta}_{\rm GLS})-M(\widehat{\beta}_{\rm BE})=(X'\Sigma^{-1}X)^{-1}-(X'\Sigma^{-1}X+T^{-1})^{-1}>0. $

定理得证.

推论 4.1  在定理$4.1$的条件之下, 有

$ {\hbox{MSE}}(\widehat{\beta}_{\rm GLS})-{\hbox{MSE}}(\widehat{\beta}_{\rm BE})>0. $