本文考虑以下线性回归模型:
其中y为$ n \times 1 $维观测向量, $ X = {\left( {{x_1}, {x_2}, \cdots {x_n}} \right)^\prime } $为$ n \times p $阶设计矩阵, $ rank\left( X \right) = p $, $ \beta $为$ p \times 1 $维未知参数向量, $ \varepsilon = {\left( {{\varepsilon _1}, {\varepsilon _2}, \cdots , {\varepsilon _n}} \right)^\prime } $为$ n \times 1 $维随机误差向量. 相应的最小二乘估计和岭估计分别为$ \hat \beta = {\left( {X'X} \right)^{ - 1}}X'y, {\hat \beta _k} = {\left( {X'X + kI} \right)^{ - 1}}X'y, $其中岭参数$ k > 0, I $为单位矩阵.
在回归分析中, 自变量之间存在多重共线性是一个常见的问题, 这对分析产生了严重的不良影响. 它对普通最小二乘法(OLS)的一个主要后果是, 估计产生了巨大的采样方差, 这可能导致模型中排除了重要系数. 为了处理这种不稳定性, 学者们提出了许多方法, 其中最著名的是Hoerl和Kennard[1]提出的岭估计, 它是基于在$ X'X $对角线上添加少量正值, 这使得岭估计有偏差, 但确保了比OLS更小的均方误差(MSE). Farebrother[2]利用广义逆讨论岭回归估计均方误差的进一步结果; Firinguetti[3]通过大量的仿真实验研究了共线性和自相关干扰对几种岭回归估计的影响. 这些基于岭估计的文献由于其计算可行性和一些最优性质受到了相当大的关注, 但它们可能具有严重的偏差. 此后学者们为了减小偏差, 同时又尽可能地保留岭估计的优良性质, Quenouille[4]提出将刀切方法应用于有偏估计以减小偏差. 刀切方法提供的估计不仅具有小的偏差, 而且具有所有理想的大样本特性. 文献[5–11]研究了利用刀切法减小岭估计的偏差以及刀切岭估计的性质. 另外, Chaubey[13]指出刀切岭估计在处理更复杂的推理问题(如获得置信区间)时可提供精细的解决方案.
置信区间在应用统计领域已经非常成熟, 它是指由样本统计量所构造的总体参数的估计区间, 置信集则是置信区间推广到多维的形式. 先前已有学者对线性回归模型中参数的置信集做出大量研究, 例如: Vinod[12]研究了通过Bootstrap和Stein方法构造岭回归的参数置信区间; Chaubey等人[13]利用Bootstrap和Jackknife方法在岭估计基础上提出和比较回归模型中回归系数的不同置信区间; Firinguetti和Bobadilla[14]在基于岭估计和Edgeworth展开建立回归系数的渐近置信区间; 张金[15]提出了基于最小二乘估计的线性回归模型参数的最小体积置信集. 尽管学者们对于基于最小二乘估计的参数最小体积置信集的研究成果十分丰富, 但基于刀切岭估计的参数最小体积置信集的研究还未展开, 因此本文对此进行了研究.
为了下文的方便, 我们引入模型(1.1)的典则形式
其中$ Z = XP, \gamma = P'\beta , Z'Z = P'X'XP = \Lambda = diag({\lambda _1}, {\lambda _2}, \ldots {\lambda _p}), \;{\rm{ }}{\lambda _i} \ge 0, {\rm{ }}i = 1, 2, \ldots , p.\ $ $ \gamma $的最小二乘和岭估计分别为$ \hat \gamma = {\left( {Z'Z} \right)^{ - 1}}Z'y, {\rm{ }}{\hat \gamma _k} = {\left( {Z'Z + kI} \right)^{ - 1}}Z'y.\ $另外, Hinkly在文献[11]中定义(加权)刀切岭估计为
于是原模型(1.1)的刀切岭估计可表示为
为了得到基于刀切岭估计的最小体积置信集, 我们先给出如下引理.
引理2.1[15] 假设
(1) $ s \in S\left( Z \right) $是$ \theta $的充分统计量, 其概率密度函数(pdf)为$ f\left( {s, \theta } \right) $, 其中$ S\left( Z \right) = \Theta $;
(2) 对于函数$ p\left( \theta \right) > 0 $, $ \tilde f\left( {S, \theta } \right) = {{f\left( {S, \theta } \right)} \mathord{\left/ {\vphantom {{f\left( {S, \theta } \right)} {p\left( \theta \right)}}} \right. } {p\left( \theta \right)}} $为一个枢轴量;
(3) 对任意$ \theta \in \Theta $, 置信集$ {C_m}\left( S \right) $定义为$ {C_m}\left( S \right) = \left\{ {\theta :\tilde f\left( {S, \theta } \right) \ge m} \right\} $, 其中$ m > 0 $是由$ P\left( {\theta \in {C_m}\left( S \right)} \right) = 1 - \alpha , \forall \alpha \in \left( {0, 1} \right) $所定义的临界值;
(4) 对函数$ p\left( \theta \right) > 0 $, 满足$ \left| {C_m^ * \left( \theta \right)} \right| = q\left( \theta \right)\left| {{C_m}\left( \theta \right)} \right| $, 以及对任意$ C\left( S \right) $和$ \theta \in \Theta $都有$ \left| {C_{}^ * \left( \theta \right)} \right| \le q\left( \theta \right)\left| {C\left( \theta \right)} \right|.\ $
若满足以上条件, 则$ {C_m}\left( S \right) $是$ \theta $的置信水平为$ 1 - \alpha $的最小体积置信集.
定理2.1 当$ {\sigma ^2} $已知, 对任意置信集$ C\left( S \right) $都有$ \left| {{C^ * }\left( \beta \right)} \right| \le \left| {C\left( \beta \right)} \right| $, 则$ \beta $的置信水平$ 1 - \alpha $的最小体积置信集为
证 在模型的典则形式(1.2)式中, 令$ S = \hat \gamma = {\left( {{Z^\prime }Z} \right)^{ - 1}}Z'y $, 则它是$ \gamma $的充分统计量, S的pdf为
由引理2.1得$ \tilde f\left( {S, \gamma } \right) = f\left( {S, \gamma } \right) $并且
于是在$ \left| {{C^ * }\left( \gamma \right)} \right| \le \left| {C\left( \gamma \right)} \right| $的限制条件下, $ \beta $的置信水平$ 1 - \alpha $的最小体积置信集为
因为$ {\left\| {XP{{\left( {I - {k^2}{{\left( {\Lambda + kI} \right)}^{ - 2}}} \right)}^{ - 1}}P'{{\tilde \beta }_k} - X\beta } \right\|^2} = {\left\| {\hat y - Z\gamma } \right\|^2}, $所以结论成立.
定理2.2 当$ \beta $已知, 对任意置信集$ C\left( S \right) $都有$ \left| {{C^ * }\left( {{\sigma ^2}} \right)} \right| \le \left| {C\left( {{\sigma ^2}} \right)} \right| $, 则$ {\sigma ^2} $的置信水平$ 1 - \alpha $的最小体积置信区间为
证 因为$ S = {1 \mathord{\left/ {\vphantom {1 {{{\left\| {y - Z\gamma } \right\|}^2}}}} \right. } {{{\left\| {y - Z\gamma } \right\|}^2}}} $是$ {\sigma ^2} $的充分统计量, 其pdf为$ \tilde g\left( {s, {\sigma ^2}} \right) = {g_n}\left( {{1 \mathord{\left/ {\vphantom {1 {{\sigma ^2}s}}} \right. } {{\sigma ^2}s}}} \right){\left( {{1 \mathord{\left/ {\vphantom {1 {{\sigma ^2}s}}} \right. } {{\sigma ^2}s}}} \right)^2}, t > 0, $其中$ {g_n} $为$ \chi _n^2 $的pdf. 由引理2.1得
其中$ {m_1} = \chi _n^2\left( {\alpha - {\alpha _1}} \right), {m_2} = \chi _n^2\left( {1 - {\alpha _1}} \right).\ $令$ {\alpha '_1} = \arg \mathop {\min }\limits_{0 < {\alpha _1} < \alpha } \left\{ {m_1^{ - 1} - m_2^{ - 1}} \right\} $, 即
因此$ \left| {{C^ * }\left( {{\sigma ^2}} \right)} \right| \le \left| {C\left( {{\sigma ^2}} \right)} \right| $的限制条件下, $ {\sigma ^2} $的置信水平为$ 1 - \alpha $的最小体积置信区间为
由于$ {\left\| {y - Z\gamma } \right\|^2} = {\left\| {y - X\beta } \right\|^2}, $故结论成立.
定理2.3 当$ \beta , {\sigma ^2} $未知, 对任意置信集$ C\left( S \right) $都有$ \left| {{C^*}\left( {\beta , {\sigma ^2}} \right)} \right| \le {\sigma ^p}\left| {C\left( {\beta , {\sigma ^2}} \right)} \right| $, 则$ \left( {\beta , {\sigma ^2}} \right) $的置信水平$ 1 - \alpha $的最小体积置信集为
等价形式
其中$ {m_\alpha }, {m_1}, {m_2} $见下文(2.5)式.
证 由因子分解定理, $ S = \left( {{{\hat \gamma } \mathord{\left/ {\vphantom {{\hat \gamma } {\left\| {\hat \varepsilon } \right\|}}} \right. } {\left\| {\hat \varepsilon } \right\|}}, {1 \mathord{\left/ {\vphantom {1 {{{\left\| {\hat \varepsilon } \right\|}^2}}}} \right. } {{{\left\| {\hat \varepsilon } \right\|}^2}}}} \right) $是$ \left( {\gamma , {\sigma ^2}} \right) $的充分统计量, 其中$ {\left\| {\hat \varepsilon } \right\|^2} = {\left\| y \right\|^2} - {\left\| {Z\hat \gamma } \right\|^2}.\ $令$ \left( {{N_1}, {N_2}} \right) = \left( {\hat \gamma , {{\left\| {\hat \varepsilon } \right\|}^2}} \right) $, 则其pdf为
于是$ S = \left( {{S_1}, {S_2}} \right) $的pdf为
其中$ \left( {{N_1}, {N_2}} \right) = \left( {{{{S_1}} \mathord{\left/ {\vphantom {{{S_1}} {\sqrt {{S_2}} }}} \right. } {\sqrt {{S_2}} }}, {1 \mathord{\left/ {\vphantom {1 {{S_2}}}} \right. } {{S_2}}}} \right) $, 雅可比行列式$ \left| {{{\partial \left( {{n_1}, {n_2}} \right)} \mathord{\left/ {\vphantom {{\partial \left( {{n_1}, {n_2}} \right)} {\partial \left( {{s_1}, {s_2}} \right)}}} \right. } {\partial \left( {{s_1}, {s_2}} \right)}}} \right| = 1/{s_2}^{2 + p/2}. $由引理2.1得
其中$ {\tilde s_1}, {\tilde s_2} $由$ {s_1} = \sigma {\tilde s_1} + \gamma \sqrt {{{\tilde s}_2}} - \gamma , {s_2} = {\tilde s_2} $决定.
因此, 在$ \left| {{C^*}\left( {\gamma , {\sigma ^2}} \right)} \right| \le {\sigma ^p}\left| {C\left( {\gamma , {\sigma ^2}} \right)} \right| $的限制条件下, $ \left( {\beta , {\sigma ^2}} \right) $的置信水平$ 1 - \alpha $的最小体积置信集为
其中$ g\left( x \right) = x - \left( {1 + {2 \mathord{\left/ {\vphantom {2 n}} \right. } n}} \right)\log x $是凸函数和$ {m_\alpha } $是被确定的临界值. 因为
所以结论成立.
又因为
并且, $ g\left( {{{{{\left\| {\hat \varepsilon } \right\|}^2}} \mathord{\left/ {\vphantom {{{{\left\| {\hat \varepsilon } \right\|}^2}} {n{\sigma ^2}}}} \right. } {n{\sigma ^2}}}} \right) \le {m_\alpha } $等价于$ {m_1} \le {{{{\left\| {\hat \varepsilon } \right\|}^2}} \mathord{\left/ {\vphantom {{{{\left\| {\hat \varepsilon } \right\|}^2}} {n{\sigma ^2}}}} \right. } {n{\sigma ^2}}} \le {m_2}, g\left( {{m_1}} \right) = g\left( {{m_2}} \right) = {m_\alpha }.\ $
因此, (2.3)式的最小体积置信集的等价形式为
其中$ {m_\alpha } $取决于
$ {F_{n - p}} $为$ \chi _{n - p}^2 $的分布函数.
首先, 参数$ \beta , {\sigma ^2} $的经典置信集如下, 分以下三种情况
情况1: 当$ {\sigma ^2} $已知时, $ \beta $的置信水平为$ 1 - \alpha $置信集为
情况2: 当$ \beta $已知时, $ {\sigma ^2} $的置信水平为$ 1 - \alpha $置信区间为
其中$ 0 < \alpha < 1 $, 且$ {\alpha _1} + {\alpha _2} = \alpha .\ $
情况3: 当$ \beta $和$ {\sigma ^2} $未知时, $ \left( {\beta , {\sigma ^2}} \right) $的置信水平为$ 1 - \alpha $的经典置信集为
其中$ \left( {1 - \alpha '} \right)\left( {1 - \alpha ''} \right) = 1 - \alpha , {\alpha _1}^{\prime \prime } + {\alpha _2}^{\prime \prime } = \alpha '' $. 上式结果由以下两式可得
其中$ Z\hat \gamma $与$ \hat \varepsilon $相互独立.
下面将以上经典置信集和基于刀切岭估计的最小体积置信集进行比较.
情况1: 当$ {\sigma ^2} $已知,$ \beta $未知时. 在$ \left| {{C^ * }\left( \gamma \right)} \right| \le \left| {C\left( \gamma \right)} \right| $的限制条件下, 置信水平为$ 1 - \alpha $的$ \beta $经典置信集(3.1)式和最小体积置信集(2.1)式相同.
情况2: 当$ \beta $已知,$ {\sigma ^2} $未知时. 在置信水平为$ 1 - \alpha $中$ {\sigma ^2} $的经典置信区间(3.2)式, 其常用区间“等尾”$ \left( {{\alpha _1} = {\alpha _2} = {\alpha \mathord{\left/ {\vphantom {\alpha 2}} \right. } 2}} \right) $, 在$ \left| {{C^ * }\left( {{\sigma ^2}} \right)} \right| \le \left| {C\left( {{\sigma ^2}} \right)} \right| $的限制条件下, 最优经典置信区间与最小体积置信区间(2.2)式相同, 是所有置信区间中最优.
情况3: 当$ \beta , {\sigma ^2} $未知时. (3.3)式中常用的经典置信集是“等尾”$ \left( {{\alpha _1}^{\prime \prime } = {\alpha _2}^{\prime \prime } = {{\alpha ''} \mathord{\left/ {\vphantom {{\alpha ''} 2}} \right. } 2}} \right) $“等概率”$ 1 - \alpha ' = 1 - \alpha '' = \sqrt {1 - \alpha } $. (3.3)式的经典置信集有体积
(2.3)式或(2.4)式最小体积置信集的体积为
假设$ C\left( S \right) $是(3.3)式的置信集, 其中$ S = \left( {{S_1}, {S_2}} \right) = \left( {{{\hat \gamma } \mathord{\left/ {\vphantom {{\hat \gamma } {\left\| {\hat \varepsilon } \right\|}}} \right. } {\left\| {\hat \varepsilon } \right\|}}, {1 \mathord{\left/ {\vphantom {1 {{{\left\| {\hat \varepsilon } \right\|}^2}}}} \right. } {{{\left\| {\hat \varepsilon } \right\|}^2}}}} \right) $则$ C\left( S \right) $满足$ \left| {{C^ * }\left( \theta \right)} \right| = {\sigma ^p}\left| {C\left( \theta \right)} \right|, \theta \in \Theta $. 事实上, 注意到
于是
因此由引理2.1得$ \left| {{C_m}\left( S \right)} \right| \le \left| {C\left( S \right)} \right|.\ $
在本节中, 我们利用文献[16]给出的数据来说明上文置信集的可靠性. 该数据集来自对不同组成的波兰水泥在凝固和硬化过程中产生的热量y与生产水泥的四种化学成分$ {x_1}, {x_2}, {x_3}, {x_4} $含量之间的关系的实验研究. 该数据样本量包括$ n = 13 $个观测值, 一个响应变量和四个解释变量.
首先, 通过文献[16]可得到$ X'X $的特征值为$ {\lambda _1} = 105.406, {\lambda _2} = 809.952, {\lambda _3} = 5965.339, {\lambda _4} = 44663.303, $其条件数为
该信息表明回归向量之间存在严重的多重共线性. 我们得到了$ \beta $和$ \sigma ^2 $的最小二乘估计
然后, 考虑随机约束$ r = R\beta + e, e \sim N(0, {\sigma ^2}), $其中$ R = (1, - 1, 1, 0), r = 0. $由文献[16]可知, 随机约束Liu-型估计(SRLTE)为
令$ k = 0.05, d = - 0.5, $则$ {\hat \beta _{SRLTE}}\left( {0.05, - 0.5} \right) = (2.17985, 1.15688, 0.7466, 0.48857)', $在$ k = 0.05, d = - 0.5 $时, $ MSE\left( {{{\hat \beta }_{SRLTE}}} \right) = 0.0641. $
经计算得$ \beta $的刀切岭估计及其均方误差分别为
其中$ {\sigma ^2} $取$ \hat \sigma _{OLS}^2 $, $ {\gamma _i} $取$ {\hat \gamma _i} = P'\hat \beta .\ $
因此, 当$ k = 0.05, d = - 0.5 $时, $ MSE\left( {{{\tilde \beta }_k}} \right) < MSE\left( {{{\hat \beta }_{SRLTE}}} \right) $, 此时我们提出的刀切岭估计$ {\tilde \beta _k} $更优势.
此外, 置信水平为$ 95\% \left( {\beta , {\sigma ^2}} \right) $的最小体积置信集为
其中$ {m_{0.05}} = 2.249 $, P为$ X'X $的特征向量, $ \Lambda = diag({\lambda _1}, {\lambda _2}, \ldots {\lambda _p}) $, $ {\lambda _i} $为$ X'X $的特征根.
令上述最小体积置信集中的$ \beta $为$ {\hat \beta _{SRLTE}}\left( {0.05, - 0.5} \right) $, 通过Matlab计算, 得到左边等式为$ 1.1166 $. 由于$ 1.1166 < 2.249 $, 说明$ {\hat \beta _{SRLTE}} $包含在基于刀切岭估计的最小体积置信集中.