我的原文地址

一般线性假设的检验

考虑正态线性回归模型

\mathbf{y}=X\boldsymbol{\beta}+\mathbf{e},\quad \mathbf{e}\sim N(0,\sigma^2I).

其中X为n\times p的列满秩设计阵，讨论比较一般的线性假设

H:\; A\boldsymbol{\beta}=\mathbf{b}

的检验问题，这里A为m\times p的行满秩阵，\mathbf{b}为p维已知向量。

著名的F检验利用的统计量为

F=\frac{(RSS _ H-RSS)/m}{RSS/(n-p)}\sim F _ {m,n-p}.

RSS服从自由度为n-p的\chi^2分布，于是问题就转到RSS _ H的计算，这无非是一个有约束的极值问题：在A\boldsymbol{\beta}=\mathbf{b}的约束下，使|\mathbf{y}-X\boldsymbol{\beta}|^2最小。这个问题在数学上易于处理，且不难用显式表出|\mathbf{y}-X\boldsymbol{\beta}|^2的最小值即RSS _ H（在A\boldsymbol{\beta}=\mathbf{b}下），但现在不去做这一工作，因为这在理论上一般并非必要，而且，在实用上并不方便。

定理：原假设成立时，（1）：RSS/\sigma^2\sim\chi^2 _ {n-p},\; (RSS _ H-RSS)/\sigma^2\sim\chi^2 _ {m}；（2）：二者相互独立。

线性回归假设检验理论中的基本定理。

为考虑RSS _ H，先求出A\boldsymbol{\beta}=\mathbf{b}的一般解。任取\boldsymbol{\beta} _ 0使A\boldsymbol{\beta} _ 0=\mathbf{b}（这应存在，否则假设无意义），由线性方程组的理论，一般解即\boldsymbol{\beta}=\boldsymbol{\beta} _ 0+\boldsymbol{\tilde{\beta}}，其中\boldsymbol{\tilde{\beta}}为齐次线性方程组A\boldsymbol{\beta}=0的通解。注意到A为m\times p的行满秩阵，故存在p\times(p-m)的列满秩阵B，使得

\boldsymbol{\tilde{\beta}}=B\boldsymbol{\delta},\quad \forall\boldsymbol{\delta}\in\mathbb{R}^{p-m}

现令\mathbf{y}^\ast=\mathbf{y}-X\boldsymbol{\beta} _ 0,\; X^\ast=XB，那么可以得到约简模型：\mathbf{y}=X(\boldsymbol{\beta} _ 0+B\boldsymbol{\delta})+\mathbf{e}，

\mathbf{y}^\ast=X^\ast\boldsymbol{\delta}+\mathbf{e},\quad \mathbf{e}\sim N(0,\sigma^2I).

设原假设成立时，\boldsymbol{\beta}=\boldsymbol{\beta} _ 0+B\boldsymbol{\delta} _ 0，注意到|\mathbf{y}-\hat{\mathbf{y}}|^2=|\tilde{\mathbf{y}}-\hat{\tilde{\mathbf{y}}}|^2，故

\begin{aligned}
RSS _ H&=\mathbf{y}^\ast(I _ n-X^\ast({X^\ast}^\prime X^\ast)^{-1}{X^\ast}^\prime )\mathbf{y}^\ast\\
&=\mathbf{y}^\prime P\mathbf{y}-2(X\boldsymbol{\beta} _ 0)^\prime P\mathbf{y}+(X\boldsymbol{\beta} _ 0)^\prime P(X\boldsymbol{\beta} _ 0).
\end{aligned}

而\mathrm{rank}(P)=n-\mathrm{rank}(X^\ast({X^\ast}^\prime X^\ast)^{-1}{X^\ast}^\prime ))=n-p+m，故RSS _ H\sim\chi^2 _ {n-p+m}. 非中心参数为0是因为其等于

\begin{aligned}
&\phantom{=}(X\boldsymbol{\beta}-X\boldsymbol{\beta} _ 0)^\prime (I _ n-X^\ast ({X^\ast }^\prime X^\ast )^{-1}{X^\ast }^\prime )(X\boldsymbol{\beta}-X\boldsymbol{\beta} _ 0)\\
&=(X^\ast \boldsymbol{\delta} _ 0)^\prime (I _ n-X^\ast ({X^\ast }^\prime X^\ast )^{-1}{X^\ast }^\prime )(X^\ast \boldsymbol{\delta} _ 0)\\
&=0.
\end{aligned}

因为X^\ast =XB，故X^\ast的列都能被X的列向量线性表出，从而P=I _ n-X^\ast ({X^\ast }^\prime X^\ast )^{-1}{X^\ast }^\prime \geqslant I _ n-X(X^\prime X)^{-1}X^\prime，所以由Cochran定理，

\mathbf{y}^\prime P\mathbf{y}-RSS\; \text{与}\; RSS\; \text{独立.}

且(I _ n-X(X^\prime X)^{-1}X^\prime )X^\ast =(I _ n-X(X^\prime X)^{-1}X^\prime )X=0，从而

\begin{aligned}
&\phantom{=}(X\boldsymbol{\beta} _ 0)^\prime P(I _ n-X(X^\prime X)^{-1}X^\prime )\\
&=(X\boldsymbol{\beta} _ 0)^\prime (I _ n-X^\ast ({X^\ast }^\prime X^\ast )^{-1}{X^\ast }^\prime )(I _ n-X(X^\prime X)^{-1}X^\prime )\\
&=(X\boldsymbol{\beta} _ 0)^\prime (I _ n-X(X^\prime X)^{-1}X^\prime )-(X\boldsymbol{\beta} _ 0)^\prime (X^\ast ({X^\ast }^\prime X^\ast )^{-1}{X^\ast }^\prime )(I _ n-X(X^\prime X)^{-1}X^\prime )\\
&=0,
\end{aligned}

进而(X\boldsymbol{\beta} _ 0)^\prime P\mathbf{y}与RSS=\mathbf{y}^\prime (I _ n-X(X^\prime X)^{-1}X^\prime )\mathbf{y}独立，所以，RSS与

(\mathbf{y}^\prime P\mathbf{y}-RSS)-2(X\boldsymbol{\beta} _ 0)^\prime P\mathbf{y}+(X\boldsymbol{\beta} _ 0)^\prime P(X\boldsymbol{\beta} _ 0)=RSS _ H-RSS

独立，而其服从\chi^2 _ {m}是显然的，因为其特征函数与RSS特征函数乘积为RSS _ H特征函数乘积，故只能为\chi^2 _ m的特征函数。