向量空间与矩阵

我的原文地址

第二章：向量空间与矩阵 Contents
Contents
 1.  总括
   1.1.  本章的基本线索
   1.2.  向量空间初步
   1.3.  矩阵初步
 2.  m维向量空间
   2.1.  向量组的线性相关与线性无关
   2.2.  向量组的秩
 3.  矩阵的秩
 4.  线性方程组的理论课题
   4.1.  齐次线性方程组的基础解系
   4.2.  线性方程组的一般理论
 5.  矩阵代数
   5.1.  矩阵的运算
     5.1.1.  矩阵乘法的几何意义
     5.1.2.  矩阵乘法的基本性质
   5.2.  矩阵运算和秩的关系
   5.3.  n阶方阵
     5.3.1.  n阶方阵
     5.3.2.  初等矩阵
     5.3.3.  逆矩阵
   5.4.  分块矩阵
     5.4.1.  准对角矩阵
     5.4.2.  分块矩阵的秩

1. 总括 1.1. 本章的基本线索 以求解线性方程组为出发点，通过分析线性方程组结构上的特点引出代数学的两个重要研究对象：向量空间和矩阵。
\text{线性方程组}\begin{cases}
m\text{维向量空间}K^m,\\
\text{数域}K\text{上}m\times n\text{矩阵，}M_{m,n}(K);
\end{cases}

这样线性方程组分别用两种形式表示：
(Ⅰ)向量方程；(Ⅱ)矩阵方程.
这样抽象的表示有更一般的意义，因为它摆脱了某些具体表达式的依赖，也不依赖于K^n中加法、数乘的具体内容，只依赖八条运算法则。向量空间和矩阵使发展空间和应用领域更大，对它们的理论作初步探讨，并将这初步理论反过来应用于线性方程组，给出完满解答。
1.2. 向量空间初步 向量空间概念包含三个要素：

1. K^m是一个以数域K上m元有序数组为元素的集合；
   
2. K^m内有两种运算（向量加法和数乘）；
   
3. 两种运算满足八条运算法则.由此K^m成为一个代数系统.

线性方程组的核心问题是齐次线性方程组有无非零解，这核心问题转化成K^m中的核心概念：向量组的线性相关和线性无关.由于讨论线性相关的向量组的结构又形成了向量组的极大线性无关部分组与秩的概念.

K上一个m\times n矩阵，其行向量为K^n中的向量组，其列向量为K^m中的向量组，因而由向量组的秩的概念引出矩阵的秩的概念.
1.3. 矩阵初步 给定数域K上的一个m\times n的矩阵，就是给出了K^n到K^m之间的一个映射，这个映射保持向量空间两种运算的对应关系.所以矩阵是联系两个向量空间的一个纽带.特别地，n阶方阵是探讨K^n内部结构的基本工具.

给定A,B\in M_{m,n}(K).\, A+B就是把K^n到K^m间的两个映射“叠加”起来：
\begin{aligned}
K^n&\rightarrow K^m, \\
X&\mapsto (A+B)X=AX+BX.
\end{aligned}

而kA则是将K^n到K^m的一个映射“放大”：
\begin{aligned}
K^n&\longrightarrow K^m, \\
X&\longmapsto(kA)X=k(AX).
\end{aligned}

对于A\in M_{m,n}(K),B\in M_{n,s}(K),\, AB是把K^s到K^n的映射和K^n到K^m的映射“连接”起来：
\begin{aligned}
K^s&\overset{f_B}{\longrightarrow} K^n \overset{f_A}{\longrightarrow} K^m,\\
X&\longmapsto (AB)X=A(BX).
\end{aligned}
这样，矩阵中存在三种运算：加法、数乘、乘法，而且也满足相应的运算法则.
2. m维向量空间 m维向量空间中的向量和线性方程组间的联系：有无解与向量能否被向量组线性表示，解的组数与表法种数。这就把线性方程组的理论纳入m维向量空间的理论之中.
2.1. 向量组的线性相关与线性无关 在研究线性方程组时，人么发现最核心的问题是讨论一个齐次线性方程组是否有非零解，而线性方程组理论的这个核心问题翻译成向量空间的语言，就成了向量组线性相关与线性无关的概念.这个概念的抽象定义有更一般的意义，因为它不依赖于向量\alpha_1,\alpha_2,\dots,\alpha_s的具体表达式，也不依赖于K^n 中加法、数乘的具体内容，只依赖向量加法、数乘的八条运算法则，从而可以不依赖于线性方程组，有了更大的发展空间和应用领域。

2.2. 向量组的秩

一个向量组线性相关的充分必要条件是存在其中一个向量能被其余向量线性表示，这从另一个角度刻画了线性相关的向量组的特性.于是在许多情况下，可以“去掉”向量组里“多余的”向量，这就引进了向量组线性等价的预备概念，再给出主要概念：极大线性无关部分组。其蕴含的实质是：原向量组的部分组与原向量组线性等价，在一定意义下可用新组代表原组；另一方面新组线性无关，其中无“多余”向量.

证：设r>s,
\alpha_i=\sum_{j=1}^sa_{ij}\beta_j\Rightarrow\sum_{i=1}^rk_i\alpha_i=\sum_{i=1}^r\Big(k_i\sum_{j=1}^sa_{ij}\beta_j\Big)
=\sum_{j=1}^s\sum_{i=1}^rk_i a_{ij}\beta_j=\sum_{j=1}^s\Big(\sum_{i=1}^rk_i a_{ij}\Big)\beta_j=0.

就令\sum k_i a_{ij}=\sum a_{ij}k_i=0，其中j可取1,2,\dots,s.有r个未知数k_i,\, s条齐次线性方程.故必有非零解k_1,k_2,\dots,k_r, 得出线性相关.

取出两个线性等价的向量组的极大线性无关部分组，它们还是线性等价的但均已是线性无关.由推论tuilun211，每个向量组的向量数大于等于另一个的，这就只能相等.
3. 矩阵的秩 线性方程组的系数矩阵和增广矩阵事实上已经包含了方程组的所有信息，只要深入研究它们，就有可能破解线性方程组的各种疑难.

考察m\times n矩阵A.\, A的行向量组属于K^n，列向量组属于K^m，一般是两个不同的向量空间，但它们的分量却同由A里的mn个元素组成，于是A的行向量组与列向量组之间可能存在某种联系，但这联系在大量的数后，难以发现.为了使复杂对象简单化，引进了矩阵的初等变换的概念.特别重要的一点是，初等变换不改变矩阵的行秩与列秩.一系列初等变换后可把矩阵变为形式简单的标准型，行秩列秩一目了然，得出行秩等于列秩的结论。.矩阵的秩的概念就由此可给出了.

证：行（列）秩在初等行（列）变换下不变，因为变换前后的向量组线性等价.对于列秩在初等行变换下保持不变（行秩同理），只需注意到一个关键点：列向量组一次初等行变换后，原列向量组的极大线性无关部分组在该次变换后仍是新的列向量组的极大线性无关部分组.

不妨设列向量组\alpha_1,\alpha_2,\dots,\alpha_n极大线性无关部分组为\alpha_1,\alpha_2,\dots,\alpha_r.先考虑\alpha'_1,\alpha'_2,\dots,\alpha'_r线性无关，再考虑任一\alpha'_i可被其线性表示.

设原矩阵前r列为矩阵B，方程BX=0只有零解，初等行变换后方程的解不变，即仍仅有零解，这表明\alpha'_1,\alpha'_2,\dots,\alpha'_r线性无关.\, \alpha_i可被\alpha_1,\alpha_2,\dots,\alpha_n线性表示，则方程BX=\alpha_i有解，变换后解不变，因而仍有解，这说明\, \alpha'_i可被\alpha'_1,\alpha'_2,\dots,\alpha'_n线性表示.

一系列初等变换后，矩阵可变成三种标准形之一.标准形的行秩和列秩都等于1的个数r，因为前r个行（列）向量即为行（列）向量组的极大线性无关部分组.
4. 线性方程组的理论课题 仅仅利用前面尚属粗浅的向量空间和矩阵的知识，已经可以对上一章最后所提出的线性方程组的三个理论问题给出完满的解答.
4.1. 齐次线性方程组的基础解系 一个齐次线性方程组的解作线性组合，得到的仍是方程组的解.那么方程组的解向量组是否有可能找出一个极大线性无关部分组？这就引进了基础解系的概念.如果能找出一个基础解系，就相当于找到了全部解向量，那么方程组有多少解、解与解之间的关系这两个理论问题就完满地解决了.这样，探讨齐次线性方程组的理论课题就归结为讨论它的基础解系了.

证：如果r=n，则列向量组线性无关，由定义，只有零解.下设r<n，不妨设前r个列向量就是列向量组的极大线性无关部分组.可以证明：

1.后面的x_{r+1},\dots,x_n任取，都可唯一确定x_1,\dots,x_r的值，从而得到一组解；

2.方程组两组解在x_{r+1},\dots,x_n取相同的值，则它们是相同的解.

让某个自由未知量等于1，其余自由未知量为0，得到一个解向量.类似地，共得到n-r个解向量\eta_1,\eta_2,\dots,\eta_{n-r}，可证它们就是一个基础解系.

\eta_1,\eta_2,\dots,\eta_{n-r}是线性无关的：
\sum_{i=1}^{n-r}k_i\eta_i=(\ast,\ast,\dots,\ast,k_1,k_2,\dots,k_{n-r})=0\Rightarrow k_1=\dots=k_{n-r}=0.
设\eta=(k_1,k_2,\dots,k_r,k_{r+1},\dots,k_{n})是解，考察另一解\eta'，
\eta'=\sum_{i=1}^{n-r}k_{r+i}\eta_i=(\ast,\ast,\dots,\ast,k_{r+1},\dots,k_{n})\Rightarrow\eta=\eta'\Rightarrow\eta=\sum_{i=1}^{n-r}k_{r+i}\eta_i.
4.2. 线性方程组的一般理论

证：线性方程组等价于\overline{A}的列向量组的向量方程x_1\alpha_1+\dots+a_n\alpha_n=\beta.

若上式成立，则\beta也能被\alpha_1,\dots,\alpha_n的极大线性无关部分组线性表示，所以这个部分组也是\overline{A}的列向量组的极大线性无关部分组，于是r(\overline{A})=r(A).若r(\overline{A})=r(A)，但\beta不能被\alpha_1,\dots,\alpha_n的极大线性无关部分组线性表示，则向量组\alpha_{i_1},\dots,\alpha_{i_r},\beta线性无关，那么r(\overline{A})=r(A)+1>r(A)，矛盾.判别定理正确性得到验证.

一般线性方程组与其导出方程组有如下关系：

1)线性方程组的两个解向量之差得到导出方程组的一个解向量；

2)线性方程组的一个解向量加上导出方程组的一个解向量得到原线性方程组的解向量.

由此知：如果给定线性方程组的某个解向量\gamma_0，那么\gamma减去\gamma_0得到的\eta是导出方程组的解.
\gamma=\gamma_0+\eta.

反之任一导出方程组的解\eta,\, \gamma是原线性方程组的解.导出方程组的全部解可表示为\sum k_i\eta_i，从而原线性方程组全部解可表示为
\gamma=\gamma_0+k_1\eta_1+\dots+k_{n-r}\eta_{n-r}.
如果上式有另一种表示法，作差并由基础解系的线性无关知两表示法完全一样.

如果r(A)=n，列向量组线性无关，那么\beta的表法唯一，故方程组的解唯一.
5. 矩阵代数 5.1. 矩阵的运算 5.1.1. 矩阵乘法的几何意义 给定数域K上的m\times n矩阵A，考察向量空间K^n到K^m的映射f_A：对任意X\in K^n，视其为n\times1矩阵，定义f_A(X)=AX\in K^m.

如果另有A_1使f_{A_1}=f_A，可以证明A_1=A.这说明映射f_A反过来也唯一决定了矩阵A.事实上，取定K^n中坐标向量X_j=(0,\dots,0,1,0,\dots,0)^{\mathrm{T}},\, f_A(X_j)=AX_j=(a_{1j},a_{2j},\dots,a_{nj})^{\mathrm{T}}，这说明f_A(X_j)即A 的第j列.那么，A_1的第j 列即f_{A_1}(X_j)=f_A(X_j)，即A的第j列，所以A_1=A.这就建立了m\times n矩阵与K^n到K^m的映射间的一一对应.

下面将看到，A与B的乘积实际上就是映射f_A与f_B的乘积.

考察向量空间的如下映射：
K^s\overset{f_B}{\longrightarrow}K^n\overset{f_A}{\longrightarrow}K^m.

根据映射乘法，
\begin{aligned}
&(f_Af_B)(X)=f_A(f_B(X)) \\
=&f_A \begin{bmatrix}\sum\limits_{l=1}^s b_{1l}x_l\\ \sum\limits_{l=1}^s b_{2l}x_l\\ \vdots\\ \sum\limits_{l=1}^s b_{nl}x_l\end{bmatrix} = \begin{bmatrix}\sum\limits_{k=1}^n a_{1k}\Big(\sum\limits_{l=1}^s b_{kl}x_l\Big)\\ \sum\limits_{k=1}^n a_{2k}\Big(\sum\limits_{l=1}^s b_{kl}x_l\Big)\\ \vdots\\ \sum\limits_{k=1}^n a_{mk}\Big(\sum\limits_{l=1}^s b_{kl}x_l\Big)\end{bmatrix}
= \begin{bmatrix}\sum\limits_{l=1}^s\sum\limits_{k=1}^n a_{1k}b_{kl}x_l\\ \sum\limits_{l=1}^s\sum\limits_{k=1}^n a_{2k}b_{kl}x_l\\ \vdots\\ \sum\limits_{l=1}^s\sum\limits_{k=1}^n a_{mk}b_{kl}x_l\end{bmatrix}\\
=&\begin{bmatrix}\sum\limits_{l=1}^s\Big(\sum\limits_{k=1}^n a_{1k}b_{kl}\Big)x_l\\ \sum\limits_{l=1}^s\Big(\sum\limits_{k=1}^n a_{2k}b_{kl}\Big)x_l\\ \vdots\\ \sum\limits_{l=1}^s\Big(\sum\limits_{k=1}^n a_{mk}b_{kl}\Big)x_l\end{bmatrix}
=\begin{bmatrix}\sum\limits_{l=1}^s c_{1l}x_l\\ \sum\limits_{l=1}^s c_{2l}x_l\\ \vdots\\ \sum\limits_{l=1}^s c_{ml}x_l\end{bmatrix}
=f_C(X).
\end{aligned}
这也就是f_A\circ f_B=f_C=f_{AB}.这说明A与B的乘积实际上就是映射f_A与f_B的乘积.这使形式上复杂的矩阵乘法得到了几何上的解释.
5.1.2. 矩阵乘法的基本性质

证：对于1，利用f_{A(BC)}=f_Af_{BC}=f_A(f_Bf_C)=(f_Af_B)f_C=f_{AB}f_C=f_{(AB)C}.

只看(AB)^{\mathrm{T}}=B^{\mathrm{T}}A^{\mathrm{T}}.\, (AB)^{\mathrm{T}}的i行j列元素为AB的j行i列元素\sum a_{jk}b_{ki}.而B^{\mathrm{T}}A^{\mathrm{T}}的i行j列元素为\sum b^\prime_{ik}a^\prime_{kj}=\sum b_{ki}a_{jk}=\sum a_{jk}b_{ki}.

5.2. 矩阵运算和秩的关系

前面关于矩阵的内容有两方面：秩和运算.下面的结论把这两类联系起来，使两方面的认识都可以更深一步.

证：1中kA相当于仅对A作初等变换.

2中，A+B的列向量组\alpha_1+\beta_1,\dots,\alpha_n+\beta_n能被A的和B的极大线性无关部分组的“合并组”线性表示.按推论
tuilun212，A的和B的极大线性无关部分组的“合并组”的秩\geqslant r(A+B)，前者的值\leqslant A的和B的极大线性无关部分组的“合并组”所含向量数=r(A)+r(B).

3的右边，AB的列向量组能被A的列向量组线性表示，按推论tuilun212，r(AB)\leqslant r(A).\, AB的行向量组能被B的行向量组线性表示，按推论tuilun212，r(AB)\leqslant r(B).

3的左边下面给出多种证明.

证明一：可以证明，齐次线性方程组若干个线性无关的解，如果个数少于基础解系的向量数，则可以扩充为一个基础解系.

设BX=0有一个基础解系\eta_1,\eta_2,\dots,\eta_k，则k=s-r(B)，将其扩充为(AB)X=0的基础解系\eta_1,\eta_2,\dots,\eta_k,\eta_{k+1},\dots,\eta_l，那么l=s-r(A+B).如果能证明B\eta_{k+1},B\eta_{k+2},\dots,B\eta_l线性无关，它们又都是AX=0的解，故秩=l-k=r(B)-r(AB)\leqslant n-r(A).即可获证.

事实上，设p_1B\eta_1+\dots+p_{l-k}B\eta_l=0，则B(p_1\eta_1+\dots+p_{l-k}\eta_l)=0,\, p_1\eta_1+\dots+p_{l-k}\eta_l是BX=0的解向量，由此p_1\eta_1+\dots+p_{l-k}\eta_l=q_1\eta_1+q_2\eta_2+\dots+q_k\eta_k.由线性无关知p_1=\dots=p_{l-k}(=q_1=\dots=q_k)=0，故B\eta_{k+1},B\eta_{k+2},\dots,B\eta_l线性无关.

证明二：设C=AB,\, B,C诸列向量分别为B_i,C_i，那么应有AB_i=C_i.设r(AB)=r(C)=r.
\begin{aligned}
C_i&=k_1C_{i_1}+k_2C_{i_2}+\dots+k_rC_{i_r}\\
&=k_1AB_{i_1}+k_2AB_{i_2}+\dots+k_rAB_{i_r}\\
&=A(k_1B_{i_1}+k_2B_{i_2}+\dots+k_rB_{i_r})
\end{aligned}

这样B_i,\, k_1B_{i_1}+k_2B_{i_2}+\dots+k_rB_{i_r}都是AX=C_i的解.于是
B_i=k_1B_{i_1}+k_2B_{i_2}+\dots+k_rB_{i_r}+l_1P_1+l_2P_2+\dots+l_{n-r(A)}P_{n-r(A)}.
B的列向量组可被向量组B_{i_1},B_{i_2},\dots,B_{i_r},P_1,P_2,\dots,P_{n-r(A)}线性表示.由推论tuilun212，
r(B)\leqslant\text{上述向量组的秩}\leqslant r+n-r(A)=r(AB)+n-r(A).

证明三：只讨论A\neq0的情形.存在m阶初等矩阵P_1,\dots,P_s及n阶初等矩阵Q_1,\dots,Q_t，使P_1\dots P_sA Q_1\dots Q_t=D为标准形.令P=P_1\dots P_s,\, Q=Q_1\dots Q_t，则PAQ=D.令B_1=Q^{-1}B，
r(AB)=r(P^{-1}PAQQ^{-1}B)=r(DB_1).
现在r(D)=r(A),\, r(B_1)=r(B).这样只需要考虑A为标准形即可.设r(A)=r，
AB =\begin{bmatrix}1&&&&\\ &\ddots&&& \\&&1&&\\&& &0& \\&&&&\ddots\end{bmatrix}
\begin{bmatrix}b_{11}&b_{12}&\dots&b_{1s}\\b_{21}&b_{22}&\dots&b_{2s}\\ \vdots&\vdots& &\vdots\\ b_{n1}&b_{n2}&\dots&b_{ns}\end{bmatrix}
=\begin{bmatrix}b_{11}&b_{12}&\dots&b_{1s}\\ b_{21}&b_{22}&\dots&b_{2s}\\ \vdots&\vdots& &\vdots\\b_{r1}&b_{r2}&\dots&b_{rs}\\&\\&\end{bmatrix}.
AB的秩等于B前r行的秩，AB前r个行向量的极大线性无关部分组和B的后n-r个行向量的“合并组”可线性表示B的每一个行向量，由推论tuilun212，r(B)\leqslant r(AB)+n-r=r(AB)+n-r(A).

证明四：令
M=\begin{bmatrix}A&0 \\ E_n&B\end{bmatrix}.

有r(A)+r(B)\leqslant r(M).
\begin{bmatrix}E_m&-A \\ 0&E_n\end{bmatrix}\begin{bmatrix}A&0 \\ E_n&B\end{bmatrix}\begin{bmatrix}E_n&-B \\ 0&E_s\end{bmatrix}=\begin{bmatrix}0&-AB \\ E_n&0\end{bmatrix}=N.

显然有
r(N)=r(E_n)+r(-AB)=r(AB)+n.

又r(N)=r(M).
r(AB)+n=r(N)=r(M)\geqslant r(A)+r(B).
5.3. n阶方阵 矩阵乘法实质上是集合间映射的乘法的一种特例，而集合间映射不可以随便作乘法，所以也不是随便两个矩阵能相乘.但是如果是集合到自身上的映射，即该集合内的变换，那么乘法总可以进行.对应到矩阵乘法上来，就是K^n到自身的映射，乘法总有意义.这时它所探讨的是K^n自身的结构，即其内部关系.它在理论上显然有特别的重要性.
5.3.1. n阶方阵 给定K上一个n阶矩阵A=(a_{ij}).显然A可表示为\sum\limits_{i=1}^n\sum\limits_{j=1}^na_{ij}E_{ij}.由于这个原因，许多问题可以归结为这n^2个特殊的n阶方阵处理.

5.3.2. 初等矩阵


5.3.3. 逆矩阵

有两个问题：

1. 什么样的方阵可逆？
   
2. 逆矩阵是否唯一？

证：若A可逆，n=r(E)=r(AA^{-1})\leqslant r(A)\leqslant n\Longrightarrow r(A)=n.若r(A)=n，则有P,Q使PA=AQ=E，由引理lemma241，P=Q=A^{-1}.

若AB=E，则n=r(E)=r(AB)\leqslant r(A)\leqslant n\Longrightarrow r(A)=n.故A可逆，两边左乘A^{-1}得B=A^{-1}.

5.4. 分块矩阵 5.4.1. 准对角矩阵


5.4.2. 分块矩阵的秩

证：令
M=\begin{bmatrix}AB&0\\ B&BC\end{bmatrix}\Longrightarrow r(AB)+r(BC)\leqslant r(M)=r(ABC)+r(B).