前言

由于之后需要大量使用线性代数的知识，又时时感到自己在这方面的不足，所以最近复习了一下线代。

看了《Introduction to Linear Algebra》的前几章和《线性代数及其应用》的大部分章节，感觉这两本经典教材确实对理解线性代数有很大帮助；另外，youtube/bilibili上3Blue1Brown的视频也是很好的参考。

对《线性代数及其应用》中的部分章节做了一个总结。

第1章 线性代数中的线性方程组

1.1 线性方程组

线性方程组的解有下列三种情况：

1. 无解。
2. 有唯一解。
3. 有无穷多解。

系数矩阵、增广矩阵（以$Ax=b$为例，系数矩阵为$A$，增广矩阵为$A$右侧加一列$b$）。

1.2 行化简与阶梯形矩阵

初等行变换、高斯消去法。

1.3 向量方程

向量的线性组合。

1.4 矩阵方程Ax=b

线性方程组的解的理解：

• 列的角度：矩阵各列的线性组合。
• 行的角度：各行代表的超平面求交。

1.5 线性方程组的解集

齐次线性方程组：可以写成$Ax=0$的线性方程组。对于这样的方程来说至少有一个解：$x=0$，称为平凡解，其它解称为非平凡解。

非齐次线性方程组：特解加上齐次线性方程组的解。

1.6 线性方程组的应用

1.7 线性无关

线性无关：$Ax=0$只有平凡解则称A的各列向量线性无关。

1.8 线性变换介绍

定义：$T(u+v)=T(u)+T(V),T(cu)=cT(u)$。

对于任意矩阵，变换$x\to Ax$都是线性变换。

1.9 线性变换的矩阵

1.10 商业、科学和工程中的线性模型

第2章 矩阵代数

2.1 矩阵运算

$A(Bx)=(AB)x$

若$A$是$m\times n$矩阵，$B$是$n\times p$矩阵，$B$的列是$b_{1},\dots,b_{p}$，则乘积$AB$是$m\times p$矩阵，它的各列是$Ab_{1},\dots,Ab_{p}$，即：

矩阵乘法性质：

• $A(BC)=(AB)C$
• $A(B+C)=AB+AC$
• $(B+C)A=BA+CA$
• $r(AB)=(rA)B=A(rB)$
• $IA=A=AI$

矩阵转置性质：

• $(A^{\top } )^{\top }=A$
• $(A+B)^{\top}=A^{\top}+B^{\top}$
• $(rA)^{\top}=rA^{\top}$
• $(AB)^{\top}=B^{\top}A^{\top}$

2.2 矩阵的逆

一个$n\times n$矩阵是可逆的，若存在一个$n\times n$矩阵$C$使$CA=I$且$AC=I$，则称$C$是$A$的逆，逆是唯一的，不可逆矩阵称为奇异矩阵。

若$A$是可逆$n\times n$矩阵，则对每一${\mathbb{R}}^n$中的$b$，方程$Ax=b$有唯一解$x=A^{-1}b$。

若$A$是可逆矩阵，则$A^{-1}$也可逆且$(A^{-1})^{-1}=A$；若$A$和$B$都是$n\times n$可逆矩阵，则$AB$也可逆，且$(AB)^{-1}=B^{-1}A^{-1}$；若$A$可逆则$A^{\top}$也可逆，且$(A^{\top})^{-1}=(A^{-1})^{\top}$。

$n\times n$矩阵$A$是可逆的，当且仅当$A$行等价于$I_n$，这时，把$A$化简为$I_n$的一系列初等行变换同时把$I_n$变成$A^{-1}$。

2.3 可逆矩阵的特征

设$A$为$n\times n$矩阵，则下列命题等价。

• $A$是可逆矩阵。
• $A$行等价于$I_n$。
• $A$有$n$个主元位置。
• $Ax=0$仅有平凡解。
• $A$的各列线性无关。
• 线性变换$x\to Ax是$一对一的。
• 对$\mathbb{R}^{n}$中任意$b$，方程$Ax=b$至少有一个解。
• $A$的各列生成$\mathbb{R}^{n}$。
• $x\to Ax$把$\mathbb{R}^{n}$映射到$\mathbb{R}^{n}$。
• 存在$n\times n$矩阵$C$使$CA=I$。
• 存在$n\times n$矩阵$D$使$AD=I$。
• $A^{\top}$是可逆矩阵。

2.4 分块矩阵

分块矩阵的乘法：将每个分块当作一个元素，进行矩阵乘法运算。

2.5 矩阵因式分解

LU分解：设$A$是$m\times n$矩阵，它可以行化简为阶梯形而不必行对换，则$A$可写成形式$A=LU$，$L$是$m\times m$下三角矩阵，主对角线元素全是1，$U$是$A$的一个$m\times n$阶梯形矩阵。

LU分解后简化了线性方程组的求解。

2.6 列昂惕夫投入产出模型

2.7 计算机图形学中的应用

2.8 $\mathbb{R}^{n}$的子空间

$\mathbb{R}^{n}$中的一个子空间是$\mathbb{R}^{n}$中的集合$H$，具有以下三个性质：

1. 零向量属于$H$。
2. 对$H$中任意的向量$u$和$v$，向量$u+v$属于$H$。
3. 对$H$中任意的向量$u$和实数$c$，向量$cu$属于$H$。

矩阵的列空间和零空间。

2.9 维数与秩

矩阵$A$的秩是$A$的列空间的维数。

设$A$为$n\times n$矩阵，$A$是可逆矩阵与$rank\space A=n$等价。

第3章 行列式

3.1 行列式介绍

行列式定义：$A$为$n\times n$矩阵，$A$的行列式$det\space A$为：

其中$k_1,k_2,\dots ,k_n$是将序列$1,2,\dots ,n$的元素交换$k$次得到的一个序列。

三角阵的行列式等于主对角线元素乘积。

3.2 行列式的性质

令$A$是一个方阵：

1. 若$A$的某一行的倍数加到另一行得矩阵$B$，则$det\space B=det\space A$。
2. 若$A$的某两行互换得矩阵$B$，则$det\space B=-det\space A$。
3. 若$A$的某一行的乘以$k$得到矩阵$B$，则$det\space B=k\cdot det\space A$。

方阵$A$是可逆的当且仅当$det\space A \ne 0$。

方阵$A$的转置的行列式与$A$的行列式相等。

方阵$A$和$B$乘积的行列式等于行列式的乘积，但一般和的行列式不等于行列式的和。

3.3 克拉默法则、体积和线性变换

研究$Ax=b$，将$A$的第$i$列用$b$替换得到$A_i(b)$。

克拉默法则：设$A$是一个可逆的$n\times n$矩阵对于$\mathbb{R}^{n}$中的任意向量$b$，方程$Ax=b$的唯一解可由下式给出：

2阶方阵的行列式的绝对值等于由它的列确定的平行四边形的面积，3阶矩阵的行列式的绝对值等于由它的列确定的平行六面体的体积。

2/3阶方阵确定的线性变换作用于平行四边形/平行六面体的到的面积/体积改变倍数等于行列式的绝对值。

第4章 向量空间

4.1 向量空间与子空间

4.2 零空间、列空间和线性变换

4.3 线性无关集和基

4.4 坐标系

4.5 向量空间的维数

4.6 秩

4.7 基的变换

4.8 差分方程中的应用

4.9 马尔可夫链中的应用

第5章 特征值与特征向量

5.1 特征向量与特征值

$A$为$n\times n$矩阵，$x$为非零向量，若存在数$\lambda$使$Ax=\lambda x$有非平凡解$x$，则称$\lambda$为$A$的特征值，$x$称为对应于$\lambda$的特征向量。

$\lambda$是$A$的特征值当且仅当$(A-\lambda I)x=0$有非平凡解。矩阵$(A-\lambda I)x$的零空间称为$A$的对应于$\lambda$的特征空间。

三角阵主对角线元素是其特征值。

特征向量集合线性无关。

5.2 特征方程

方阵$A$是可逆的当且仅当0不是$A$的特征值。

$det(A-\lambda I)=0$称为$A$的特征方程。

数$\lambda$是$n\times n$矩阵$A$的特征值的充要条件是$\lambda$是特征方程的根。

$det(A-\lambda I)$是$n$次多项式，称为$A$的特征多项式。把特征值$\lambda$在特征方程中的重数称为$\lambda$的（代数）重数。

$A$和$B$为$n\times n$矩阵，如果存在可逆矩阵$P$，使得$P^{-1}AP=B$，则称$A$和$B$是相似的，把$A$变成$P^{-1}AP$的变换称为相似变换。若$A$和$B$是相似的，那么它们有相同的特征多项式，从而有相同的特征值（和相同的重数）。

5.3 对角化

$n\times n$矩阵$A$可对角化的充分必要条件是$A$有$n$个线性无关的特征向量。

事实上，$A=PDP^{-1}$，$D$为对角矩阵的充分必要条件是$P$的列向量是$A$的$n$个线性无关的特征向量，此时，$D$的主对角线上的元素分别是$A$的对应与$P$中特征向量的特征值。

换句话说，$A$可对角化的充分必要条件是有足够的特征向量形成 $\mathbb{R}^{n}$的基，我们称这样的基为特征向量基。

有$n$个相异特征值的$n\times n$的矩阵可对角化。

5.4 特征向量与线性变换

5.5 复特征值

5.6 离散动力系统

5.7 微分方程中的应用

5.8 特征值的迭代估计

第6章 正交性和最小二乘法

6.1 内积、长度和正交性

$\mathbb{R}^{n}$中向量$u$和$v$之间的距离记为$dist(u,v)$，表示向量$u-v$的长度，即：$dist(u,v)=\parallel u-v\parallel$。

正交即内积为0。

如果向量$z$与$\mathbb{R}^{n}$的子空间$W$中任意向量都正交，则称$z$正交于$W$，全体$z$组成的集合称为$W$的正交补，并记作$W^{\bot}$。

$A$为$m\times n$矩阵，那么$A$的行空间的正交补是A的零空间，且$A$的列空间的正交补是$A^{\top}$的零空间。

6.2 正交集

任意两个不同向量都正交的集合称为正交集。

如果$S=\{u_1,\dots ,u_p\}$是由$\mathbb{R}^{n}$中非零向量构成的正交集，那么$S$是线性无关集，因此构成$S$所生成的子空间的一组基。

假设$\{u_1,\dots ,u_p\}$是$\mathbb{R}^{n}$中子空间$W$的正交基，对$W$中的每个向量$y$，线性组合$y=c_1 u_1+\dots +c_p u_p$中的权可以由$c_j=\frac{y\cdot u_j}{u_j\cdot u_j}(j=1,\dots ,p)$计算。

一个$m\times n$矩阵$U$具有单位正交列向量的充分必要条件是$U^{\top}U=I$，正交矩阵是指转置等于逆的矩阵，正交矩阵具有单位正交列向量。

假设$U$是一个具有单位正交列的$m \times n$矩阵，且$x$和$y$是$\mathbb{R}^{n}$中的向量，那么：

1. $\parallel Ux\parallel=\parallel x\parallel$。
2. $(Ux)\cdot(Uy)=x\cdot y$。
3. $(Ux)\cdot(Uy)=0$的充分必要条件是$x\cdot y=0$。

6.3 正交投影

正交投影是子空间内部对子空间外一个向量的最佳逼近。

6.4 格拉姆-施密特方法

格拉姆-施密特方法是对$\mathbb{R}^{n}$中任何非零子空间构造正交基或标准正交基的简单算法。

对于$\mathbb{R}^{n}$的子空间$W$的一个基$\{x_1,\dots ,x_p\}$，定义

那么$\{v_1,\dots ,v_p\}$是$W$的一个正交基，标准正交基就是单位化的正交基。

如果$m\times n$矩阵$A$的列$x_1,\dots ,x_p$线性无关，那么应用格拉姆-施密特方法（包含单位化）于$x_1,\dots ,x_p$等同于对A做$QR分解$。

如果$m\times n$矩阵$A$列线性无关，那么$A$可以分解为$A=QR$，其中$Q$是一个$m\times n$矩阵，其列形成$A$的列空间的一个标准正交基，$R$是一个$n\times n$上三角可逆矩阵且在对角线上的元素为正数。

6.5 最小二乘问题

如果$m\times n$矩阵$A$和向量$b$属于$\mathbb{R}^{m}$，则$Ax=b$的最小二乘解是$\mathbb{R}^{n}$中的$\hat{x}$，使得$\parallel b-A\hat{x} \parallel \le \parallel b-Ax \parallel$对于所有$x\in \mathbb{R}^{n}$成立。一般对于无解的巨型线性方程组考虑用最小二乘法。

最小二乘法就是寻找$A$的列空间中最接近$b$的点。

方程$Ax=b$的每个最小二乘解集和法方程$A^{\top}Ax=A^{\top}b$的非空解集一致。$A^{\top}Ax=A^{\top}b$称为$Ax=b$的法方程，这个法方程的解用$\hat{x}$表示。

对于$m\times n$矩阵$A$，下列命题是等价的：

• 对于$\mathbb{R}^{m}$中的每个$b$，方程$Ax=b$有唯一的最小二乘解。
• A的列是线性无关的。
• 矩阵$A^{\top}A$是可逆的。

当这些条件成立时，$\hat{x}=(A^{\top}A)^{-1}A^{\top}b$。

对于$m\times n$矩阵$A$，它具有线性无关的列，取$A=QR$是它的QR分解，那么对于每一个属于$\mathbb{R}^{m}$的$b$，方程$Ax=b$有唯一的最小二乘解，其解为$\hat{x}=R^{-1}Q^{\top}b$。

6.6 线性模型中的应用

6.7 内积空间

6.8 内积空间的应用

第7章 对称矩阵和二次型

7.1 对称矩阵的对角化

如果$A$是对称矩阵，那么不同特征空间的任意两个特征向量是正交的。

一个$n\times n$矩阵$A$可正交对角化的充分必要条件是$A$是对称矩阵。

谱定理：一个对称的$n\times n$矩阵$A$具有下述性质：

1. $A$有$n$各实特征值，包含重复的特征值。
2. 对每一个特征值$\lambda$，对应的特征空间的维数等于$\lambda$作为特征方程的根的重数。
3. 特征空间互相正交，这种正交性是在特征向量对应于不同特征值意义下成立的。
4. $A$可正交对角化。

谱分解：假设$A=PDP^{-1}$，其中$P$的列是$A$的单位正交特征向量$u_1,\dots ,u_n$，且相应的特征值$\lambda_1,\dots ,\lambda_n$属于对角矩阵$D$，那么由于$P^{-1}=P^{\top}$，故

故$A=\lambda_1 u_1 u_1^{\top}+\lambda_2 u_2 u_2^{\top}+\dots+\lambda_n u_n u_n^{\top}$。

由于它将$A$分解为由$A$的谱（特征值）确定的小块，因此这个$A$的表示就称为$A$的谱分解。式中的每一项都是一个秩为1的$n\times n$矩阵。

7.2 二次型

$\mathbb{R}^{n}$上的一个二次型是一个定义在$\mathbb{R}^{n}$上的函数，它在向量$x$处的值可由表达式$Q(x)=x^{\top}Ax$计算，其中$A$是一个$n\times n$对称矩阵，矩阵$A$称为关于二次型的矩阵。

二次型的交叉乘积项可以通过用适当的变量代换来消去。

主轴定理：设$A$是一个$n\times n$对称矩阵，那么存在一个正交变量代换$x=Py$，它将二次型$x^{\top}Ax$变换为不含交叉乘积项的二次型$y^{\top}Dy$。$P$的列称为二次型$x^{\top}Ax$的主轴。

二次型的分类：一个二次型$Q$是：

1. 正定的，如果对于所有$x\ne 0$，有$Q(x)>0$。
2. 负定的，如果对于所有$x\ne 0$，有$Q(x)<0$。
3. 不定的，如果$Q(x)$既有正值又有负值。
4. 半正定的，如果对于所有$x$，有$Q(x)\ge 0$。
5. 半负定的，如果对于所有$x$，有$Q(x)\le 0$。

二次型与特征值（矩阵的正定性同理）：设$A$是一个$n\times n$对称矩阵，那么一个二次型$x^{\top}Ax$是：

1. 正定的，当且仅当$A$的所有特征值是正数。
2. 负定的，当且仅当$A$的所有特征值是负数。
3. 不定的，当且仅当$A$既有正特征值，又有负特征值。
4. 半正定的，当且仅当$A$的所有特征值是非负数。
5. 半负定的，当且仅当$A$的所有特征值是非正数。

7.3 条件优化

7.4 奇异值分解

不是所有矩阵都能分解成$A=PDP^{-1}$，且$D$是对角的。但是分解$A=QDP^{-1}$对于任何矩阵都有可能，奇异值分解（SVD）。

涉及了条件数、伪逆等。

7.5 图像处理和统计学中的应用

第8章 向量空间的几何学

8.1 仿射组合

一个向量的仿射组合是线性组合的一种特殊形式，给定$\mathbb{R}^{n}$中向量（或“点”）$v_1,v_2,\dots ,v_p$和标量$c_1,c_2,\dots ,c_p$，$v_1,v_2,\dots ,v_p$的一个仿射组合是线性组合$c_1 v_1 + c_2 v_2\dots +c_p v_p$，其权值满足$c_1 + c_2 +\dots + c_p=1$。

集合$S$中的所有仿射组合的集合称为$S$的仿射包（或仿射生成集），记为$aff\space S$。

$\mathbb{R}^{n}$中一个点$y$是$\mathbb{R}^{n}$中$v_1,v_2,\dots ,v_p$的一个仿射组合，当且仅当$y-v_1$是平移点$v_2-v_1,\dots ,v_p-v_1$的线性组合。

如果对任意实数$t$，由$p,q\in S$得出$(1-t)p+tq\in S$，则集合$S$是仿射的。

当且仅当$S$中点的每一个仿射组合都属于$S$，集合$S$是仿射的。即当且仅当$S=aff\space S$，$S$是仿射的。

8.2 仿射无关性

设$\{v_1,\dots ,v_p\}$是$\mathbb{R}^{n}$中的一个指标点集，如果存在不全为0的实数$c_1,\dots ,c_p$，使得$c_1 +\dots + c_p=0$且$c_1 v_1 +\dots +c_p v_p=0$则称指标点集$\{v_1,\dots ,v_p\}$是仿射相关的，否则仿射无关。

8.3 凸组合

（各分量均）非负线性组合为凸组合。

一个集合中所有凸组合的集称为集合的凸包。

集合$S$是凸的，若对于每个$p,q\in S$，线段$pq$在$S$中。

集合$S$是凸集当且仅当$S$中的点的凸组合在$S$中。

8.4 超平面

超平面是指$n$维线性空间中维度为$n-1$的子空间，由非零线性函数等于常数表达。

超平面将一个空间分为不相交的两个半空间。

8.5 多面体

8.6 曲线和曲面