特征向量与特征值

一、核心直觉：变换的”不动方向”

大多数向量经过线性变换后，方向会改变。但有些向量在变换后仍在同一条直线上——只是被拉长或压缩了。

这样的向量叫特征向量（eigenvector），拉长/压缩的倍数叫特征值（eigenvalue）：

M\mathbf{v} = \lambda \mathbf{v}

        M
v ──────────► 仍在这条直线上（只是拉长/压缩）
  方向不变

几何直觉：特征向量是变换的”骨架”——它们揭示了变换”沿着哪些方向只是伸缩、不发生转动”。找到特征向量，就抓住了变换的本质。

操作与观察：

重点：紫色直线 = 特征方向；橙色 Mv 与紫色 v 共线，但长度是 λ 倍。

从 $M\mathbf{v} = \lambda\mathbf{v}$ 出发：

(M - \lambda I)\mathbf{v} = \mathbf{0}

要让这个方程有非零解 $\mathbf{v}$ ，必须有：

\det(M - \lambda I) = 0

这就是特征方程（characteristic equation）。

对于 $M = \begin{pmatrix} a & b \\ c & d \end{pmatrix}$ ：

\det\begin{pmatrix} a - \lambda & b \\ c & d - \lambda \end{pmatrix} = (a-\lambda)(d-\lambda) - bc = 0

展开：

\lambda^2 - (a+d)\lambda + (ad - bc) = 0

用求根公式：

\lambda = \frac{(a+d) \pm \sqrt{(a+d)^2 - 4(ad-bc)}}{2}

判别式 $\Delta = (a+d)^2 - 4(ad-bc)$ ：

把每个 $\lambda$ 代回 $(M - \lambda I)\mathbf{v} = \mathbf{0}$ ，解出特征向量方向。

例：M = [[1, 1], [0, 1]]（剪切）
特征方程：(1−λ)² = 0 → λ = 1（重根）
代入：(M − I)v = [[0, 1], [0, 0]]v = 0
得 v = (x, 0)，即沿 x 轴方向 → 特征向量 (1, 0)
几何：剪切把 x 方向上的向量保持不动 ✓

$\lambda = 0$ 意味着什么？
- $M\mathbf{v} = 0\mathbf{v} = \mathbf{0}$ ，即特征向量在零空间中
- λ = 0 存在 ⟺ 矩阵奇异（det = 0）——和前面行列式的结论呼应
特征向量不唯一
- 同一特征值对应的特征向量有无数个（整条直线上都是）
- 通常取单位向量作代表
特征值的迹与行列式
- 特征值之和 = 迹 $\text{tr}(M) = a + d$
- 特征值之积 = 行列式 $\det(M) = ad - bc$
- 这是快速验算的好方法

如果矩阵有 $n$ 个线性无关的特征向量，把它们排成基，那么在这个基下矩阵变成对角矩阵：

M = B \Lambda B^{-1}, \quad \Lambda = \begin{pmatrix} \lambda_1 & 0 & \cdots \\ 0 & \lambda_2 & \cdots \\ \vdots & \vdots & \ddots \end{pmatrix}

其中 $B$ 的列是特征向量， $\Lambda$ 对角线是特征值。

好处：

核心结论：

PCA 例子：数据集的协方差矩阵的特征向量指向”数据方差最大”的方向，按特征值大小排序，取前几个就是主成分——这就是降维的数学本质。

下一节：抽象向量空间，把”向量”推广到更一般的对象。