特征向量与特征值

一、核心直觉：变换的”不动方向”

大多数向量经过线性变换后，方向会改变。但有些向量在变换后仍在同一条直线上——只是被拉长或压缩了。

这样的向量叫特征向量（eigenvector），拉长/压缩的倍数叫特征值（eigenvalue）：

$$M\mathbf{v} = \lambda \mathbf{v}$$

• $\mathbf{v}$ = 特征向量（方向不变）
• $\lambda$ = 特征值（伸缩倍数，是标量）

        M
v ──────────► 仍在这条直线上（只是拉长/压缩）
  方向不变

二、交互演示：找特征向量

操作与观察：

• “缩放 [[2,0],[0,3]]“：x 轴方向缩 2 倍、y 轴方向缩 3 倍 → 两个特征向量沿坐标轴
• “剪切 [[1,1],[0,1]]“：只有一个特征向量方向（沿 x 轴，λ=1）
• “对称 [[1,0.5],[0.5,1]]“：特征向量沿对角线方向
• “旋转 90°“：没有实特征向量——因为所有向量都被转走，没有向量保持方向

重点：紫色直线 = 特征方向；橙色 Mv 与紫色 v 共线，但长度是 λ 倍。

三、如何求解特征值

步骤 1：写出特征方程

从 $M\mathbf{v} = \lambda\mathbf{v}$ 出发：

$$(M - \lambda I)\mathbf{v} = \mathbf{0}$$

要让这个方程有非零解 $\mathbf{v}$，必须有：

$$\det(M - \lambda I) = 0$$

这就是特征方程（characteristic equation）。

步骤 2：解出 λ

对于 $M = \begin{pmatrix} a & b \\ c & d \end{pmatrix}$：

$$\det\begin{pmatrix} a - \lambda & b \\ c & d - \lambda \end{pmatrix} = (a-\lambda)(d-\lambda) - bc = 0$$

展开：

$$\lambda^2 - (a+d)\lambda + (ad - bc) = 0$$

用求根公式：

$$\lambda = \frac{(a+d) \pm \sqrt{(a+d)^2 - 4(ad-bc)}}{2}$$

判别式 $\Delta = (a+d)^2 - 4(ad-bc)$：

• $\Delta > 0$：两个不同实特征值
• $\Delta = 0$：一个重根
• $\Delta < 0$：无实特征值（如旋转矩阵）

步骤 3：回代求特征向量

把每个 $\lambda$ 代回 $(M - \lambda I)\mathbf{v} = \mathbf{0}$，解出特征向量方向。

例：M = [[1, 1], [0, 1]]（剪切）
特征方程：(1−λ)² = 0 → λ = 1（重根）
代入：(M − I)v = [[0, 1], [0, 0]]v = 0
得 v = (x, 0)，即沿 x 轴方向 → 特征向量 (1, 0)
几何：剪切把 x 方向上的向量保持不动 ✓

四、特征值的三条要点

1. $\lambda = 0$ 意味着什么？

   • $M\mathbf{v} = 0\mathbf{v} = \mathbf{0}$，即特征向量在零空间中
   • λ = 0 存在 ⟺ 矩阵奇异（det = 0）——和前面行列式的结论呼应

2. 特征向量不唯一

   • 同一特征值对应的特征向量有无数个（整条直线上都是）
   • 通常取单位向量作代表

3. 特征值的迹与行列式

   • 特征值之和 = 迹 $\text{tr}(M) = a + d$
   • 特征值之积 = 行列式 $\det(M) = ad - bc$
   • 这是快速验算的好方法

五、对角化：把矩阵变简单

如果矩阵有 $n$ 个线性无关的特征向量，把它们排成基，那么在这个基下矩阵变成对角矩阵：

$$M = B \Lambda B^{-1}, \quad \Lambda = \begin{pmatrix} \lambda_1 & 0 & \cdots \\ 0 & \lambda_2 & \cdots \\ \vdots & \vdots & \ddots \end{pmatrix}$$

其中 $B$ 的列是特征向量，$\Lambda$ 对角线是特征值。

好处：

• 对角矩阵运算极简单
• $M^k = B\Lambda^k B^{-1}$（求幂只需对角元素求幂）
• 许多科学计算、微分方程、图论问题都靠对角化

六、特征值在机器学习中的重要性

PCA 例子：数据集的协方差矩阵的特征向量指向”数据方差最大”的方向，按特征值大小排序，取前几个就是主成分——这就是降维的数学本质。

总结

本文出现的符号

中英对照