线性代数应用全景

一、为什么线性代数无处不在

线性代数是现代科技的通用语言。从机器学习到游戏渲染,从卫星导航到搜索引擎,底层都是矩阵运算。原因在于:现实世界的大量关系可以近似为”线性”关系,而线性关系可以用矩阵优雅地表示和计算

二、机器学习与人工智能

1. 数据即矩阵

一份数据集天然是矩阵:

X=(x11x12x1dx21x22x2dxn1xn2xnd)X = \begin{pmatrix} x_{11} & x_{12} & \cdots & x_{1d} \\ x_{21} & x_{22} & \cdots & x_{2d} \\ \vdots & \vdots & \ddots & \vdots \\ x_{n1} & x_{n2} & \cdots & x_{nd} \end{pmatrix}
  • 每行 = 一个样本,每列 = 一个特征
  • 行空间、列空间直接对应数据的结构

2. 神经网络 = 矩阵运算链

神经网络的一层就是仿射变换

h=σ(Wx+b)\mathbf{h} = \sigma(W\mathbf{x} + \mathbf{b})
  • WW = 权重矩阵(线性变换)
  • b\mathbf{b} = 偏置(平移)
  • σ\sigma = 激活函数(非线性)

深度学习 = 多层矩阵变换 + 非线性激活的复合。GPU 高效计算的核心就是大规模矩阵乘法

3. 具体模型

模型/技术用到的线性代数
线性回归最小二乘解 w=(XTX)1XTy\mathbf{w} = (X^TX)^{-1}X^T\mathbf{y}
主成分分析 PCA协方差矩阵的特征分解
SVD 奇异值分解任意矩阵分解为 UΣVTU\Sigma V^T,用于降维/压缩
注意力机制Query/Key/Value 的矩阵运算
Word2Vec 词向量词的分布式向量表示
PageRank邻接矩阵主特征向量迭代

三、计算机图形学

3D 变换

物体的缩放、旋转、平移全部用矩阵表示:

p=M投影M旋转M平移p\mathbf{p}' = M_{\text{投影}} \cdot M_{\text{旋转}} \cdot M_{\text{平移}} \cdot \mathbf{p}
  • 齐次坐标:用 4×4 矩阵统一表示变换(含平移)
  • 法向量计算:叉积求平面法线
  • 相机变换:把世界坐标转到相机坐标

渲染管线的每一步(模型变换 → 视图变换 → 投影 → 裁剪)都是一连串矩阵乘法,GPU 并行处理。

四、物理与工程

领域线性代数的角色
力学力、速度、加速度都是向量;动量、角动量用叉积
量子力学态矢量 = 希尔伯特空间的向量;可观测 = 算符(矩阵)
结构工程有限元分析 = 求解大型线性方程组
电路分析节点电压法 = 解线性方程组
控制理论状态空间表示 = 矩阵微分方程
信号处理傅里叶变换 = 换到频率基

五、数据科学与工程

最小二乘:拟合一条直线

给定若干数据点,要找一条最佳拟合直线。误差用向量的长度衡量,最优解就是:

w=(XTX)1XTy\mathbf{w} = (X^TX)^{-1}X^T\mathbf{y}

几何本质:把 y\mathbf{y} 投影到 XX 的列空间上(投影点 = 最佳逼近),这就是最小二乘的几何意义。

图像处理

  • 一张图像 = 一个矩阵(像素值)
  • 图像压缩:SVD 取前 k 个奇异值(保留主要信息)
  • 卷积 = 滑动窗口的矩阵运算

六、一张图看全线性代数

向量(箭头/数组/函数)
   ↓ 加法、数乘
线性组合 → 张成空间 → 基 → 维度

线性变换(矩阵)→ 矩阵乘法(复合)

行列式(面积缩放)→ 零 → 奇异

逆矩阵(反向变换)→ 列空间/零空间 → 秩(维数定理)

点积(投影/对偶)→ 叉积(面积/法向)

基变换(换坐标)→ 特征向量/特征值(变换骨架)→ 对角化

应用于:机器学习、图形学、物理、工程、数据科学

七、继续学习建议

方向建议
深入理论3Blue1Brown《线性代数的本质》全套
机器学习学习矩阵分解(SVD、QR)、凸优化
数值计算学习求解大型线性方程组的高效算法
图形学学习齐次坐标、四元数、投影矩阵
进阶教材线性代数(Gilbert Strang)、线性代数应该这样学(Axler)

小结

  • 线性代数是机器学习、图形学、物理、工程的通用语言
  • 数据是矩阵、神经网络是矩阵变换链、渲染是矩阵乘法
  • 最小二乘 = 投影到列空间;PCA = 特征分解
  • 整个学科的脉络:向量 → 变换 → 度量 → 骨架 → 抽象 → 应用
  • 掌握几何直觉 + 代数工具,即可进入任何依赖线性代数的领域

恭喜完成《线性代数可视化入门》全部课程! 🎉