数据科学与工程

数据科学的核心任务是从数据中提取信息，而工程系统每天都在处理图像、信号和测量数据。本课程学过的投影、列空间、奇异值与矩阵运算，正是这些任务的基本工具。

一、最小二乘：拟合一条直线

给定若干数据点，要找一条最佳拟合直线。误差用向量的长度衡量，最优解就是：

\mathbf{w} = (X^TX)^{-1}X^T\mathbf{y}

几何本质：把 $\mathbf{y}$ 投影到 $X$ 的列空间上（投影点 = 最佳逼近），这就是最小二乘的几何意义。本课程”列空间与零空间”一节学到的投影思想，正是数据拟合的数学内核。

图像即矩阵：灰度图直接就是一个像素矩阵；彩色图则是三个（R/G/B）矩阵。所有图像处理算法，本质上都是矩阵运算。

SVD 压缩：对图像矩阵做奇异值分解 $A = U\Sigma V^T$ ，只保留前 $k$ 个最大的奇异值（及其对应的奇异向量），就能用远少于原来的数据量近似还原原图—— $k$ 越小，压缩比越高，图像越模糊。

奇异值衡量的是”这个方向携带多少信息”。最大的几个奇异值对应的方向包含了图像的主要结构（明暗、轮廓），而小奇异值对应的大多是细节与噪声——丢掉它们，人眼几乎察觉不到差异。

卷积神经网络（CNN）中的卷积，是把一个小矩阵（卷积核）在图像矩阵上逐位置滑动，每个位置做一次”对应元素相乘再求和”的运算：

y_{ij} = \sum_{m,n} k_{mn} \cdot x_{i+m, j+n}

卷积核的作用方式与线性变换一致：局部加权求和、逐窗口滑动。训练 CNN 学到的正是这些卷积核矩阵——它们负责提取边缘、纹理等特征。

符号	类型	读音/说明	在本文中的含义
$\mathbf{y}$	数学符号	y	观测值向量（待拟合的目标）
$X$	数学符号	X	设计矩阵：每一行是一个样本的特征
$\mathbf{w}$	数学符号	w	拟合的权重向量
$X^T$	数学符号	X transpose	矩阵 $X$ 的转置
$(X^TX)^{-1}$	数学符号	X transpose X inverse	最小二乘正规方程中的逆矩阵
$U, \Sigma, V$	数学符号	U Sigma V	奇异值分解 $A = U\Sigma V^T$ 的三个因子
$\sigma_i$	数学符号	sigma i	第 $i$ 个奇异值，衡量对应方向的信息量
$k$	数学符号	k	压缩时保留的奇异值个数
$y_{ij}$	数学符号	y i j	卷积输出的第 $i$ 行第 $j$ 列像素
$k_{mn}$	数学符号	k m n	卷积核的第 $m$ 行第 $n$ 列权重
$x_{i+m, j+n}$	数学符号	x	图像中与卷积核窗口对应的像素