机器学习与人工智能

机器学习与人工智能是线性代数最”高产”的应用领域。本课程学过的矩阵、列空间、特征值、最小二乘，在这里几乎全部登场。

一、数据即矩阵

一份数据集天然是矩阵：

X = \begin{pmatrix} x_{11} & x_{12} & \cdots & x_{1d} \\ x_{21} & x_{22} & \cdots & x_{2d} \\ \vdots & \vdots & \ddots & \vdots \\ x_{n1} & x_{n2} & \cdots & x_{nd} \end{pmatrix}

回忆本课程学过的列空间与零空间： $X$ 的列空间刻画了”特征张成的信息子空间”。机器学习中大量方法（如 PCA）正是围绕这个空间做文章。

神经网络的一层就是仿射变换：

\mathbf{h} = \sigma(W\mathbf{x} + \mathbf{b})

深度学习 = 多层矩阵变换 + 非线性激活的复合。GPU 高效计算的核心就是大规模矩阵乘法——GPU 本质上是一台为并行矩阵运算而生的机器。

注意上表中的共同点：PCA 用特征分解、SVD 用奇异值、PageRank 用主特征向量——它们都是在问同一个问题：“这个矩阵最重要的方向是什么？“这正是特征向量与奇异向量的几何意义。

符号	类型	读音/说明	在本文中的含义
$X$	数学符号	X	数据集矩阵： $n$ 行样本 × $d$ 列特征
$x_{ij}$	数学符号	x i j	第 $i$ 个样本的第 $j$ 个特征
$n$	数学符号	n	样本个数
$d$	数学符号	d	特征个数
$W$	数学符号	W	权重矩阵，即线性变换
$\mathbf{b}$	数学符号	b	偏置向量，即平移
$\sigma$	数学符号	sigma	激活函数，引入非线性
$\mathbf{h}$	数学符号	h	神经网络某一层的输出
$X^T$	数学符号	X transpose	矩阵 $X$ 的转置
$U\Sigma V^T$	数学符号	U Sigma V transpose	矩阵 $A$ 的奇异值分解
$Q, K, V$	数学符号	Q K V	注意力机制中的查询、键、值矩阵

中文术语	英文术语	音标	说明
数据集	dataset	/ˈdeɪtəset/	样本与特征构成的矩阵 $X$
样本	sample	/ˈsɑːmpl/	矩阵的一行，一个数据点
特征	feature	/ˈfiːtʃə/	矩阵的一列，一个属性维度
神经网络	neural network	/ˈnjʊərəl ˈnetwɜːk/	多层矩阵变换与非线性激活的复合
权重矩阵	weight matrix	/weɪt ˈmeɪtrɪks/	线性变换的参数矩阵 $W$
偏置	bias	/ˈbaɪəs/	平移项 $\mathbf{b}$
激活函数	activation function	/ˌæktɪˈveɪʃən ˈfʌŋkʃən/	引入非线性的函数 $\sigma$
特征分解	eigendecomposition	/ˌaɪɡənˌdiːkɒmpəˈzɪʃən/	分解为特征向量与特征值
奇异值分解	singular value decomposition	/ˈsɪŋɡjələ ˈvæljuː ˌdiːkɒmpəˈzɪʃən/	$A = U\Sigma V^T$ ，用于降维与压缩
注意力机制	attention mechanism	/əˈtenʃən ˈmekənɪzəm/	基于 $Q/K/V$ 矩阵运算的加权机制
词向量	word embedding	/wɜːd ɪmˈbedɪŋ/	词的分布式向量表示
降维	dimensionality reduction	/daɪˌmenʃəˈnæləti rɪˈdʌkʃən/	用更少维度保留主要信息