点积与对偶性

一、点积的代数定义

两个同维向量的点积（dot product） 是对应分量相乘再相加（结果是一个数）：

$$\mathbf{v} \cdot \mathbf{w} = \sum_{i=1}^{n} v_i w_i = v_1 w_1 + v_2 w_2 + \cdots + v_n w_n$$

例：v = (2, 3)，w = (4, 1)
v·w = 2×4 + 3×1 = 8 + 3 = 11

注意：点积的输入是两个向量，输出是一个标量（数）。

二、点积的几何意义：投影

点积还有一个完全等价的几何解释，用投影来理解：

$$\mathbf{v} \cdot \mathbf{w} = \|\mathbf{v}\| \times \|\mathbf{w}\| \times \cos\theta$$

其中 $\theta$ 是两个向量之间的夹角。

直观理解：把 $\mathbf{w}$ 投影到 $\mathbf{v}$ 的方向上（或反过来），点积 = ”$\mathbf{v}$ 的长度 × $\mathbf{w}$ 在 $\mathbf{v}$ 方向上的投影长度”。

重要结论：$\mathbf{v} \cdot \mathbf{w} = 0 \iff \mathbf{v} \perp \mathbf{w}$（垂直 ⟺ 点积为零）。

验证垂直：
v = (1, 0)，w = (0, 1)
v·w = 1×0 + 0×1 = 0  ✓ 两轴互相垂直

三、对偶性：点积的另一面

现在揭示一个深刻的事实：点积与线性变换是同一回事。

从”数 → 向量”的线性变换

考虑一个从二维空间到数轴的线性变换 $T: \mathbb{R}^2 \to \mathbb{R}$（输出是标量）。它的矩阵是 1×2 的行向量：

$$T\begin{pmatrix} x \\ y \end{pmatrix} = \begin{pmatrix} a & b \end{pmatrix}\begin{pmatrix} x \\ y \end{pmatrix} = ax + by$$

关键洞察：这个变换的结果，恰好等于一个向量与 $(x,y)$ 的点积：

$$\underbrace{ax + by}_{T(x,y)} = \underbrace{\begin{pmatrix} a \\ b \end{pmatrix}}_{\text{一个向量}} \cdot \begin{pmatrix} x \\ y \end{pmatrix}$$

为什么这对点积重要

这解释了为什么点积是对称的（$v \cdot w = w \cdot v$）且可以互换投影方向——因为投影本质上是一个线性变换，而这个变换可以用一个向量编码。点积和线性变换是同一枚硬币的两面。

四、点积在机器学习中的意义

相似度度量：两个向量点积越大，表示它们”越同向”（越相似）。

注意力机制的例子：$Q \cdot K^T$ 正是点积——它衡量”查询”与”键”的相似度，相似度越高，注意力权重越大。这与”投影长度 = 相似度”的几何直觉完全一致。

五、点积运算的性质

总结

本文出现的符号

中英对照