方向导数与梯度

有了可微性，函数在任意方向上的变化率就都有了统一定义。方向导数是全微分在某个单位方向上的投影，而梯度则把这无穷多个方向导数组织成了一个向量。

本章最重要的结论是：梯度方向是方向导数取最大值的方向，其模长就是最大方向导数。换句话说，梯度指出了函数「上升最快」的方向。应用部分会说明为什么优化算法要沿着梯度的反方向走，以及为什么在等高线上，梯度始终与等高线垂直。

把方向导数与梯度分开理解：前者是标量、依赖方向选择，后者是唯一的、与方向无关的向量。