梯度

梯度的定义

梯度

设函数 $z = f(x, y)$ 在点 $(x, y)$ 处具有一阶偏导数，则称向量

$\nabla f(x, y) = \left( \frac{\partial f}{\partial x}, \frac{\partial f}{\partial y} \right) = f_x \vec{i} + f_y \vec{j}$

为函数 $f(x, y)$ 在点 $(x, y)$ 处的梯度，记作 $\nabla f$ 或 $\text{grad}\, f$ 。

其中 $\nabla = \left( \frac{\partial}{\partial x}, \frac{\partial}{\partial y} \right)$ 称为哈密顿算子（Nabla 算子）。

对于三元函数 $u = f(x, y, z)$ ，梯度为：

$\nabla f = \left( \frac{\partial f}{\partial x}, \frac{\partial f}{\partial y}, \frac{\partial f}{\partial z} \right)$

梯度的模为：

$|\nabla f| = \sqrt{f_x^2 + f_y^2} \quad \text{（二元）}, \quad |\nabla f| = \sqrt{f_x^2 + f_y^2 + f_z^2} \quad \text{（三元）}$

梯度与方向导数的关系

定理1

设函数 $f$ 在点 $P$ 处可微， $\vec{l}$ 是任意单位方向向量，则方向导数可以表示为梯度与方向向量的内积：

$\frac{\partial f}{\partial l} = \nabla f \cdot \vec{l} = |\nabla f| \cos\theta$

其中 $\theta$ 是梯度 $\nabla f$ 与方向 $\vec{l}$ 之间的夹角。

几何解释

推论

证明

符号说明

梯度的核心性质：

梯度方向是函数值增长最快的方向（最速上升方向），此时 $\cos\theta = 1$ ，方向导数取得最大值 $|\nabla f|$ 。
梯度的反方向是函数值下降最快的方向（最速下降方向），此时方向导数取得最小值 $-|\nabla f|$ 。
梯度的模是最大方向导数的值，即函数在该点的最大变化率。
当方向与梯度垂直时，方向导数为0，函数值沿该方向不变。

这就是梯度下降法（Gradient Descent）的数学基础——沿梯度反方向更新参数可以最快地减小目标函数值。

梯度的几何意义

梯度的几何解释

二元函数：梯度 $\nabla f(x_0, y_0)$ 是等值线 $f(x,y) = f(x_0,y_0)$ 在点 $(x_0,y_0)$ 处的法向量，指向函数值增大的方向。
三元函数：梯度 $\nabla f(x_0, y_0, z_0)$ 是等值面 $f(x,y,z) = f(x_0,y_0,z_0)$ 在该点处的法向量，指向函数值增大的方向。

直观理解：想象一座山，等高线就是等值线。梯度方向垂直于等高线，指向山顶（函数值增大的方向），沿这个方向爬山最陡。梯度的模表示山的陡峭程度——模越大，山越陡。

梯度的基本性质

定理2

线性性： $\nabla(af + bg) = a\nabla f + b\nabla g$
乘积法则： $\nabla(fg) = f\nabla g + g\nabla f$
商法则： $\nabla\left(\frac{f}{g}\right) = \frac{g\nabla f - f\nabla g}{g^2}$ （ $g \neq 0$ ）
复合函数： $\nabla F(f) = F'(f)\nabla f$

几何解释

推论

证明

符号说明

典型例题

例题1：求梯度

求 $f(x, y) = x^2 + y^2$ 在点 $(1, 2)$ 处的梯度，并求沿梯度方向的方向导数。

参考答案(3 个标签)

梯度方向导数最速上升

$\nabla f = (2x, 2y)$ ，在 $(1,2)$ 处 $\nabla f = (2, 4)$
梯度方向的单位向量： $\vec{l}^0 = \frac{(2,4)}{\sqrt{4+16}} = (\frac{1}{\sqrt{5}}, \frac{2}{\sqrt{5}})$
沿梯度方向的方向导数 = $|\nabla f| = \sqrt{4+16} = 2\sqrt{5}$
验证： $\frac{\partial f}{\partial l} = 2\cdot\frac{1}{\sqrt{5}} + 4\cdot\frac{2}{\sqrt{5}} = \frac{10}{\sqrt{5}} = 2\sqrt{5}$

答案：梯度为 $(2,4)$ ，沿梯度方向的方向导数为 $2\sqrt{5}$ （最大值）。

例题2：三元函数的梯度

求 $u = x^2 + 2y^2 + 3z^2 + xy + 3x - 2y - 6z$ 在点 $P(1,1,1)$ 处的梯度的模和方向余弦。

参考答案(3 个标签)

梯度三元函数方向余弦

$u_x = 2x + y + 3$ ， $u_y = 4y + x - 2$ ， $u_z = 6z - 6$
在 $(1,1,1)$ 处： $u_x = 6$ ， $u_y = 3$ ， $u_z = 0$
$\nabla f = (6, 3, 0)$ ， $|\nabla f| = \sqrt{36+9} = 3\sqrt{5}$
方向余弦： $\cos\alpha = \frac{6}{3\sqrt{5}} = \frac{2}{\sqrt{5}}$ ， $\cos\beta = \frac{3}{3\sqrt{5}} = \frac{1}{\sqrt{5}}$ ， $\cos\gamma = 0$

答案：梯度的模为 $3\sqrt{5}$ ，方向余弦为 $(\frac{2}{\sqrt{5}}, \frac{1}{\sqrt{5}}, 0)$ 。

例题3：等值线的法向量

求函数 $f(x,y) = \frac{x^2}{a^2} + \frac{y^2}{b^2}$ 在点 $(a, b)$ 处的梯度，并说明其与等值线的关系。

参考答案(4 个标签)

梯度等值线法向量椭圆

$f_x = \frac{2x}{a^2}$ ， $f_y = \frac{2y}{b^2}$
在 $(a,b)$ 处： $\nabla f = (\frac{2}{a}, \frac{2}{b})$
过 $(a,b)$ 的等值线为 $\frac{x^2}{a^2}+\frac{y^2}{b^2} = 2$ （椭圆）
梯度 $(\frac{2}{a}, \frac{2}{b})$ 是该椭圆在 $(a,b)$ 处的法向量，指向函数值增大的方向（椭圆外部）。

答案：梯度为 $(\frac{2}{a}, \frac{2}{b})$ ，是等值线（椭圆）在该点的法向量。

练习题

练习1

求 $f(x,y) = \ln(x^2 + y^2)$ 在点 $(1, 1)$ 处的梯度。

参考答案(2 个标签)

梯度对数函数

$f_x = \frac{2x}{x^2+y^2}$ ， $f_y = \frac{2y}{x^2+y^2}$
在 $(1,1)$ 处： $f_x = f_y = 1$
$\nabla f = (1, 1)$

答案：梯度为 $(1,1)$

练习2

求函数 $u = xy^2 z^3$ 在点 $(1, 1, 1)$ 处变化最快的方向及最大变化率。

参考答案(3 个标签)

梯度最速上升最大变化率

$u_x = y^2z^3$ ， $u_y = 2xyz^3$ ， $u_z = 3xy^2z^2$
在 $(1,1,1)$ 处： $\nabla f = (1, 2, 3)$
变化最快的方向即梯度方向 $(1,2,3)$
最大变化率 = $|\nabla f| = \sqrt{1+4+9} = \sqrt{14}$

答案：变化最快的方向为 $(1,2,3)$ ，最大变化率为 $\sqrt{14}$ 。

总结

本文出现的符号

符号	类型	读音/说明	在本文中的含义
$\nabla f$	梯度	gradient of f / nabla f	函数 f 的梯度
$\text{grad}\, f$	梯度	grad f	梯度的另一种记法
$\nabla$	哈密顿算子	nabla / del	微分算子 $(\frac{\partial}{\partial x}, \frac{\partial}{\partial y})$
$	\nabla f	$	梯度的模
$\theta$	夹角	theta	梯度与方向向量的夹角

中英对照

中文术语	英文术语	音标
梯度	gradient	/ˈɡreɪdiənt/
哈密顿算子	nabla operator / del operator	/ˈnæblə ˈɒpəreɪtər/
最速上升方向	direction of steepest ascent	/stəˈpəst əˈsɛnt/
最速下降方向	direction of steepest descent	/stəˈpəst dɪˈsɛnt/
法向量	normal vector	/ˈnɔːrməl ˈvɛktər/
等值线	level curve / contour	/ˈlɛvəl kɜːrv/
等值面	level surface	/ˈlɛvəl ˈsɜːrfɪs/
内积	dot product / inner product	/dɒt ˈprɒdʌkt/
梯度下降法	gradient descent	/ˈɡreɪdiənt dɪˈsɛnt/

上一章节方向导数学习方向导数的定义、存在条件、计算公式，以及方向导数与偏导数的关系。

下一章节梯度的应用学习梯度在等值线/等值面法向量、最速下降法、物理场中的应用。