拉格朗日乘数法深度解析

拉格朗日乘数法的几何本质

核心思想：在约束极值点处，目标函数的梯度与约束曲面的法向量平行。

几何解释：考虑目标函数 $f(x,y)$ 的等值线 $f=c$ 和约束曲线 $g(x,y)=0$ 。在极值点处，等值线与约束曲线相切——如果不相切，沿约束曲线移动还能使 $f$ 值增大或减小。相切意味着两条曲线的法向量平行，即 $\nabla f \parallel \nabla g$ ，也就是 $\nabla f = -\lambda \nabla g$ 。

这就是拉格朗日函数 $L = f + \lambda g$ 的偏导数为零的来源： $\nabla L = \nabla f + \lambda \nabla g = 0$ 。

拉格朗日乘数的含义

定理1

乘数的灵敏度解释：设 $f^*(c)$ 是约束 $g(x,y)=c$ 下 $f$ 的极值，则

$\lambda = -\frac{df^*}{dc}$

即拉格朗日乘数 $\lambda$ （取负号后）表示约束右端项 $c$ 变化一个单位时，目标函数极值的变化率。

在经济学中， $\lambda$ 称为影子价格（shadow price），表示资源的边际价值。

几何解释

推论

证明

符号说明

例子：在预算约束 $p_1 x_1 + p_2 x_2 = I$ 下最大化效用 $U(x_1,x_2)$ ，拉格朗日乘数 $\lambda$ 表示收入的边际效用——收入增加1元时效用的增加量。这就是 $\lambda$ 的经济学含义。

不等式约束与KKT条件

定理2

对于不等式约束优化问题：

$\min f(x) \quad \text{s.t.} \quad g_i(x) \leq 0 \quad (i=1,\ldots,m)$

KKT条件（Karush-Kuhn-Tucker条件）是极值点的必要条件：

稳定性： $\nabla f(x^*) + \sum_{i=1}^m \lambda_i \nabla g_i(x^*) = 0$
原始可行性： $g_i(x^*) \leq 0$
对偶可行性： $\lambda_i \geq 0$
互补松弛： $\lambda_i g_i(x^*) = 0$

互补松弛条件意味着：如果约束 $g_i < 0$ （不起作用），则 $\lambda_i = 0$ ；如果 $\lambda_i > 0$ ，则 $g_i = 0$ （约束起作用）。

几何解释

推论

证明

符号说明

KKT条件的直觉：

对于不起作用的约束（ $g_i < 0$ ），它不影响极值，因此对应的乘数 $\lambda_i = 0$ 。
对于起作用的约束（ $g_i = 0$ ），它限制了优化方向，目标函数梯度必须是起作用约束梯度的非负线性组合（ $\lambda_i \geq 0$ 保证方向正确）。
KKT条件是等式约束拉格朗日乘数法向不等式约束的推广，是非线性规划的基础。

拉格朗日对偶

拉格朗日对偶函数

原问题： $\min f(x)$ s.t. $g_i(x) \leq 0, h_j(x)=0$

拉格朗日函数： $L(x, \lambda, \mu) = f(x) + \sum \lambda_i g_i(x) + \sum \mu_j h_j(x)$

对偶函数： $g(\lambda, \mu) = \inf_x L(x, \lambda, \mu)$

对偶问题： $\max_{\lambda \geq 0, \mu} g(\lambda, \mu)$

弱对偶定理：对偶问题的最优值 $\leq$ 原问题的最优值。

强对偶定理：在凸优化问题中（满足约束规范），对偶问题最优值 = 原问题最优值。

典型例题

例题1：影子价格的计算

在约束 $x + y = c$ 下最大化 $f(x,y) = xy$ ，求最优值 $f^*(c)$ 和拉格朗日乘数 $\lambda$ ，验证 $\lambda = -df^*/dc$ 。

参考答案(3 个标签)

拉格朗日乘数影子价格灵敏度

$L = xy + \lambda(x+y-c)$
$L_x = y+\lambda=0, L_y = x+\lambda=0$ ，得 $x=y=-\lambda$
代入约束： $2x=c$ ， $x=y=\frac{c}{2}$ ， $\lambda = -\frac{c}{2}$
最优值 $f^*(c) = \frac{c^2}{4}$
$\frac{df^*}{dc} = \frac{c}{2}$ ，而 $-\lambda = \frac{c}{2}$ ，验证了 $\lambda = -\frac{df^*}{dc}$

答案： $f^*(c)=\frac{c^2}{4}$ ， $\lambda=-\frac{c}{2}$ ，满足 $\lambda=-\frac{df^*}{dc}$ 。

例题2：KKT条件应用

用KKT条件求解 $\min f(x,y) = x^2 + y^2$ s.t. $x + y \geq 1$ 。

参考答案(3 个标签)

KKT条件不等式约束二次规划

标准化约束： $g(x,y) = 1 - x - y \leq 0$
$L = x^2+y^2 + \lambda(1-x-y)$
KKT条件：
- $\nabla L = (2x-\lambda, 2y-\lambda) = 0$ ⟹ $x=y=\frac{\lambda}{2}$
- $1-x-y \leq 0$
- $\lambda \geq 0$
- $\lambda(1-x-y) = 0$
若 $\lambda=0$ ： $x=y=0$ ，但 $1-0-0=1>0$ ，违反约束可行性。
故 $\lambda>0$ ，由互补松弛 $1-x-y=0$ ，即 $x+y=1$
结合 $x=y=\frac{\lambda}{2}$ ： $2\cdot\frac{\lambda}{2}=1$ ， $\lambda=1$ ， $x=y=\frac{1}{2}$
最小值 $f(\frac{1}{2},\frac{1}{2}) = \frac{1}{2}$

答案：最小值为 $\frac{1}{2}$ ，在 $(\frac{1}{2},\frac{1}{2})$ 处取得。

总结

本文出现的符号

符号	类型	读音/说明	在本文中的含义
$\lambda$	拉格朗日乘数	lambda	等式/不等式约束的乘数
$\mu$	乘数	mu	等式约束的乘数
$L$	拉格朗日函数	Lagrangian	拉格朗日函数
$g(\lambda,\mu)$	对偶函数	dual function	拉格朗日对偶函数
$f^*$	最优值	optimal value	约束优化的最优值
$c$	约束右端	constraint RHS	约束条件的右端项

中英对照

中文术语	英文术语	音标
拉格朗日乘数法	Lagrange multiplier method	/ləˈɡrɑːndʒ ˈmʌltɪplaɪər ˈmɛθəd/
KKT条件	KKT conditions	/ˌkeɪ keɪ ˈtiː kənˈdɪʃənz/
影子价格	shadow price	/ˈʃædoʊ praɪs/
互补松弛	complementary slackness	/ˌkɒmplɪˈmɛntəri ˈslæknəs/
对偶理论	duality theory	/djuːˈæləti ˈθɪəri/
弱对偶	weak duality	/wiːk djuːˈæləti/
强对偶	strong duality	/strɒŋ djuːˈæləti/
不等式约束	inequality constraint	/ˌɪnɪˈkwɒləti kənˈstreɪnt/
起作用约束	active constraint	/ˈæktɪv kənˈstreɪnt/
灵敏度分析	sensitivity analysis	/ˌsɛnsəˈtɪvəti əˈnæləsɪs/
非线性规划	nonlinear programming	/ˌnɒnˈlɪniər ˈproʊɡræmɪŋ/
凸优化	convex optimization	/ˈkɒnvɛks ˌɒptɪmaɪˈzeɪʃən/

上一章节黑塞矩阵与极值理论深入深入探讨黑塞矩阵的性质、正定性判定、泰勒展开与极值的关系，以及约束条件下的二阶条件。

下一章节隐函数定理深入学习隐函数定理的内容、证明思路、几何意义，以及在方程组和反函数中的应用。