拉格朗日对偶性详解(手推笔记)

个人原创笔记,转载请附上本文链接。


拉格朗日对偶性其实也没有那么难理解,在我梳理过后你会发现也就是那一回事罢了。


 原始问题 P

我们的 原始优化问题 表述出来就是: 的可行域内,找到使得目标函数  的最小值,以及 取最小值时候的优化变量  。

把  最小值记作 ,同时  使得 。这两个就是我们想要求出的解。

原始问题使用数学语言表达形式见下图。


 拉格朗日极小极大问题 P'

我们首先引入了拉格朗日函数。函数见图片中 公式② 

 我们提出的 拉格朗日极小极大问题:希望在  和  在取极大值的情况下,使得整个式子的值最小。其表达式见下图 公式③

通过上面证明,我们发现,我们所研究的 原始问题 P 实际上就是与 拉格朗日极小极大问题 P' 等价的(也就是他们的解都是相同的)。我们只要记住这一点即可!


拉格朗日极大极小问题 D

这时候,就出现了 “对偶” 的概念了。拉格朗日极大极小问题D 就是 拉格朗日极小极大问题 的对偶问题,也即是,拉格朗日极大极小问题D 就是 原始问题 的对偶问题。(因为原始问题 P 实际上就是与 拉格朗日极小极大问题 P' 等价的

别被绕晕了哈!其实不难的。

拉格朗日极大极小问题的表达式见下图 公式④



探究 d* 与 p* 之间的关系

我们通过对  的范围限定,可以推导出 说明:对偶问题的最优解为原问题的最优解提供了一个下限!


什么时候 d* = p* ?

  •   为 强对偶性
  •   为 弱对偶性

只有在这两个条件下才满足强对偶性!


KKT条件

当问题满足强对偶性时,我们就可以利用KKT条件,列出下面的方程组求解。

 总结

本文链接:https://my.lmcjl.com/post/7854.html

展开阅读全文

4 评论

留下您的评论.