A Lagrangian Duality Approach to Active Learning
University of Pennsylvania(宾夕法尼亚大学)
我们考虑基于池的主动学习问题,其中只有一个子集的训练数据被标记,目标是查询一批未标记的样本进行标记,以最大限度地提高模型的性能。我们使用约束学习来制定问题,其中一组约束约束限制了模型在标记样本上的性能。考虑原始-对偶方法,我们优化原始变量,对应于模型参数,以及对偶变量,对应于约束条件。由于每个对偶变量表示相应约束的扰动对目标函数的最优值的影响有多显著,因此我们将其用作相应训练样本的信息量的代理。我们的方法,我们称之为通过拉格朗日对偶的主动学习,或ALLY,利用这一事实来选择具有最高估计对偶变量的未标记样本的不同集合作为我们的查询集。我们展示了我们的方法在各种分类和回归任务中的好处,并讨论了它的局限性,这取决于所使用的模型的容量和数据集中的冗余程度。我们还研究了主动采样引起的分布偏移的影响,并表明ALLY可以用于生成模式,以创建新的,最大信息量的样本。
2022-10-29 cs.LG math.OC
A Primal-Dual-Critic Algorithm for Offline Constrained Reinforcement Learning
University of Michigan(密歇根大学)
本文提出PDCA算法,通过在评论家估计的拉格朗日函数上运行原始-对偶算法解决离线约束强化学习问题,仅需可集中性和可实现性假设即可实现样本高效学习并找到近似最优鞍点。
2023-10-19 cs.LG stat.ML
Super-Linear Convergence of Dual Augmented-Lagrangian Algorithm for Sparsity Regularized Estimation
The University of Tokyo(东京大学);Tokyo Institute of Technology(东京工业大学)
我们分析了最近提出的正则化估计算法称为双增广拉格朗日(DAL)的收敛行为。我们的分析是基于一个新的解释DAL作为一个近端最小化算法。在一定条件下,我们证明了DAL在非渐近和全局意义下超线性收敛。由于在机器学习的背景下稀疏估计问题的特殊建模,我们所做的假设比传统的增广拉格朗日算法分析中所做的假设更温和,更自然。此外,新的解释使我们能够推广DAL各种稀疏估计问题。我们实验证实我们的分析在一个大规模的$\ell_1$正则化逻辑斯谛回归问题,并广泛比较DAL算法的效率,以前提出的算法在合成和基准数据集。
2011-01-02 cs.LG stat.ME stat.ML
A dual semismooth Newton based augmented Lagrangian method for large-scale linearly constrained sparse group square-root Lasso problems
Southwest Jiaotong University(西南交通大学);Zhejiang University City College(浙江大学城市学院)
平方根Lasso问题被证明是鲁棒回归问题。此外,具有结构稀疏性的平方根回归问题在统计和机器学习中也起着重要的作用。本文主要研究大规模线性约束稀疏群平方根Lasso问题的数值计算。为了克服目标函数中存在两个非光滑项的困难,提出了一种基于对偶半光滑牛顿(SSN)的增广拉格朗日方法(ALM),即把ALM应用于子问题由SSN方法求解的对偶问题。应用SSN方法时,广义雅可比矩阵的正定性是非常重要的。因此,我们刻画了它的正定性与相应原问题的约束非退化条件的等价性。在数值实现中,我们充分利用了二阶稀疏性,从而可以有效地获得牛顿方向。数值实验证明了该算法的有效性。
2021-11-27 cs.LG cs.NA math.NA
Lagrangian dual framework for conservative neural network solutions of kinetic equations
Pohang University of Science and Technology(浦项科技大学);Korea Advanced Institute of Science and Technology(韩国科学技术院)
在本文中,我们提出了一种新的保守的制定解决动力学方程,通过神经网络。更准确地说,我们制定的学习问题作为一个约束最优化问题的约束,代表物理守恒定律。通过拉格朗日对偶性,将约束条件向剩余损失函数方向放宽。通过施加物理守恒性质的解决方案的学习问题的约束,我们证明了更准确的近似的解决方案的误差和守恒定律,动力学福克-普朗克方程和齐次玻尔兹曼方程。
2021-06-23 cs.LG cs.NA math.NA
Differentially Private and Fair Deep Learning: A Lagrangian Dual Approach
Syracuse University(雪城大学);Georgia Institute of Technology(佐治亚理工学院)
数据驱动决策的一个关键问题是建立模型,其结果不会歧视某些人口群体,包括性别,种族或年龄。为了确保学习任务中的不歧视,了解敏感属性是必不可少的,而在实践中,由于法律和道德要求,这些属性可能无法提供。为了应对这一挑战,本文研究了一个模型,保护个人的隐私敏感信息,同时也允许它学习非歧视性的预测。该方法依赖于差分隐私的概念和拉格朗日对偶的使用来设计神经网络,可以适应公平性约束,同时保证敏感属性的隐私。本文分析了准确性,隐私性和公平性之间的紧张关系,实验评估说明了所提出的模型在几个预测任务上的好处。
2020-09-26 cs.AI cs.CR cs.LG
Global exponential stability of primal-dual gradient flow dynamics based on the proximal augmented Lagrangian: A Lyapunov-based approach
University of Southern California(南加州大学)
针对一类带线性等式约束的非光滑复合最优化问题,利用基于Lyapunov的方法,建立了基于近似增广拉格朗日量的原始-对偶梯度流动力学的全局指数稳定性.当目标函数的可微部分是Lipschitz连续梯度的强凸函数,不可微部分是适当的、下半连续的和凸的,且线性约束中的矩阵是满行秩秩的时,结果成立.我们的二次李雅普诺夫函数推广最近的结果从强凸问题的仿射等式或不等式约束,以更广泛的一类复合最优化问题与非光滑正则化,它提供了一个最坏情况下的指数衰减率的下界。最后,我们使用计算实验来证明我们的收敛速度估计比现有的替代方案是不太保守的。
2019-10-02 cs.LG cs.SY eess.SY
CAFL-L: Constraint-Aware Federated Learning with Lagrangian Dual Optimization for On-Device Language Models
Purdue University(普渡大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出CAFL-L,一种基于拉格朗日对偶优化的约束感知联邦学习方法,通过动态调整训练超参数以适应设备级资源约束,在保持模型性能的同时显著降低内存与通信开销,适用于边缘设备部署。
2025-10-10 cs.CL cs.DC cs.LG
The Information Autoencoding Family: A Lagrangian Perspective on Latent Variable Generative Models
Stanford University(斯坦福大学)
已经提出了大量的目标来训练潜变量生成模型。我们发现,他们中的许多人是相同的原始优化问题的拉格朗日对偶函数。原始问题优化了潜在变量和可见变量之间的互信息,但受到精确建模数据分布和执行正确摊销推理的约束。通过选择最大化或最小化互信息,并选择不同的拉格朗日乘子,我们获得了不同的目标,包括InfoGAN,ALI/BiGAN,ALICE,CycleGAN,beta-VAE,对抗性自编码器,AVB,AS-VAE和InfoVAE。基于这一观察,我们提供了这类拉格朗日函数中所有训练目标所做的统计和计算权衡的详尽表征。接下来,我们提出了一个双重优化方法,我们优化模型参数以及拉格朗日乘子。该方法在优化信息和满足约束条件的前提下实现了Pareto最优解。
2018-07-08 cs.AI cs.LG stat.ML
On the Lagrangian Biduality of Sparsity Minimization Problems
University of California, Berkeley(加州大学伯克利分校);Johns Hopkins University(约翰斯·霍普金斯大学)
压缩感知的最新结果表明,在某些条件下,具有稀疏正则化的欠定线性方程组的解可以通过求解原始问题的凸松弛来精确地恢复。在这项工作中,我们提出了一种新的原始-对偶分析一类稀疏最小化问题。我们证明了拉格朗日双对偶(即,稀疏性最小化问题的拉格朗日对偶(Lagrangian dual)可用于导出有趣的凸松弛:$\ell_0$ -最小化问题的双对偶是$\ell_1$ -最小化问题;以及用于在结构化数据上强制群稀疏性的$\ell_{0,1}$ -最小化问题的双对偶是$\ell_{1,\infty}$ -最小化问题。分析提供了一种方法来计算每个实例的非平凡的下限(组)稀疏所需的解决方案。在实际应用中,双对偶松弛提高了应用于鲁棒人脸识别的基于稀疏性的分类框架的性能。
2012-01-18 cs.CV cs.LG stat.ML
Fast Approximations for Job Shop Scheduling: A Lagrangian Dual Deep Learning Method
Syracuse University(雪城大学);Georgia Institute of Technology(佐治亚理工学院)
作业车间调度问题(JSP)是一个典型的组合优化问题,在工业生产中经常被求解。它模拟了多个任务序列的最优调度,每个任务都在一个固定的操作顺序下,其中单个任务需要在指定的处理时间内独占访问预定的资源。该问题是NP难的,即使对于中等规模的实例也具有计算挑战性。受生产链中随机性增加的影响,本文探索了一种深度学习方法,以提供有效和准确的近似JSP。特别是,本文提出了一个深度神经网络架构的设计,利用问题的结构,其集成与拉格朗日对偶捕捉问题的约束条件,并进行后处理优化,以保证解决方案的可行性。由此产生的方法,称为JSP-DNN,从JSPLIB基准库的硬JSP实例进行评估。计算结果表明,JSP-DNN可以产生高质量的JSP近似值,而计算成本可以忽略不计。
2021-10-12 cs.AI cs.LG
Predicting AC Optimal Power Flows: Combining Deep Learning and Lagrangian Dual Methods
Georgia Institute of Technology(佐治亚理工学院);Syracuse University(雪城大学)
最优潮流(OPF)问题是电力电力系统优化的基本组成部分。它是非线性和非凸的,并计算发电机的功率和电压设定点,给定一组负载需求。无论是在实时研究中还是在大规模研究中,常常需要在各种条件下反复求解。由于电表前后的可再生能源,电力系统的随机性不断增加,这一需求进一步加剧。为了应对这些挑战,本文提出了一种OPF的深度学习方法。该学习模型利用了系统的先验状态(在实际应用中通常可用)中可用的信息,以及双拉格朗日方法来满足OPF中存在的物理和工程约束。所提出的模型进行了评估,对大量的现实电力系统。实验结果表明,该方法预测精度高,平均误差低至0.2%。此外,所提出的方法被证明可以提高广泛采用的OPF线性直流近似的精度至少两个数量级。
2019-12-03 cs.AI cs.LG eess.SP
Performance of Dual-Augmented Lagrangian Method and Common Spatial Patterns applied in classification of Motor-Imagery BCI
University of Trieste(的里雅斯特大学)
基于运动图像的脑机接口(MI-BCI)有可能成为神经康复的突破性技术,为患有神经元疾病和残疾的患者重建非肌肉沟通和命令,但也在临床实践之外,用于视频游戏控制和其他娱乐目的。然而,由于所使用的EEG信号的噪声性质,可靠的BCI系统需要用于特征优化和提取的专门程序。本文比较了两种方法,共同的空间模式与线性判别分析分类器(CSP-LDA),广泛用于脑机接口提取特征的运动想象(MI)任务,和双增广拉格朗日(DAL)框架与三种不同的正则化方法:组稀疏与行组(DAL-GLR),双谱(DAL-DS)和l1范数正则化(DAL-L1)。对7名健康受试者进行了测试,每名受试者进行5次BCI-MI。初步结果表明,DAL-GLR方法优于标准CSP-LDA,误分类误差降低6.9%(p值= 0.008),并证明了DAL框架对MI-BCI的优势。
2020-10-13 cs.AI cs.LG cs.NE
A Dual Perspective on Decision-Focused Learning: Scalable Training via Dual-Guided Surrogates
Harvard University(哈佛大学);University of California, Berkeley(加州大学伯克利分校)
本文提出双引导损失DGL,利用下游问题的对偶变量周期性地构建可微代理目标,在保持决策对齐的同时大幅减少组合优化器调用次数和训练时间,并在匹配、背包和最短路径等组合选择问题上验证了其有效性与可扩展性。
2025-11-07 cs.AI cs.LG
Air Quality Prediction with Physics-Guided Dual Neural ODEs in Open Systems
East China Normal University(华东师范大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对传统空气质量预测模型的计算负担、封闭系统假设及物理与数据驱动方法的不匹配问题,提出Air-DualODE双分支神经常微分方程模型,融合开放系统物理方程与数据驱动学习,在多空间尺度预测中取得最优性能。
2025-04-15 cs.LG physics.ao-ph physics.comp-ph
Unsupervised Deep Learning for AC Optimal Power Flow via Lagrangian Duality
University of California, Santa Cruz(加州大学圣克鲁兹分校)
非凸交流最优潮流是电力系统分析中的一个基本优化问题。传统求解器的计算复杂度通常很高,不适合实时操作的大规模网络。因此,基于深度学习的方法已经得到了广泛的关注,可以离线进行耗时的训练过程。监督学习方法可以产生一个可行的AC-OPF解决方案,具有小的最优性差距。然而,它们通常需要传统的求解器来生成训练数据集。提出了一种基于端到端无监督学习的AC-OPF框架。我们开发了一个深度神经网络来输出部分决策变量集,而其余变量则通过求解交流潮流方程来恢复。采用快速解耦潮流算法进一步减少计算时间。此外,我们建议使用修改的增广拉格朗日函数作为训练损失。根据约束违反的程度动态调整乘数。大量的数值试验结果证实了我们所提出的方法的优势,一些现有的方法。
2022-12-07 cs.LG cs.SY eess.SY