Asynchronous Probability Ensembling for Federated Disaster Detection
Federal University of Espirito Santo（埃庇鲁斯联邦大学）；Federal University of Rio Grande do Norte（北里奥格兰德联邦大学）；University of Minho（明赫大学）
本文提出基于异步概率聚合和反馈蒸馏的去中心化融合框架，解决联邦学习在异构CNN架构中的通信成本高和同步要求严格的问题，提升灾害图像识别性能。
2026-04-15 cs.LG
A bi-objective $ε$-constrained framework for quality-cost optimization in language model ensembles
IIIT Delhi（德里信息技术学院）
提出一种双目标ε约束框架，通过预算约束将质量-成本权衡转化为0/1背包问题，利用开源LLM集成，在提升响应质量的同时显著降低成本。
2023-12-26 cs.CL cs.LG cs.NE
Cooper: A Library for Constrained Optimization in Deep Learning
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）
Cooper 是一个开源库，通过实现多种基于拉格朗日的一阶更新方案，将约束优化算法与 PyTorch 的自动微分及深度学习架构无缝结合，适用于深度学习及一般非凸连续约束优化问题。
2025-04-01 cs.LG cs.MS
Constrained self-supervised method with temporal ensembling for fiber bundle detection on anatomic tracing data
Athinoula A. Martinos Center for Biomedical Imaging（阿瑟诺拉·A·马蒂诺斯生物医学成像中心）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；University of Rochester School of Medicine（罗切斯特大学医学院）；Wellcome Centre for Integrative Neuroimaging（惠康整合神经成像中心）；University of Oxford（牛津大学）；McLean Hospital（麦克莱恩医院）
解剖跟踪数据提供了详细的信息，对解决扩散MRI纤维束成像中的一些常见错误至关重要的脑回路。然而，由于切片失真、噪声和伪影的存在以及强度/对比度变化，跟踪数据上的纤维束的自动检测是具有挑战性的。在这项工作中，我们提出了一种具有自监督损失函数的深度学习方法，该方法考虑了基于解剖学的约束，以准确分割猕猴大脑示踪切片上的纤维束。此外，鉴于手动标签的可用性有限，我们使用半监督训练技术来有效地使用未标记的数据来提高性能，并使用位置约束来进一步减少误报。我们的方法对来自不同猕猴的看不见的切片的评估产生了有希望的结果，真阳性率为~0.90。我们方法的代码可以在https://github.com/v-sundaresan/fiberbundle_seg_tracing上找到。
2022-08-06 cs.CV cs.LG eess.IV
Fast Hyperparameter Optimization of Deep Neural Networks via Ensembling Multiple Surrogates
深度神经网络的性能关键取决于良好的超参数配置。贝叶斯优化是优化DNN超参数的强大框架。这些方法需要足够的评估数据来近似和最小化超参数的验证误差函数。然而，DNN昂贵的评估成本导致在有限的时间内评估数据很少，这大大降低了贝叶斯优化的效率。此外，以往的研究主要集中在使用完整的评估数据进行贝叶斯优化，而忽略了早期停止方法产生的中间评估数据。为了缓解评估数据不足的问题，我们提出了一种快速超参数优化方法HOIST，该方法利用完整和中间评估数据来加速DNN的超参数优化。具体来说，我们训练多个基本代理人收集信息的混合评估数据，然后结合所有的基本代理人使用加权装袋提供一个准确的合奏代理。我们的实证研究表明，HOIST在广泛的DNN上优于最先进的方法，包括前馈神经网络、卷积神经网络、递归神经网络和变分自编码器。
2021-07-21 cs.LG stat.ML
Constrained Multi-objective Bayesian Optimization through Optimistic Constraints Estimation
CUHK（香港中文大学）；Shenzhen University（深圳大学）；University of Chicago（芝加哥大学）；University at Albany, SUNY（纽约州立大学奥尔巴尼分校）
针对约束多目标优化问题，提出COMBOO算法，结合乐观约束估计与水平集主动学习，实现高效可行区域探索，并通过理论分析和实验验证其有效性。
2025-04-21 cs.LG stat.ME
Multi-objective Ranking via Constrained Optimization
Amazon（亚马逊）；University of Washington（华盛顿大学）
在本文中，我们介绍了一个增广拉格朗日为基础的方法，将多个目标（MO）的搜索排名算法。优化生产任务是建立生产排序模型的基本要求和现实要求。所提出的方法制定MO约束优化和解决问题的流行的Boosting框架-我们的工作的一个新的贡献。此外，我们提出了一个程序来设置所有的优化参数的问题。实验结果表明，该方法成功地实现了MO标准比现有的方法更有效。
2020-02-13 cs.IR cs.LG
On-line Non-Convex Constrained Optimization
时变非凸连续值非线性约束优化问题是一类基本问题。我们研究的条件，其中一个动量的正则化项允许跟踪局部最优解考虑一个常微分方程（ODE）。然后，我们推导出一个有效的算法的基础上的预估校正法，跟踪ODE解决方案。
2019-09-16 cs.LG cs.SY eess.SY
HUANet: Hard-Constrained Unrolled ADMM for Constrained Convex Optimization
Department of Electrical and Computer Engineering, University of Central Florida（电子与计算机工程系，中央佛罗里达大学）
HUANet通过展开ADMM迭代构建约束深度神经网络，解决约束凸优化问题，通过硬约束神经网络加速算法并促进收敛。
2026-10-02 cs.LG cs.SY eess.SY
Implicit Rate-Constrained Optimization of Non-decomposable Objectives
Google Research（谷歌研究院）
我们考虑一个流行的家庭的约束优化问题中出现的机器学习，涉及优化一个不可分解的评价指标与一定的阈值形式，同时限制另一个度量的兴趣。这样的问题的例子包括优化假阴性率在一个固定的假阳性率，优化精度在一个固定的召回率，优化区域下的精度召回率或ROC曲线等，我们的关键思想是制定一个率约束优化，表示阈值参数作为一个函数的模型参数通过隐函数定理。我们将展示如何使用标准的基于梯度的方法来解决由此产生的优化问题。基准数据集上的实验表明，我们提出的方法比现有的最先进的方法，这些问题的有效性。所提出的方法的代码可在https://github.com/google-research/google-research/tree/master/implicit_constrained_optimization上获得。
2021-07-29 cs.LG stat.ML
Clustering using Max-norm Constrained Optimization
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们建议使用最大范数作为凸代理约束聚类。我们展示了如何产生一个更好的准确的集群恢复保证比以前建议的核范数松弛，并研究我们的方法的有效性，和其他相关的凸松弛，相比其他聚类方法。
2012-04-13 cs.LG stat.ML
UniXGrad: A Universal, Adaptive Algorithm with Optimal Guarantees for Constrained Optimization
EPFL（洛桑联邦理工学院）；Technion（以色列理工学院）；INRIA（法国国家信息与自动化研究所）
针对随机约束凸优化问题，提出了一种新的自适应加速算法.我们的方法，这是受启发的Prox-Prox方法，\emph{simultaneously}实现了最佳的速度光滑/非光滑问题的确定性/随机一阶预言。这是在没有任何关于平滑度或问题的噪声特性的先验知识的情况下完成的。据我们所知，这是第一个自适应的，统一的算法，在约束设置中实现最佳速率。我们通过大量的数值实验证明了我们的框架的实际性能。
2019-10-30 cs.LG math.OC
A Parallel Projection Method for Metric Constrained Optimization
Purdue University（普渡大学）
机器学习和数据采掘中的许多聚类应用依赖于求解度量约束优化问题。这些问题的特点是$O(n^3)$约束，强制三角不等式的距离变量与$n$对象在一个大的数据集。尽管它的有用性，度量约束优化是具有挑战性的，在实践中，由于立方数量的约束和标准优化软件的高内存要求。最近的工作表明，迭代投影方法能够在比以前可能的更大的规模上解决度量约束优化问题，这要归功于它们相对较低的内存需求。然而，投影方法的主要局限性是它们的收敛速度慢。在本文中，我们提出了一个并行投影方法的度量约束优化，使我们能够加快收敛速度在实践中。我们的方法的关键是一个新的并行执行时间表，使我们能够同时执行多个度量约束的预测，没有任何冲突或锁定的变量。我们通过实施和测试并行投影方法来解决度量约束线性规划松弛相关聚类的执行时间表的有效性。我们展示了涉及多达2.9万亿约束的问题的许多实验结果。
2019-01-29 cs.DC cs.DS cs.LG
Upper Trust Bound Feasibility Criterion for Mixed Constrained Bayesian Optimization with Application to Aircraft Design
ONERA（法国国家航空航天研究中心）；Université de Toulouse（图卢兹大学）；ISAE-SUPAERO（法国国立高等航空航天学院）
贝叶斯优化方法已经成功地应用于评估成本高的黑盒优化问题。在本文中，我们采用所谓的超有效的全局优化算法，以解决更精确的混合约束问题。所提出的方法处理约束的信任上限，后者鼓励探索的可行域相结合的平均预测和相关的不确定性函数的高斯过程。最重要的是，一个细化的过程，基于学习率标准，介绍了提高开发和探索的权衡。我们展示了一组数值实验的方法的良好潜力。最后，我们提出了一个应用程序的概念飞机配置后，我们表明所提出的方法相比，一组最先进的黑箱优化求解器的优越性。关键词：全局优化，混合约束优化，黑箱优化，贝叶斯优化，高斯过程。
2020-05-12 cs.LG math.OC stat.ML
Convergence of adaptive algorithms for weakly convex constrained optimization
EPFL（洛桑联邦理工学院）
分析了求解弱凸约束随机最优化问题的自适应一阶算法AMSGrad。我们证明了$\mathcal{\tilde O}(t^{-1/4})$的Moreau包络，这是这类问题的标准平稳性措施的梯度的范数的收敛速度。它与自适应算法在无约束光滑随机最优化的特定情况下所享有的已知速率相匹配。我们的分析与小批量大小的$1$，恒定的一阶和二阶矩参数，并可能无界的优化域。最后，我们说明了我们的结果的应用和扩展到特定的问题和算法。
2020-06-11 cs.LG math.OC stat.ML
USE: A Unified Self-Ensembling Framework for Test-Time Prompt Tuning
School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉学科学院）；NLPR & MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所国家智能机器人实验室及模式识别实验室）；Nanjing University（南京大学）
重新审视测试时提示调整（TPT），揭示其优化可视为从自生成伪标签隐式学习，在此基础上提出统一自集成框架（USE），优化时引入自集成策略，实验表明USE及其自集成策略表现出色。
2026-07-07 cs.CV cs.LG
A Constrained-Optimization Approach to the Execution of Prioritized Stacks of Learned Multi-Robot Tasks
University of Waterloo（滑铁卢大学）
本文提出了一种约束优化配方的优先执行学习机器人任务。该框架适用于执行由价值函数编码的任务，例如使用强化学习范式学习的任务。通过使用控制李雅普诺夫函数的凸优化程序的约束的任务进行编码。此外，为了指定任务之间的相对优先级，强制执行附加约束。所提出的方法是展示在模拟使用一组移动机器人执行协调的多机器人任务。
2023-01-13 cs.LG cs.RO cs.SY
Iterative Surrogate Model Optimization (ISMO): An active learning algorithm for PDE constrained optimization with deep neural networks
SINTEF（挪威科学与工业研究基金会）；ETH Zürich（苏黎世联邦理工学院）；University of Southern California（南加州大学）；TIFR Centre for Applicable Mathematics（塔塔基础研究院应用数学中心）
提出了一种新的主动学习算法--迭代代理模型优化算法（ISMO），用于求解偏微分方程约束最优化问题的鲁棒、高效的数值逼近。该算法基于深度神经网络，其关键特征是通过深度神经网络和任何底层标准优化算法之间的反馈循环迭代选择训练数据。在适当的假设下，我们证明了所得到的优化收敛指数快速（和指数衰减方差），相对于训练样本的数量增加。最优控制，参数识别和形状最优化问题的偏微分方程的数值例子提供验证所提出的理论，并说明ISMO显着优于基于代理优化算法的标准深度神经网络。
2020-08-13 cs.LG cs.NA math.NA
On Riemannian Approach for Constrained Optimization Model in Extreme Classification Problems
Internation Institute of Information Technology, Hyderabad（海得拉巴国际信息技术研究所）
我们提出了一种新的黎曼方法来解决极端多标签分类问题，利用稀疏低维局部嵌入模型的几何结构。将约束最优化问题表示为矩阵流形上的最优化问题，并采用黎曼最优化方法求解。该方法在几个真实世界的大规模多标签数据集上进行了测试，并通过数值实验证明了其有效性。数值实验表明，该方法是最快的训练和最小的嵌入式方法中的模型大小。本文还简要介绍了所提出的黎曼最优化方法的收敛性证明。
2021-09-30 cs.LG cs.NA math.NA
Bayesian Ensembling: Insights from Online Optimization and Empirical Bayes
Stony Brook University（石溪大学）；Brookhaven National Laboratory（布鲁赫斯国家实验室）；Basis Research Institute（基础研究机构）
本文提出在线贝叶斯堆叠（OBS）方法，通过优化预测分布的对数得分来适应性地组合贝叶斯模型，并将其与投资组合选择理论联系起来，提供了一种新的理论框架和高效算法。
2026-01-22 cs.LG stat.CO stat.ME
Optimized Tradeoffs for Private Prediction with Majority Ensembling
Carnegie Mellon University（卡内基梅隆大学）；Google DeepMind（谷歌DeepMind）
针对私有预测中多数集成的隐私-效用权衡问题，提出数据依赖随机响应多数（DaRRM）算法，通过数据依赖噪声函数γ优化效用，证明其在固定效用下隐私增益达基线2倍，且实证中展现显著效用提升。
2024-11-27 cs.CR cs.LG
Ensemble of Averages: Improving Model Selection and Boosting Performance in Domain Generalization
Salesforce Research（赛富时研究院）
在领域泛化（DG）设置中，在给定的一组训练域上独立训练的模型在分布偏移的测试域上具有众所周知的混沌性能，并且优化中的随机性（例如种子）起着很大的作用。这使得深度学习模型在现实世界中不可靠。我们首先证明了这种混沌行为甚至存在于单个模型的训练优化轨迹上，并提出了一种简单的模型平均协议，该协议通过提高域内验证准确度和域外测试准确度之间的秩相关性，显着提高了领域泛化并减少了随机性的影响，这对于可靠的早期停止至关重要。利用我们的观察，我们表明，而不是集成非平均模型（这在实践中是典型的），集成移动平均模型（EoA）从独立运行进一步提高性能。我们从理论上解释了通过将众所周知的偏差-方差权衡调整到领域泛化设置来提高集成和模型平均的性能。在DomainBed基准测试中，当使用预训练的ResNet-50时，这个平均值的集合实现了$68.0\%$的平均值，通过$\sim 4\%$击败了普通ERM（无平均/集合），当使用预训练的RegNetY-16 GF时，实现了$76.6\%$的平均值，通过$6\%$击败了普通ERM。我们的代码可在https://github.com/salesforce/ensemble-of-averages上获得。
2022-10-10 cs.CV cs.LG
More than the Sum of Its Parts: Ensembling Backbone Networks for Few-Shot Segmentation
Politecnico di Milano（米兰理工大学）
本文提出并比较了独立投票与特征融合两种集成技术，在PANet上融合多骨干网络特征，显著提升少样本分割性能，在PASCAL-5ⁱ和COCO-20ⁱ上分别提升7.37%和10.68%。
2024-02-09 cs.CV cs.LG
Personalized Online Machine Learning
University of California, Berkeley（加利福尼亚大学伯克利分校）；University of California San Francisco（加利福尼亚大学旧金山分校）；Université de Paris（巴黎大学）；MAP5 (UMR CNRS 8145)（MAP5（法国国家科学研究中心联合研究单位8145））
在这项工作中，我们介绍了个性化的在线超级学习者（POSL）-在线集成算法的流数据的优化过程，可适应不同程度的个性化。也就是说，POSL优化了关于基线协变量的预测，因此个性化可以从完全个性化（即，关于基线协变量受试者ID的优化）到许多个体（即，关于共同基线协变量的优化）。作为在线算法，POSL是实时学习的。POSL可以利用多种候选算法，包括具有不同训练和更新时间的在线算法，在程序期间从不更新的固定算法，从许多个体的时间序列中学习的池化算法，以及从单个时间序列中学习的个性化算法。POSL的这种混合的基础学习策略的集合取决于收集的数据量，时间序列的平稳性，以及一组时间序列的相互特征。从本质上讲，POSL根据数据中的底层（未知）结构决定是否跨样本学习，通过时间学习，或者两者兼而有之。对于反映现实预测场景的各种模拟，以及在医疗数据应用中，我们研究了POSL相对于其他当前集成和在线学习方法的性能。我们表明，POSL是能够提供可靠的预测时间序列数据，并调整不断变化的数据生成环境。我们进一步培养POSL的实用性，通过将其扩展到时间序列在时间顺序上动态进入/退出的设置。
2021-09-21 cs.LG stat.ML
Joint Training of Deep Ensembles Fails Due to Learner Collusion
University of Cambridge（剑桥大学）
本文揭示深度集成联合优化因基学习器共谋产生伪多样性而导致退化，并通过分解集成目标及在标准任务上的插值实验验证了该现象。
2023-10-31 cs.LG
Context-Aware Ensemble Learning for Time Series
Bilkent University（比尔肯特大学）
我们研究集成方法预测在线设置。与所有集成文献不同，我们首次引入了一种使用Meta学习器的新方法，该方法通过使用特征的超集有效地组合了基础模型预测，该超集是基础模型的特征向量的联合，而不是预测本身。在这里，我们的模型不使用基本模型的预测作为机器学习算法的输入，而是根据问题的状态在每个时间步选择最佳可能的组合。我们探索了三种不同的约束空间，用于线性组合基本预测的基本学习者的集成，这些基本预测是凸组合，其中集成向量的分量都是非负的并且总和为1;仿射组合，其中权重向量分量需要总和为1;以及无约束组合，其中分量可以自由取任何实值。在已知的统计数据下，对约束进行理论分析，并将其集成到Meta学习器的学习过程中，作为自动优化的一部分。为了显示所提出的方法的实际效率，我们采用梯度提升的决策树和多层感知器分别作为Meta学习器。我们的框架是通用的，因此可以使用其他机器学习架构作为集成器，只要它们允许自定义可微损失最小化。我们证明了我们的算法在合成数据上的学习行为，以及在各种真实数据集上与传统方法相比的显着性能改进，广泛用于众所周知的数据竞赛。此外，我们公开了所提出的方法的源代码，以方便进一步的研究和比较。
2022-11-30 cs.LG
Efficient Gradient Approximation Method for Constrained Bilevel Optimization
针对非凸不可微的约束双层优化问题，提出通过计算当前估计邻域内代表性梯度确定下降方向的梯度近似法，证明其渐近收敛于Clarke平稳点集，经超参数优化与元学习实验验证有效。
2023-02-03 cs.LG
humancompatible.train: Implementing Optimization Algorithms for Stochastically-Constrained Stochastic Optimization Problems
Artificial Intelligence Center, Czech Technical University in Prague（捷克技术大学布拉格分校人工智能中心）
本文提出humancompatible.train，一个基于PyTorch的可扩展Python包，用于实现随机约束随机优化算法，并通过公平性约束任务验证其有效性。
2025-09-25 cs.LG math.OC
Adversarial Constrained Policy Optimization: Improving Constrained Reinforcement Learning by Adapting Budgets
Shanghai Jiao Tong University（上海交通大学）；ParisTech Elite Institute of Technology, Shanghai Jiao Tong University（上海交通大学巴黎卓越工程师学院）；AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院）
针对约束强化学习难以平衡性能与安全、易陷入过度保守或违约局部最优的问题，本文提出ACPO，通过对抗式交替优化实现奖励提升与成本预算自适应，并在Safety Gymnasium和四足运动任务中验证其优于常用基线。
2024-10-28 cs.LG cs.RO
Constrained Combinatorial Optimization with Reinforcement Learning
University of the Basque Country（巴斯克大学）；Lehigh University（理海大学）
本文提出了一种使用深度强化学习（RL）解决约束组合优化问题的框架。为此，我们扩展了神经组合优化（NCO）理论，以处理其制定的约束。值得注意的是，我们建议定义约束组合问题作为完全可观察的约束马尔可夫决策过程（CMDP）。在该上下文中，基于与环境的交互迭代地构造解决方案。该模型，除了奖励信号，依赖于从约束不满产生的惩罚信号来推断作为启发式算法的政策。此外，在优化过程中访问完整的状态表示允许我们依赖于无内存架构，增强了以前的序列到序列方法中获得的结果。约束车间和资源分配问题进行的实验证明了计算快速解决方案的建议相比，经典的启发式，元启发式，约束编程（CP）求解器的优越性。
2020-06-22 cs.LG stat.ML
Proximal algorithms for constrained composite optimization, with applications to solving low-rank SDPs
Stanford University（斯坦福大学）
研究了一类具有凸复合结构的（潜在非凸）约束最优化问题。通过一种新的分析非光滑几何，我们表明，近似型算法应用于精确的罚款制定这样的问题表现出局部线性收敛的二次增长条件下，我们认为确保组成结构。我们的结果的主要应用是低秩半定优化与Burer-Monteiro分解。通过半定问题中的结构，我们精确地确定了因子分解问题中二次增长的条件，这对于理解矩阵因子分解可能具有独立的意义。
2019-03-01 cs.LG math.OC
Lyapunov Robust Constrained-MDPs: Soft-Constrained Robustly Stable Policy Optimization under Model Uncertainty
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
安全性和鲁棒性是任何强化学习算法的两个期望属性。CMDPs可以处理额外的安全约束，RMDPs可以在模型不确定性下表现良好。在本文中，我们建议将这两个框架结合起来，产生强大的约束MDPs（RCMDPs）。我们的动机是开发一个框架，可以满足安全约束，同时也提供鲁棒性模型的不确定性。我们开发了RCMDP目标，推导出梯度更新公式来优化这个目标，然后提出了基于策略梯度的算法。我们还独立地提出了基于李雅普诺夫的奖励塑造的RCMDPs，产生更好的稳定性和收敛性。
2021-08-05 cs.LG cs.SY eess.SY
CONFIG: Constrained Efficient Global Optimization for Closed-Loop Control System Optimization with Unmodeled Constraints
EPFL（洛桑联邦理工学院）；Swiss Federal Laboratories for Materials Science and Technology（瑞士联邦材料科学与技术研究所）
本文将一种简单有效的约束全局优化算法CONFIG算法应用于具有未建模约束的未知系统的闭环控制性能优化问题。现有的基于高斯过程的闭环最优化方法，或者只能保证局部收敛（例如，SafeOPT），或者没有已知的最优性保证（例如，约束的预期改进），而最近推出的CONFIG算法已被证明享有理论上的全局最优性保证。在这项研究中，我们证明了CONFIG算法在应用中的有效性。该算法首先应用于一个人工数值基准问题，以证实其有效性。然后将其应用于连续搅拌釜式反应器的经典约束稳态最优化问题。仿真结果表明，我们的CONFIG算法可以实现性能竞争的流行的CEI（约束预期改善）算法，它没有已知的最优性保证。因此，CONFIG算法提供了一种新的工具，具有可证明的全局最优性保证和有竞争力的经验性能，以优化具有软未建模约束的系统的闭环控制性能。最后，但并非最不重要的是，开放的信源编码作为Python包提供，以方便未来的应用程序。
2022-12-18 cs.LG cs.SY eess.SY
