Linearly Constrained Neural Networks
The University of Newcastle(纽卡斯尔大学);Uppsala University(乌普萨拉大学)
我们提出了一种新的方法来建模和学习向量场的物理系统,使用神经网络,明确满足已知的线性算子约束。为了实现这一点,目标函数被建模为潜在的势场的线性变换,该势场又由神经网络建模。选择该变换,使得目标函数的任何预测都保证满足约束。模拟和真实数据的例子证明了这种方法。
2021-04-28 cs.LG physics.comp-ph stat.ML
A Primal-Dual Algorithmic Framework for Constrained Convex Minimization
我们提出了一个原始-对偶算法框架,以获得一个典型的约束凸优化问题的近似解,并严格表征常见的结构假设如何影响数值效率。我们的主要分析技术提供了一个新的视角Nesterov的过度差距技术在一个结构化的方式,并将其与平滑和原始对偶方法。例如,通过选择一个对偶平滑策略和一个中心点,我们的框架包括分解算法,增广拉格朗日以及交替方向法的乘数方法作为其特殊情况下,并提供最佳的收敛速度的原始目标残差以及原始可行性间隙的迭代。
2015-03-03 math.OC stat.ML
A Flexible and Efficient Algorithmic Framework for Constrained Matrix and Tensor Factorization
我们提出了一个通用的算法框架,约束矩阵和张量因式分解,这是广泛应用于信号处理和机器学习。新的框架是交替优化(AO)和交替方向乘法器(ADMM)之间的混合:每个矩阵因子依次更新,使用ADMM,因此命名为AO-ADMM。这种组合自然可以适应因子矩阵上的各种约束,以及几乎所有可能的拟合损失度量。计算缓存和热启动策略用于确保有效地评估每个更新,而外部AO框架利用块坐标下降(BCD)类型方法的最新发展,有助于确保每个极限点都是固定点,以及在实践中更快,更鲁棒的收敛。详细研究了三种特殊情况:非负矩阵/张量分解,约束矩阵/张量完成和字典学习。大量的模拟和实验与真实数据被用来展示所提出的框架的有效性和广泛的适用性。
2015-10-28 cs.LG math.OC stat.CO
Linearly Constrained Weights: Reducing Activation Shift for Faster Training of Neural Networks
Toyota Central R&D Labs., Inc.(丰田中央研发实验室)
本文揭示了神经网络中预激活值非零均值的激活偏移现象,提出线性约束权重(LCW)方法减少该偏移,有效解决梯度消失问题并提升网络泛化性能。
2024-03-08 cs.LG cs.NE stat.ML
Thompson Sampling for Linearly Constrained Bandits
KTH Royal Institute of Technology(KTH皇家理工学院);University of California Berkeley(加州大学伯克利分校)
我们解决多武装土匪(MAB)的目标是最大化的累积奖励下的概率线性约束。对于这个问题的几个现实世界的例子,最近提出了著名的汤普森采样(TS)启发式的约束扩展。然而,受限TS的有限时间分析是具有挑战性的;因此,在累积奖励损失上仅O(\sqrt{T})界限(即,遗憾的是)。在本文中,我们描述了LinConTS,一个基于TS的强盗算法,对每一轮获得奖励的概率进行线性约束。我们表明,对于LinConTS,遗憾以及累积约束违反的上限为O(\log T)的次优武器。我们开发了一种证明技术,依赖于仔细分析的对偶问题,并结合它与最近的理论工作无约束TS。通过在两个真实数据集上的数值实验,我们证明了LinConTS在同时最小化后悔和违规方面优于渐近最优置信上限(UCB)方案.
2020-05-12 cs.LG stat.ML
Delayed Projection Techniques for Linearly Constrained Problems: Convergence Rates, Acceleration, and Applications
Peking University(北京大学)
在这项工作中,我们研究了一类新的基于投影的线性约束问题(LCP)的算法,在统计,优化和机器学习中有很多应用。传统的基于原始梯度的LCP方法在每次(随机)梯度下降之后调用投影,导致所需的投影数量等于梯度下降(或总迭代)的数量。受分布式优化的最新进展的启发,我们提出了延迟投影技术,每隔一段时间调用一次投影,降低投影频率,提高投影效率。相应地,我们设计了一系列的随机方法的LCP使用的技术,包括方差减少的方法和加速的。我们从理论上证明了在强凸和一般凸情形下提高投影效率是可行的。我们的分析是简单和统一的,可以很容易地扩展到其他方法使用延迟投影。当我们的新算法应用到联邦优化,一个新兴的分布式优化和隐私保护的子域,我们不仅得到了一个方差减少联邦算法的收敛速度优于以往的作品,但也是第一个加速方法能够处理数据异构性的联邦优化固有的。
2021-01-05 cs.LG math.OC stat.ML
A dual semismooth Newton based augmented Lagrangian method for large-scale linearly constrained sparse group square-root Lasso problems
Southwest Jiaotong University(西南交通大学);Zhejiang University City College(浙江大学城市学院)
平方根Lasso问题被证明是鲁棒回归问题。此外,具有结构稀疏性的平方根回归问题在统计和机器学习中也起着重要的作用。本文主要研究大规模线性约束稀疏群平方根Lasso问题的数值计算。为了克服目标函数中存在两个非光滑项的困难,提出了一种基于对偶半光滑牛顿(SSN)的增广拉格朗日方法(ALM),即把ALM应用于子问题由SSN方法求解的对偶问题。应用SSN方法时,广义雅可比矩阵的正定性是非常重要的。因此,我们刻画了它的正定性与相应原问题的约束非退化条件的等价性。在数值实现中,我们充分利用了二阶稀疏性,从而可以有效地获得牛顿方向。数值实验证明了该算法的有效性。
2021-11-27 cs.LG cs.NA math.NA
A Single-Loop First-Order Algorithm for Linearly Constrained Bilevel Optimization
University of Virginia(弗吉尼亚大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Meta
本文提出了一种单循环一阶算法,用于解决具有线性约束的双层优化问题,通过改写问题并分析收敛率,提升了算法效率。
2026-02-04 cs.IT cs.LG math.IT
A Local-Linearly Convergent Algorithm for Nonconvex Equality-Constrained Optimization
Lehigh University(理海大学)
本文拓展了梯度-本征步算法的分析,证明其在特定条件下具备局部线性收敛速率,还可作为子问题求解器应用于渐进采样策略,以优化大样本等式约束优化的样本复杂度。
2026-08-14 cs.LG math.OC stat.ML
Replicable Constrained Bandits
Politecnico di Milano(米兰理工大学)
本文提出了一种可复制的约束老虎机算法,通过设计满足约束条件的策略,实现了在相同环境下决策序列的可重复性,并展示了UCB-like算法在可复制性上的应用。
2026-02-16 cs.LG stat.ML
A Barrier-Metric First-Order Method for Linearly Constrained Bilevel Optimization
University of California, Los Angeles(加州大学洛杉矶分校);University of California, Berkeley(加州大学伯克利分校)
本文提出一种基于障碍平滑的双层优化方法,通过处理非光滑性和计算开销问题,实现高效的求解。
2026-05-12 math.OC stat.ML
SNAP: Finding Approximate Second-Order Stationary Solutions Efficiently for Non-convex Linearly Constrained Problems
针对具有光滑非凸目标和线性约束的问题,提出了一种低复杂度的求解近似二阶稳定点的算法。虽然找到(近似)SOSP是计算上棘手的,我们首先表明,通用的问题的实例可以有效地解决。更具体地说,对于一般问题实例,某些严格互补(SC)条件对所有Karush-Kuhn-Tucker(KKT)解(概率为1)成立。SC条件,然后用于建立两个不同的概念之间的等价关系的SOSP,其中之一是计算上容易验证。基于SOSP的这一特殊概念,我们设计了一种算法,称为连续负曲率梯度投影(SNAP),它连续执行传统的梯度投影或一些基于负曲率的投影步骤来寻找SOSP。SNAP及其一阶扩展SNAP $^+$需要$\mathcal{O}(1/ε^{2.5})$迭代来计算一个$(ε, \sqrtε)$ -SOSP,并且它们的每次迭代计算复杂性在约束数目和问题维数上是多项式的.据我们所知,这是第一次,一阶算法的多项式迭代复杂性和全球次线性率已被设计,以寻找SOSP的重要类的非凸问题的线性约束。
2019-07-09 cs.CC math.OC stat.ML
Hybrid Jacobian and Gauss-Seidel proximal block coordinate update methods for linearly constrained convex programming
Rensselaer Polytechnic Institute(伦斯勒理工学院)
本文提出混合雅可比和高斯-塞德尔块坐标更新方法,用于解决线性约束多块结构凸规划问题,通过选择合适的仿射混合矩阵实现理论收敛性,并在数值上优于随机对偶块坐标更新方法。
2018-01-03 cs.NA math.NA math.OC
Accelerated first-order primal-dual proximal methods for linearly constrained composite convex programming
University of Alabama(阿拉巴马大学)
本文提出两种加速方法解决线性约束的复合凸优化问题,通过线性化和近似项简化子问题,实现O(1/t)或O(1/t²)收敛性,优于现有方法。
2016-06-29 cs.NA math.NA math.OC