Nested Stochastic Algorithm for Generalized Sinkhorn distance-Regularized Distributionally Robust Optimization
本文针对广义Sinkhorn距离正则化的非凸分布鲁棒优化问题,推导出嵌套随机优化的对偶形式,提出嵌套SGD算法并证明其多项式复杂度,数值实验验证了算法的效率与鲁棒性。
2025-06-26 cs.LG math.OC stat.ML
Fixed-point and coordinate descent algorithms for regularized kernel methods
本文研究了两类具有凸损失函数和二次范数正则化的核方法的最优化算法,并分析了它们的收敛性。第一种方法基于定点迭代,易于实现和分析,并且可以很容易地并行化。第二,基于坐标下降,利用结构的可加性分离的损失函数计算线搜索的解决方案,在封闭的形式。这些一般类别的算法中的大多数已经被结合到用于大规模问题的最新机器学习软件中。我们开始从一个解决方案的正则化问题,使用次微分和单调算子的解决方案,适用于一般的凸损失函数,无论可微性。文中所描述的两种方法可以看作是非线性Jacobi和Gauss-Seidel算法的实例,并且都非常适合于解决大规模问题。
2010-08-30 cs.LG math.OC stat.CO
Self-Regularized Learning Methods
Institute for Stochastics(随机学研究所);Applications, University of Stuttgart(应用,斯图加特大学);School of Mathematical Sciences(数学科学学院);Institute of Natural Sciences(自然科学研究所);MOE-LSC, Shanghai Jiao Tong University(教育部-上海交通大学联合实验室)
本文提出基于自调节概念的通用学习算法分析框架,通过隐式复杂度控制实现无需显式正则化。该框架涵盖经典正则化经验风险最小化和梯度下降,提供统计分析并讨论数据依赖超参数选择问题。
2026-03-17 cs.LG math.ST stat.ML
Convergence of a L2 regularized Policy Gradient Algorithm for the Multi Armed Bandit
``Octav Mayer'' Institute of Mathematics of the Romanian Academy Bd. Carol I 8, Ia s i 700505, Romania CEREMADE, Universit\'e Paris Dauphine - PSL, CNRS, Paris, France;anonymous institute
本文研究了多臂老虎机中结合L2正则化和softmax参数化的策略梯度算法的收敛性,证明了其在适当假设下的收敛性,并通过实验展示了其在初始猜测远离解时的优势。
2026-01-05 cs.AI cs.DS cs.LG
A stochastic Gauss-Newton algorithm for regularized semi-discrete optimal transport
我们引入了一个新的二阶随机算法来估计两个概率测度之间的熵正则化最优输运费用。源测度可以是任意选择的,无论是绝对连续的还是离散的,而目标测度被假设为离散的。为了解决这样一个正规化和半离散的最优运输问题的半对偶公式,我们建议考虑一个随机高斯-牛顿算法,使用一个序列的数据采样从源措施。该算法被证明是自适应的几何基础凸优化问题,没有重要的超参数进行精确调整。我们建立的几乎必然收敛和渐近正态性的各种利益,从这个随机高斯-牛顿算法构造的估计。我们还分析了他们的非渐近收敛速度的预期二次风险的强凸性的基础目标函数的情况下。模拟数据的数值实验结果也被报道,以说明有限样本的性质,这种高斯-牛顿算法的随机正则化的最优输运,并显示其优势,使用随机梯度下降,随机牛顿和ADAM算法。
2022-03-02 math.ST stat.TH
Twice regularized MDPs and the equivalence between robustness and regularization
Technion(以色列理工学院);Google Research, Brain Team(谷歌研究院大脑团队);NVIDIA Research(英伟达研究院)
鲁棒马尔可夫决策过程(MDP)旨在处理变化或部分已知的系统动态。为了解决这些问题,人们通常求助于鲁棒优化方法。然而,这显著地增加了计算复杂性并且限制了学习和规划两者的可扩展性。另一方面,正则化的MDP在策略学习中表现出更好的稳定性,而不会降低时间复杂度。然而,它们通常不包含模型动态中的不确定性。在这项工作中,我们的目标是使用正则化来学习鲁棒的MDP。我们首先证明了正则化的MDP是具有不确定奖励的鲁棒MDP的一个特殊实例。因此,我们建立了奖励健壮的MDP上的策略迭代可以具有与正则化的MDP相同的时间复杂度。我们进一步将这种关系扩展到具有不确定过渡的MDP:这导致正则化项对价值函数具有额外的依赖性。最后,我们将正则化的MDP推广到两次正则化的MDP(R ${}^2$ MDP),即,具有$\textit{both}$值和策略规则化的MDP。相应的Bellman算子使得能够开发具有收敛性和鲁棒性保证的策略迭代方案。它还将健壮的MDP中的规划和学习减少到正则化的MDP。
2021-10-12 cs.LG math.OC
Twice Regularized Markov Decision Processes: The Equivalence between Robustness and Regularization
Technion(以色列理工学院);Google Research(谷歌研究院);Nvidia Research(英伟达研究院)
鲁棒马尔可夫决策过程(MDP)旨在处理变化或部分已知的系统动态。为了解决这些问题,人们通常求助于鲁棒优化方法。然而,这显著地增加了计算复杂性并且限制了学习和规划两者的可扩展性。另一方面,正则化的MDP在策略学习中表现出更好的稳定性,而不会降低时间复杂度。然而,它们通常不包含模型动态中的不确定性。在这项工作中,我们的目标是使用正则化来学习鲁棒的MDP。我们首先证明了正则化的MDP是具有不确定奖励的鲁棒MDP的一个特殊实例。因此,我们建立了奖励健壮的MDP上的策略迭代可以具有与正则化的MDP相同的时间复杂度。我们进一步将这种关系扩展到具有不确定过渡的MDP:这导致正则化项对价值函数具有额外的依赖性。然后,我们将正则化的MDP推广到两次正则化的MDP($\text{R}^2$ MDP),即,具有$\textit{both}$值和策略规则化的MDP。相应的贝尔曼算子使我们能够得到规划和学习计划的收敛性和推广的保证,从而降低鲁棒性正则化。我们在数值上显示了这种双重优势,在表格和物理域,突出的事实,即$\text{R}^2$保持其效力在连续的环境。
2023-03-12 cs.AI cs.LG
Equivalence Between Policy Gradients and Soft Q-Learning
OpenAI;UC Berkeley(加州大学伯克利分校)
无模型强化学习的两种主要方法是策略梯度方法和$Q$学习方法。$Q$ -学习方法在它们工作时可以是有效的和样本高效的,然而,还没有很好地理解它们为什么工作,因为根据经验,它们估计的$Q$ -值非常不准确。一个部分的解释可能是,$Q$ -学习方法正在秘密地实现策略梯度更新:我们表明,在熵正则化强化学习的设置中,$Q$ -学习和策略梯度方法之间存在精确的等价性,“软”(熵正则化)$Q$ -学习完全等价于策略梯度方法。我们还指出了$Q$ -学习方法和自然策略梯度方法之间的联系。在实验中,我们探索了$Q$的熵正则化版本-学习和策略梯度,我们发现它们在Atari基准测试中的表现与标准变体一样好(或略好于)。我们还表明,在实际环境中的等价性,通过构建一个$Q$的学习方法,密切匹配的A3 C的学习动态,而不使用目标网络或$ε$贪婪的探索时间表。
2018-10-14 cs.LG
The equivalence of dynamic and strategic stability under regularized learning in games
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔国立理工学院)
该研究针对有限博弈中无悔学习策略演化认知不足的问题,通过优反应闭包的集合式稳定性标准,证明了正则化学习下策略稳定性与动态稳定性的等价性,并给出了不同正则化方法的收敛速率。
2023-11-04 cs.GT cs.LG math.OC
Robustness and Regularization of Support Vector Machines
McGill University(麦吉尔大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们考虑正则化的支持向量机(SVM),并表明它们是完全等价于一个新的强大的优化配方。我们表明,这种等价的鲁棒优化和正则化的算法和分析的影响。在算法方面,等价性建议更一般的SVM类分类算法,明确建立在保护噪声,并在同一时间控制过拟合。在分析方面,鲁棒性和正则化的等价性为正则化支持向量机的成功提供了鲁棒优化解释。我们使用这种新的鲁棒性解释的支持向量机(核化)支持向量机的一致性,从而建立鲁棒性的原因正则化支持向量机推广良好。
2008-11-11 cs.AI cs.LG
Distributed Stochastic Optimization of the Regularized Risk
University of Tokyo(东京大学);Amazon Inc.(亚马逊公司);NICTA(澳大利亚国家信息通信技术研究院);University of California(加利福尼亚大学)
针对海量数据下随机优化算法难以高效并行化的问题,将正则化风险最小化转化为等价鞍点问题,提出一种随处理器数量几乎线性扩展的高效分布式随机优化(DSO)算法,并从理论和实验上验证了其收敛性与竞争力。
2015-06-09 cs.LG stat.ML
Training L1-Regularized Models with Orthant-Wise Passive Descent Algorithms
Tencent AI Lab(腾讯人工智能实验室)
$L_1$正则化模型广泛用于稀疏回归或分类任务。在本文中,我们提出了正交明智的被动下降算法(OPDA)优化$L_1$正则化模型,作为一个改进的替代邻近算法,这是目前的标准工具,优化模型。OPDA使用一个随机方差缩减梯度(SVRG)来初始化下降方向,然后应用一种新的对齐算子来鼓励每个元素在一次迭代更新后保持相同的符号,从而使参数保持与以前相同的正体。它还显式地抑制每个元素的大小以施加稀疏性。拟牛顿更新可以用来合并曲率信息并加快速度。证明了OPDA在一般光滑强凸损失函数上的线性收敛速度。通过对$L_1$ -正则化逻辑回归和卷积神经网络进行实验,我们表明OPDA优于最先进的随机邻近算法,这意味着在训练稀疏模型方面有广泛的应用。
2018-02-22 cs.LG stat.ML
On the Convergence of Approximate and Regularized Policy Iteration Schemes
Criteo AI Lab(科韬人工智能实验室)
熵正则化算法(如Soft Q-learning和Soft Actor-Critic)最近在许多具有挑战性的强化学习(RL)任务上表现出最先进的性能。正则化公式修改了标准RL目标,因此通常会收敛到与原始RL问题的最佳贪婪策略不同的策略。在实际应用中,控制正则化最优策略的次优性是非常重要的。在本文中,我们建立了一个大类的正则化动态规划算法的收敛性的充分条件,统一下正则化修改策略迭代(MPI)和保守值迭代(VI)计划。我们提供了明确的收敛速度的最优性依赖于正则化参数的下降率。我们的实验表明,经验误差密切遵循既定的理论收敛速度。除了最优性,我们证明了正则化算法的两个理想的行为,即使在没有近似:鲁棒性随机环境和安全的轨迹引起的政策迭代。
2019-10-14 cs.LG stat.ML
Screening Sinkhorn Algorithm for Regularized Optimal Transport
LITIS EA4108;University of Rouen Normandy(诺曼底鲁昂大学);INSA, University of Rouen Normandy(诺曼底鲁昂大学INSA);Criteo AI Lab, Criteo Paris(Criteo巴黎Criteo人工智能实验室)
在本文中,我们介绍了一种新的策略,有效地近似两个离散措施之间的Sinkhorn距离。在确定正则化Sinkhorn问题的对偶解的可忽略的组件后,我们建议在进入Sinkhorn问题之前通过直接将它们设置为该值来筛选这些组件。这使我们能够解决一个较小的Sinkhorn问题,同时确保近似可证明的保证。更正式地说,该方法是基于一个新的配方的对偶Sinkhorn发散问题和这个问题的KKT最优性条件,使识别的对偶组件进行筛选。这种新的分析导致了Screenkhorn算法。我们说明了Screenkhorn在复杂任务上的效率,例如降维和涉及正则化最优运输的域适应。
2020-01-18 cs.LG stat.ML
Lipschitz-regularized gradient flows and generative particle algorithms for high-dimensional scarce data
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Heriot-Watt University(赫瑞瓦特大学);FORTH(希腊研究与技术基金会(FORTH))
提出一类基于Lipschitz正则化$f$-散度梯度流的生成粒子算法,能够从稀缺高维数据中高效学习目标分布并生成新样本,在仅数百样本下成功传输超54K维基因表达数据。
2024-08-28 cs.LG stat.ML
Bias Correction for Regularized Regression and its Application in Learning with Streaming Data
Middle Tennessee State University(中田纳西州立大学)
提出了一种降低岭回归和正则化核网络偏差的方法。当应用到一个单一的数据集的新算法具有可比的学习性能与原来的。当应用于增量学习与块明智的流数据的新算法是更有效的,由于偏见减少。理论分析和仿真研究都用来验证这些新算法的有效性。
2016-03-15 cs.LG stat.ML
Survival of the strictest: Stable and unstable equilibria under regularized learning with partial information
National Technical University of Athens(雅典国立技术大学);Columbia University(哥伦比亚大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Criteo AI Lab(Criteo人工智能实验室)
本文研究了一般N人对策中无悔学习的纳什均衡收敛性质。具体来说,我们专注于原型遵循正则化领导者(FTRL)家族的算法,我们认为全谱的不确定性,玩家可能会遇到的-从嘈杂的,基于预言的反馈,强盗,基于回报的信息。在这个一般的背景下,我们建立了纳什均衡的稳定性和它的支持之间的全面等价:一个纳什均衡是稳定的,并以任意高的概率吸引,当且仅当它是严格的(即,每个均衡策略具有唯一的最佳响应)。这种等价性将现有的进化博弈论民间定理的连续时间版本扩展到真正的算法学习环境,并且为预测游戏中无悔学习的日常行为提供了明确的细化标准
2021-02-04 cs.GT cs.LG cs.MA
Efficient Regularized Piecewise-Linear Regression Trees
Zalando Research Lab(Zalando研究实验室);University of Potsdam(波茨坦大学)
我们提出了一个详细的分析类的回归决策树算法,采用了正则化的分段线性节点分裂标准,并在树叶正则化的线性模型。从理论的角度来看,Rademacher复杂性框架的基础上,我们提出了新的高概率上界的泛化误差的建议类的正则化回归决策树算法,包括LASSO型,和$\ell_{2}$正则化的线性模型的叶子。通过考虑一般类型的变量选择过程,进一步扩展了理论结果。此外,在我们的工作中,我们证明了分段线性回归树的类不仅在数值上是稳定的,而且可以通过本文提出的算法实现以及现代GPU技术的帮助变得易于处理。从经验上讲,我们提出了多个数据集上的结果,突出了所提出的树算法的优势和潜在的缺陷,与基于分段常数模型生长树的基线相比。
2019-06-29 cs.LG stat.ML
Greedy stochastic algorithms for entropy-regularized optimal transport problems
Inria(法国国家信息与自动化研究所);CREST/ENSAE(法国国家统计与经济管理学院应用经济学研究中心);École polytechnique(巴黎综合理工学院);LTCI, Télécom-Paristech, Université Paris-Saclay(巴黎萨克雷大学巴黎高等电信学院信息与通信技术实验室)
最优运输距离(OT)在机器学习和计算机视觉中得到越来越多的应用,但其高计算成本阻碍了其在大规模问题中的广泛应用。在这项工作中,我们开发了一个家庭的快速和实用的随机算法解决最优运输问题的熵惩罚。这项工作扩展了最近开发的Greenkhorn算法,在这个意义上说,Greenkhorn算法是这个家庭的一个限制情况。我们还提供了一个简单的和一般的收敛定理的类中的所有算法,与速率相匹配的最佳已知速率的Greenkorn和Sinkhorn算法,并得出结论,数值实验表明,在什么制度的惩罚新的随机方法比上述方法更快。
2018-03-04 cs.LG stat.ML
A Hybrid Federated Kernel Regularized Least Squares Algorithm
Fondazione Istituto Italiano di Tecnologia(意大利技术研究院基金会)
针对数据在样本和特征上双重分散的混合联邦场景,提出Kernel Regularized Least Squares算法的高效重构与两种变体,经数据集验证并讨论了防御攻击的安全措施。
2024-07-24 cs.LG stat.ML
A Theory of Regularized Markov Decision Processes
Google Research(谷歌研究院);Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所)
许多最近成功的(深度)强化学习算法利用正则化,通常基于熵或Kullback-Leibler散度。我们提出了一个一般的正则化马尔可夫决策过程的理论,概括这些方法在两个方向:我们考虑一个更大的类的正则化,我们认为一般修改的政策迭代方法,包括政策迭代和值迭代。该理论的核心构建块是正则化Bellman算子和Legendre-Fenchel变换的概念,Legendre-Fenchel变换是凸优化的经典工具。这种方法允许一般的算法方案的错误传播分析,其中(可能的变种)的经典算法,如信赖域策略优化,软Q学习,随机演员批评或动态策略编程的特殊情况。这也与近端凸优化,特别是镜像下降相关联。
2019-06-04 cs.LG stat.ML
Learning a Factor Model via Regularized PCA
Stanford University(斯坦福大学)
我们考虑线性因子模型的学习问题。我们提出了一个正规化的形式的主成分分析(PCA),并通过实验证明与合成和真实的数据所产生的估计的优越性,那些预先存在的因素分析方法。我们还建立了理论结果,解释我们的算法如何纠正传统方法引起的偏见。我们的算法的一个重要特点是,它的计算要求是类似的PCA,这在很大程度上是由于其效率享有广泛的使用。
2013-02-24 cs.LG stat.ML
A Parallel Best-Response Algorithm with Exact Line Search for Nonconvex Sparsity-Regularized Rank Minimization
University of Luxembourg(卢森堡大学);Technische Universität Darmstadt(达姆施塔特工业大学)
本文针对不可微非凸稀疏正则秩极小化问题,提出了一种基于精确线搜索的收敛并行最佳反应算法。一方面,它表现出比次梯度算法和块坐标下降算法更快的收敛性。另一方面,它的收敛到一个稳定点是有保证的,而ADMM算法只收敛于凸问题。此外,在所提出的算法中,精确的线搜索过程中有效地进行封闭形式,以避免细致的选择的步长,这是一个共同的瓶颈,然而,在次梯度算法和连续凸近似算法。最后,对算法进行了数值验证.
2017-11-13 cs.DC cs.LG stat.ML
Planning in entropy-regularized Markov decision processes and games
DeepMind;Inria Lille(Inria里尔);SequeL team, Inria Lille(SequeL团队,Inria里尔);DeepMind Paris(DeepMind巴黎)
本文提出SmoothCruiser算法,通过环境生成模型估计熵正则化马尔可夫决策过程和双人博弈的价值函数,实现问题无关的样本复杂度O~(1/epsilon^4)。
2026-10-06 cs.LG stat.ML
A Converged Algorithm for Tikhonov Regularized Nonnegative Matrix Factorization with Automatic Regularization Parameters Determination
提出了一种Tikhonov正则化非负矩阵分解(NMF)的收敛算法.我们特别选择这种正则化,因为它是已知的Tikhonov正则化最小二乘(LS)是更可取的形式在解决线性反问题比传统的LS。由于NMF问题可以分解为LS子问题,因此可以预期Tikhonov正则化NMF将是求解NMF问题的更合适的方法。该算法是使用已被证明具有收敛保证的加性更新规则推导出来的。我们配备了一个机制,自动确定正则化参数的基础上的L-曲线,一个众所周知的概念,在反问题的社区,但在NMF的研究是未知的。该算法的引入解决了Tikhonov正则化NMF算法研究中的两个固有问题,即,收敛性保证和正则化参数确定。
2012-05-10 cs.LG
Super-Linear Convergence of Dual Augmented-Lagrangian Algorithm for Sparsity Regularized Estimation
The University of Tokyo(东京大学);Tokyo Institute of Technology(东京工业大学)
我们分析了最近提出的正则化估计算法称为双增广拉格朗日(DAL)的收敛行为。我们的分析是基于一个新的解释DAL作为一个近端最小化算法。在一定条件下,我们证明了DAL在非渐近和全局意义下超线性收敛。由于在机器学习的背景下稀疏估计问题的特殊建模,我们所做的假设比传统的增广拉格朗日算法分析中所做的假设更温和,更自然。此外,新的解释使我们能够推广DAL各种稀疏估计问题。我们实验证实我们的分析在一个大规模的$\ell_1$正则化逻辑斯谛回归问题,并广泛比较DAL算法的效率,以前提出的算法在合成和基准数据集。
2011-01-02 cs.LG stat.ME stat.ML
Snake: a Stochastic Proximal Gradient Algorithm for Regularized Problems over Large Graphs
LTCI, Télécom ParisTech, Université Paris-Saclay(巴黎萨克雷大学巴黎高科电信学院LTCI实验室);CNRS / LIGM (UMR 8049), Université Paris-Est Marne-la-Vallée(法国国家科学研究中心/马恩-拉瓦雷大学LIGM实验室)
研究了大型非结构图上的正则化最优化问题,其中正则化项与图的几何结构有关。典型的正则化示例包括图上的全变差和拉普拉斯正则化。当应用邻近梯度算法来解决这个问题时,在图是没有循环的简单路径的特殊情况下,存在非常经济实惠的方法来实现邻近运算符(向后步骤)。在本文中,一个算法,简称为“蛇”,提出了解决一般图的正则化问题,利用这些快速的方法。该算法包括在图中适当地选择随机简单路径,并在这些简单路径上执行近似梯度算法。该算法是一种新的广义随机邻近梯度算法的一个实例,并证明了其收敛性。其中提供了趋势过滤和图形修复的应用。数值实验进行了大型图。
2017-12-19 cs.LG math.OC stat.ML
Bridging the Gap between Newton-Raphson Method and Regularized Policy Iteration
Laboratory for Information and Decision Systems, Massachusetts Institute of Technology(信息与决策系统实验室,麻省理工学院);Department of Mechanical Engineering, Tsinghua University(机械工程系,清华大学);College of Artificial Intelligence and the School of Vehicle and Mobility, Tsinghua University(人工智能学院和车辆与移动系统学院,清华大学)
研究正则化策略迭代(RPI)的理论基础,证明其与牛顿-拉夫逊方法等价,实现统一收敛分析,得出RPI局部二次收敛性等结论,还研究了不精确策略评估下的RPI并提出新算法,推进了强化学习正则化理论理解与算法设计。
2026-07-17 cs.LG
An accelerated first-order regularized momentum descent ascent algorithm for stochastic nonconvex-concave minimax problems
Shanghai University(上海大学);College of Sciences(理学院);Newtouch Center for Mathematics of Shanghai University(上海大学新接触数学中心)
针对随机非凸-凹极小极大问题,提出加速一阶正则化动量下降上升算法(FORMDA),其迭代复杂度达$\tilde{\mathcal{O}}(\varepsilon ^{-6.5})$,实现了单循环算法的已知最优复杂度界限。
2024-10-15 cs.LG math.OC stat.ML
Relative Trajectory Balance is equivalent to Trust-PCL
Mila – Quebec AI Institute(魁北克AI研究所);Entalpic;McGill University(麦吉尔大学);Université de Montréal(蒙特利尔大学);Google DeepMind(谷歌DeepMind)
本研究确立了生成流网络中的相对轨迹平衡(RTB)与带KL正则化的离策略强化学习方法Trust-PCL的等价性,将RTB纳入KL正则化强化学习理论体系,并通过示例验证了两类方法性能相当。
2025-09-01 cs.LG
Convergence of Batch Greenkhorn for Regularized Multimarginal Optimal Transport
Istituto Italiano di Tecnologia(意大利技术研究院);University of Novi Sad(诺维萨德大学);University College London(伦敦大学学院)
在这项工作中,我们提出了一个批量版本的Greenkhorn算法的多边缘正则化最优运输问题。我们的框架是一般的,足以涵盖,作为特殊情况下,一些现有的算法,如Sinkhorn和Greenkhorn算法的双边缘设置,和(贪婪)MultiSinkhorn多边缘最优运输。我们提供了一个完整的收敛性分析,这是基于贪婪控制的迭代Bregman投影(IBP)方法的属性。得到了全局线性收敛速度和迭代复杂度的显式界。当专门针对上述算法时,我们的结果提供了新的见解和/或改进了现有的见解。
2021-12-03 cs.LG math.OC stat.ML
Regularized EM algorithm
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);CentraleSupélec(巴黎中央理工-高等电力学院);Aalto University(阿尔托大学)
期望最大化(EM)算法是一种广泛使用的计算局部最大似然估计(MLE)的迭代算法。它可以用于广泛的问题,包括基于高斯混合模型(GMM)的数据聚类。在样本量并不比数据维数大很多的情况下,可能会出现数值不稳定和收敛问题。在这种低样本支持(LSS)设置中,EM-GMM算法中的协方差阵更新可能变得奇异或条件不良,从而导致算法崩溃。另一方面,在许多信号处理问题中,可以获得指示不同簇协方差阵的某些结构的先验信息。在本文中,我们提出了一个正则化的期望最大化算法的GMM-S,可以有效地利用这种先验知识,以及应付LSS的情况。该方法旨在最大化惩罚GMM似然,其中正则化估计可用于确保协方差矩阵更新的正定性,并将估计量收缩到某些结构化目标协方差阵。我们表明,理论保证的收敛性,从而更好地执行期望最大化算法的结构协方差阵模型或低样本设置。
2023-03-27 cs.LG eess.SP stat.ML
Fast Nonsmooth Regularized Risk Minimization with Continuation
Hong Kong University of Science and Technology(香港科技大学)
在正则化风险最小化中,当损失和正则化都是非光滑的时,相关的优化问题变得特别困难。现有的方法要么有缓慢或不明确的收敛特性,被限制到有限的问题子类,或需要仔细设置的平滑参数。在本文中,我们提出了一个连续算法,适用于一个大类的非光滑正则化风险最小化问题,可以灵活地使用一些现有的解决方案的基本平滑子问题,并与收敛结果的整个算法,而不仅仅是它的一个子问题。特别是,当使用加速求解器,该算法实现了最快的已知速率的$O(1/T^2)$强凸问题,和$O(1/T)$一般凸问题。非光滑分类和回归任务的实验表明,该算法优于国家的最先进的。
2016-02-25 cs.LG math.OC stat.ML
A Cubic-regularized Policy Newton Algorithm for Reinforcement Learning
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);Indian Institute of Science(印度科学学院)
针对无模型强化学习控制问题,提出两种带三次正则化的策略 Newton 算法,通过采样轨迹估计梯度与 Hessian,并证明其收敛至二阶驻点,样本复杂度由 O(ε^{-4.5}) 改进至 O(ε^{-3.5})。
2023-04-21 cs.LG math.OC stat.ML
Regularized Maximum Likelihood Estimation and Feature Selection in Mixtures-of-Experts Models
Normandie Univ(诺曼底大学);UNICAEN(卡昂大学);UMR CNRS LMNO(法国国家科学研究中心LMNO联合研究单位)
混合专家模型(Mixture of Experts,MoE)是在回归、聚类和分类等统计学习问题中为异构数据建模的成功模型。通常通过期望最大化算法用极大似然估计拟合,因此它们在高维问题中的应用仍然具有挑战性。我们考虑在MoE模型的拟合和特征选择的问题,并提出了一个正则化的极大似然估计的方法,鼓励稀疏解决方案的异质回归数据模型与潜在的高维预测。与最先进的正则化MLE MoE,所提出的建模不需要近似的惩罚函数。本文提出了两种混合期望最大化算法:期望-优化-最大化(EM/MM)算法和带有坐标上升算法的期望最大化算法。所提出的算法允许自动获得稀疏的解决方案,而无需阈值,并避免矩阵求逆,允许单变量参数更新。实验研究表明,该算法在恢复实际稀疏解、参数估计和异质回归数据聚类等方面具有良好的性能。
2018-10-29 cs.LG stat.CO stat.ME
Online Regularized Nonlinear Acceleration
Princeton University(普林斯顿大学);INRIA(法国国家信息与自动化研究所);CentraleSupélec(巴黎中央理工-高等电力学院);CNRS(法国国家科学研究中心);École Normale Supérieure(巴黎高等师范学院)
正则化非线性加速(RNA)通过对梯度法等算法进行后处理迭代来估计函数的最小值。它可以被看作是安德森加速的正则化版本,安德森加速是数值分析的经典加速方案。新方案可证明地提高了固定步长梯度下降法的收敛速度,其经验性能可与拟牛顿法相媲美。然而,RNA不能加速更快的多步算法,如Nesterov的方法,并且在这种情况下经常出现分歧。在这里,我们调整RNA来克服这些问题,使我们的计划可以用于快速算法,如梯度法与动量。我们证明了一般凸极小化问题的二次型和渐近最优速率的最优复杂性界。此外,这一新方案在网上工作,即,外推解估计可以在每次迭代时重新注入,从而显著提高了经典加速方法的数值性能。
2019-06-21 cs.LG math.OC stat.ML
A Note on k-support Norm Regularized Risk Minimization
École Centrale Paris(巴黎中央理工学院)
最近引入了k-支撑范数来执行相关稀疏正则化。虽然Argyriou等人只报告了使用平方损失的实验,但在这里,我们将其应用于其他几种常用的设置,从而产生了具有有趣和熟悉的极限情况的新型机器学习算法。这里描述的算法的源代码是可用的。
2013-03-27 cs.LG
Regularized L21-Based Semi-NonNegative Matrix Factorization
Portland State University(波特兰州立大学)
提出了一种通用的数据压缩算法--正则化L21半非负矩阵分解(L21 SNF)。L21 SNF提供了强大的,基于部分的压缩适用于混合符号数据,高保真,个别数据点重建是至关重要的。我们给出了算法收敛性的严格证明。通过实验,我们展示了L21 SNF的用例优势,包括在许多一般机器学习过程中广泛遇到的高度超定系统的压缩应用。
2020-05-10 cs.LG cs.NA math.NA
Regularized Frank-Wolfe for Dense CRFs: Generalizing Mean Field and Beyond
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院)
我们介绍了正则化的Frank-Wolfe,一个通用的和有效的算法的推理和学习的稠密条件随机场(CRF)。该算法优化了一个非凸连续松弛的CRF推理问题,使用香草弗兰克-沃尔夫近似更新,这相当于最小化一个正则化的能量函数。我们所提出的方法是现有的算法,如平均场或凹凸过程的推广。这种观点不仅提供了对这些算法的统一分析,而且还允许探索可能产生更好性能的不同变体的简单方法。我们在标准语义分割数据集上的经验结果中说明了这一点,其中我们正则化的Frank-Wolfe的几个实例优于平均场推理,无论是作为独立组件还是作为神经网络中的端到端可训练层。我们还表明,密集的CRF,加上我们的新算法,产生显着的改善强CNN基线。
2022-09-07 cs.CV cs.LG math.OC
Regularized Estimation and Feature Selection in Mixtures of Gaussian-Gated Experts Models
University of Queensland(昆士兰大学);University of Caen(卡昂大学);La Trobe University(拉筹伯大学)
混合专家模型及其基于期望最大化算法的极大似然估计(MLE)已在统计学和机器学习文献中得到深入研究。他们是越来越多的调查的背景下,高维预测与正则化极大似然估计建模。我们研究了高斯门控网络的MoE,用于聚类和回归,并提出了一个$\ell_1$正则化的MLE,以鼓励稀疏模型和处理高维设置。我们开发了一个EM-Lasso算法来执行参数估计,并利用BIC类标准来选择模型参数,包括稀疏调整超参数。仿真数据上的实验表明,与标准的期望最大化算法相比,所提出的正则化极大似然估计具有良好的性能。
2019-09-12 cs.LG stat.CO stat.ME
Accelerated Regularized Wasserstein Proximal Sampling Algorithms
Department of Mathematics, University of California, Los Angeles, CA 90095(加州大学洛杉矶分校数学系);Department of Mathematics, University of South Carolina, Columbia, SC 29208(南卡罗来纳大学数学系)
本文提出了一种加速的正则化Wasserstein近端采样算法,通过二阶分数ODE提升粒子混合效率,实现更快的收敛和更优的泛化性能。
2026-01-16 cs.LG math.OC stat.CO
Learning Nash Equilibria in Zero-Sum Stochastic Games via Entropy-Regularized Policy Approximation
Mastercard Corporation(万事达卡公司);Georgia Institute of Technology(佐治亚理工学院)
我们探讨使用政策近似,以减少零和随机博弈中学习纳什均衡的计算成本。我们提出了一种新的Q学习型算法,它使用一系列熵正则化的软策略来近似纳什策略在Q函数更新。我们证明了在一定条件下,通过更新正则化Q函数,算法收敛到一个纳什均衡。我们还证明了所提出的算法的能力,转移以前的训练经验,使代理能够快速适应新的环境。我们提供了一个动态的超参数调度方案,以进一步加快收敛。应用于一些随机游戏的实证结果验证了该算法收敛到纳什均衡,同时表现出一个主要的速度比现有的算法。
2021-06-27 cs.GT cs.LG cs.SY
A Unified View of Regularized Dual Averaging and Mirror Descent with Implicit Updates
Google, Inc.(谷歌公司)
我们研究了三个家庭的在线凸优化算法:跟随邻近正则化领导(FTRL-Proximal),正则化的双重平均(RDA),和复合目标镜像下降。我们首先证明等价定理,表明所有这些算法的实例一般FTRL更新。这为以前的实验观察提供了理论上的见解。特别是,尽管FOBOS复合镜像下降算法显式地处理L1正则化,但已经观察到RDA在产生稀疏性方面甚至更有效。我们的研究结果表明,FOBOS使用次梯度近似的L1罚款从以前的回合,导致较少的稀疏性比RDA,它处理的累积罚款在封闭的形式。FTRL-Proximal算法可以被视为这两种算法的混合,并且在大型真实世界数据集上的性能优于两者。我们的第二个贡献是一个统一的分析,产生遗憾的界限,匹配(对数项)或改善以前已知的最好的界限。这种分析还扩展了这些算法在两个重要的方面:我们支持更一般类型的复合目标,我们分析隐式更新,它取代了次梯度近似的当前损失函数的精确优化。
2011-09-20 cs.LG
Unsupervised Selective Manifold Regularized Matrix Factorization
George Mason University(乔治梅森大学)
用于矩阵分解的流形正则化方法依赖于聚类假设,由此在分解空间中保留输入空间中数据的邻域结构。我们认为,使用所有数据点的k邻域作为正则化约束可能会对因子分解的质量产生负面影响,并提出了一种无监督的选择性正则矩阵因子分解算法来解决这个问题。我们的方法联合学习稀疏的代表集及其邻居的亲和力,以及数据分解。我们进一步提出了一个快速近似我们的方法,放松对数据的选择性约束。我们提出的算法是有竞争力的基线和国家的最先进的流形正则化和聚类算法。
2020-10-20 cs.LG
Relative Entropy-Regularized Optimal Transport on a Graph: a new algorithm and an experimental comparison
继[21,23]之后,本工作研究了一种新的相对熵正则化算法,用于在随机最短路径形式主义中解决图上的最优运输问题。更准确地说,一个单位流被注入到一组输入节点和收集从一组输出节点,同时最小化期望的运输成本与路径相对熵正则化项,提供一个随机路由策略。这种新配方的主要优点是,它可以很容易地适应边缘流容量的限制,通常发生在现实世界的问题。得到的最优路由策略,即,在每个节点中跟随边缘的概率分布是马尔可夫的,并且由于[8]中开发的算法的变体,通过将输入和输出流约束到规定的边际概率来计算。此外,与其他最近开发的技术的实验比较表明,从引入的模型中得出的节点之间的距离度量提供了竞争力的结果,半监督分类任务。
2021-09-20 cs.LG
$\ell_1$ Regularized Gradient Temporal-Difference Learning
Technische Universität München(慕尼黑工业大学)
本文研究了线性价值函数逼近的时间差分学习问题。众所周知,大多数TD学习算法在线性函数逼近和离策略学习方面是不稳定的。最近发展的梯度TD(GTD)算法成功地解决了这个问题。然而,GTD算法的成功需要一组精心选择的功能,这并不总是可用的。当特征数量很大时,GTD算法可能会面临过拟合和计算量大的问题。为了解决这个困难,正则化技术,特别是$\ell_1$正则化,在开发TD学习算法中引起了极大的关注。目前的工作结合了GTD算法与$\ell_1$正则化。我们提出了一个家庭的$\ell_1$正则化的GTD算法,采用著名的软阈值算子。我们研究了所提出的算法的收敛性,并描述了它们的性能与几个数值实验。
2016-10-05 cs.AI cs.LG
AsymptoticNG: A regularized natural gradient optimization algorithm with look-ahead strategy
Xidian University(西安电子科技大学);Huawei Technologies Co. Ltd(华为技术有限公司)
进一步调整梯度规模的优化器,例如Adam、自然梯度(NG)等,尽管受到社会各界的广泛关注和使用,但与随机梯度下降(SGD)相比,其泛化性能往往较差。他们往往在训练开始时收敛得很好,但在结束时很弱。一个直接的想法是用SGD补充这些算法的优势。然而,优化器的截断替换通常导致更新模式的崩溃,并且新算法通常需要多次迭代来稳定其搜索方向。基于这一思想,针对这一问题,我们设计并提出了一种带有前瞻策略的正则化自然梯度优化算法,称为渐近自然梯度(ANG)。ANG根据总的迭代步数动态组合NG和欧氏梯度,并利用NG的强度沿新的方向更新参数。在CIFAR10和CIFAR100数据集上的验证实验表明,ANG能够以二阶速度平滑、稳定地更新,具有较好的泛化性能。
2021-01-16 cs.LG
Sketching for Convex and Nonconvex Regularized Least Squares with Sharp Guarantees
Arizona State University(亚利桑那州立大学)
本文提出统一处理凸与非凸 Fréchet 次可微正则项的 SRO 草图算法,建立近似误差与极小极大速率保证,并用迭代版本指数降低误差。
2023-11-03 cs.LG math.OC math.ST
Stability Analysis for Regularized Least Squares Regression
我们讨论了一类学习算法关于噪声标签的稳定性。我们所考虑的算法是用于回归的,并且它们涉及正则化风险泛函的最小化,例如L(f):= 1/N sum_i(f(x_i)-y_i)^2 + lambda| |f||_H^2。我们称该算法为“稳定的”,如果当y_i是f*(x_i)的噪声版本时,对于H中的某个函数f*,当正则化项和噪声同时消失时,该算法的输出收敛于f*。我们考虑这个问题的两种类型,一种是N个点的数据集保持固定,另一种是N ->无穷大。对于N ->无穷大的情形,当λ-> 0时,我们给出了收敛到f_E(函数是y(x)对每个x的期望)的条件。对于固定N的情况下,我们描述了限制的“非噪声”,“非正则化”的功能f*,并给出收敛的条件。在这个过程中,我们开发了一套工具来处理泛函,如L(f),这是适用于许多其他问题的学习理论。
2005-02-03 cs.LG
Bringing regularized optimal transport to lightspeed: a splitting method adapted for GPUs
KTH(瑞典皇家理工学院)
本文提出一种基于Douglas-Rachford分裂的正则化最优传输算法,具备全局收敛保证和低迭代成本,并可利用GPU并行化显著加速,在领域自适应和生成模型学习中表现优异。
2023-05-29 cs.LG
Equivalence Analysis between Counterfactual Regret Minimization and Online Mirror Descent
University of Science and Technology of China(中国科学技术大学)
FTRL(Follow-the-Regularized-Lead)和OMD(Online Mirror Descent)是求解在线凸优化(OCO)问题的后悔最小化算法,它们在数学上很优雅,但在求解可拓形式博弈(EFG)问题时却不太实用。反事实后悔最小化(CFR)是一种近似EFG纳什均衡的技术。CFR及其变体在实践中收敛速度快,但理论结果并不令人满意。近年来,研究人员一直试图将CFRs与OCO算法联系起来,这可能会提供新的理论结果并启发新的算法。然而,现有的分析仅限于局部决策点。在本文中,我们表明,与遗憾匹配和遗憾匹配+CFRs是等价的特殊情况下,FTRL和OMD,分别。根据这些等价关系,我们得到了一个新的FTRL和一个新的OMD算法,它们可以看作是vanilla CFR和CFR+的扩展。实验结果表明,这两种算法的收敛速度比传统的FTRL和OMD算法快,在某些EFG中甚至比vanilla CFR和CFR+算法快。
2022-04-19 cs.LG
An Iterative Algorithm for Regularized Non-negative Matrix Factorizations
本研究推广Lee和Seung的非负矩阵分解算法,支持加权范数与岭、Lasso正则化,将乘法更新重构为无零值卡滞的加法更新,还将配套R包rnnmf用于鸡尾酒数据库降秩表示求解。
2024-10-30 cs.LG math.OC stat.AP
Periodic Regularized Q-Learning
Department of Electrical Engineering, Korea Advanced Institute of Science and Technology(韩国科学技术院电气工程系)
本文提出周期性正则化Q学习算法,通过正则化投影算子实现稳定收敛,证明了在线性函数逼近下的有限时间收敛性。
2026-02-03 cs.AI cs.LG
Implicitly Regularized RL with Implicit Q-Values
Google Research(谷歌研究院);Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所)
$Q$ -函数是许多强化学习(RL)算法中的中心量,对于这些算法,RL代理遵循(软)贪婪策略w.r.t.到$Q$。它是一个强大的工具,允许在没有环境模型甚至没有明确建模策略的情况下选择操作。然而,该方案只能用于离散动作任务,动作数量较少,因为softmax无法精确计算。特别是使用函数近似来处理现代演员-评论家架构中的连续动作空间,本质上阻止了softmax的精确计算。我们建议通过隐式地将$Q$函数参数化为日志策略和价值函数的总和来缓解这个问题。我们使用由此产生的参数化来推导出一个实用的非策略深度RL算法,适用于大的动作空间,并且强制执行策略和$Q$值之间的softmax关系。我们提供了一个理论分析,我们的算法:从近似动态规划的角度来看,我们表明其等价于一个正则化版本的值迭代,占熵和Kullback-Leibler正则化,并享有有益的错误传播结果。然后,我们评估我们的算法在经典的控制任务,其结果与最先进的方法竞争。
2022-05-31 cs.LG