Exact-Form Regret for Gradient Descent, Mirror Descent and Follow-the-Regularized-Leader
MIT(麻省理工学院)
本文提出精确性作为统一原则,几何刻画了梯度下降、镜像下降和FTRL无遗憾的偏差类别,并引入保守相关均衡,揭示不同一阶方法控制不同偏差类。
2026-09-23 cs.GT cs.LG math.OC
Follow the Compressed Leader: Faster Online Learning of Eigenvectors and Faster MMWU
Microsoft Research(微软研究院);Princeton University(普林斯顿大学)
计算顶部特征向量的在线问题是机器学习的基础。在对抗和随机设置中,以前的结果(如矩阵乘法权重更新,遵循正则化领导者,遵循压缩领导者,块功率方法)要么实现最佳遗憾,但运行缓慢,要么以损失总遗憾中的$\sqrt{d}$因子为代价快速运行,其中$d$是矩阵维数。我们提出了一个$\textit{follow-the-compressed-leader (FTCL)}$框架,实现了最佳的遗憾,而不牺牲运行时间。我们的想法是将矩阵策略“压缩”到对抗设置中的3维或随机设置中的1维。这两个分别解决了两个开放的问题,关于设计的最佳和有效的算法的在线特征向量问题。
2017-09-18 cs.DS cs.LG math.OC
A Behavior Regularized Implicit Policy for Offline Reinforcement Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Salesforce Research(赛富时研究院)
离线强化学习可以从固定的数据集进行学习,而无需与环境进行进一步的交互。缺乏环境相互作用使得策略训练容易受到远离训练数据集的状态-动作对的影响,并且容易错过奖励动作。为了训练更有效的代理,我们提出了一个框架,支持学习一个灵活的,但规范化的全隐式政策。我们进一步提出了一个简单的修改经典的政策匹配方法正则化的对偶形式的詹森-香农发散和积分概率距离。我们从理论上证明了策略匹配方法的正确性,以及我们的修改的正确性和良好的有限样本性质。我们的框架通过GAN结构提供了一个有效的实例,连同技术,明确平滑的状态动作映射的强大的泛化超出静态数据集。在D4 RL基准上的大量实验和烧蚀研究验证了我们的框架和算法设计的有效性。
2022-10-07 cs.LG stat.ML
Stability-penalty-adaptive follow-the-regularized-leader: Sparsity, game-dependency, and best-of-both-worlds
Kyoto University(京都大学);RIKEN(理化学研究所);The University of Tokyo(东京大学);NEC Corporation(日本电气公司)
本文提出FTRL的SPA自适应学习率,实现了稀疏性、博弈依赖性和BOBW三种适应性,建立了首个稀疏依赖的BOBW算法并在部分监测中同时实现博弈依赖界与BOBW。
2024-02-13 cs.LG stat.ML
Implicitly Regularized RL with Implicit Q-Values
Google Research(谷歌研究院);Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所)
$Q$ -函数是许多强化学习(RL)算法中的中心量,对于这些算法,RL代理遵循(软)贪婪策略w.r.t.到$Q$。它是一个强大的工具,允许在没有环境模型甚至没有明确建模策略的情况下选择操作。然而,该方案只能用于离散动作任务,动作数量较少,因为softmax无法精确计算。特别是使用函数近似来处理现代演员-评论家架构中的连续动作空间,本质上阻止了softmax的精确计算。我们建议通过隐式地将$Q$函数参数化为日志策略和价值函数的总和来缓解这个问题。我们使用由此产生的参数化来推导出一个实用的非策略深度RL算法,适用于大的动作空间,并且强制执行策略和$Q$值之间的softmax关系。我们提供了一个理论分析,我们的算法:从近似动态规划的角度来看,我们表明其等价于一个正则化版本的值迭代,占熵和Kullback-Leibler正则化,并享有有益的错误传播结果。然后,我们评估我们的算法在经典的控制任务,其结果与最先进的方法竞争。
2022-05-31 cs.LG
A Unified View of Regularized Dual Averaging and Mirror Descent with Implicit Updates
Google, Inc.(谷歌公司)
我们研究了三个家庭的在线凸优化算法:跟随邻近正则化领导(FTRL-Proximal),正则化的双重平均(RDA),和复合目标镜像下降。我们首先证明等价定理,表明所有这些算法的实例一般FTRL更新。这为以前的实验观察提供了理论上的见解。特别是,尽管FOBOS复合镜像下降算法显式地处理L1正则化,但已经观察到RDA在产生稀疏性方面甚至更有效。我们的研究结果表明,FOBOS使用次梯度近似的L1罚款从以前的回合,导致较少的稀疏性比RDA,它处理的累积罚款在封闭的形式。FTRL-Proximal算法可以被视为这两种算法的混合,并且在大型真实世界数据集上的性能优于两者。我们的第二个贡献是一个统一的分析,产生遗憾的界限,匹配(对数项)或改善以前已知的最好的界限。这种分析还扩展了这些算法在两个重要的方面:我们支持更一般类型的复合目标,我们分析隐式更新,它取代了次梯度近似的当前损失函数的精确优化。
2011-09-20 cs.LG
Implicitly Normalized Online PCA: A Regularized Algorithm with Exact High-Dimensional Dynamics
Machine Learning and Information Processing Group, KUIS AI Center(机器学习与信息处理组,KUIS人工智能中心);Department of Electrical and Electronics Engineering(电子与电气工程系)
隐式归一化在线主成分分析(INO-PCA)通过动态范数演变和正则化更新,在高维极限下实现对问题相关信息的有效编码和利用,优于Oja算法并适应非平稳环境。
2025-12-01 cs.LG stat.ML
Regularized Graph Structure Learning with Semantic Knowledge for Multi-variates Time-Series Forecasting
Ant Group(蚂蚁集团);AI School, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
多变量时间序列预测是许多应用的关键任务,而图时间序列网络由于其能够同时捕获时空相关性而被广泛研究。然而,大多数现有的工作更侧重于学习与显式的先验图结构,而忽略了潜在的信息,从隐式图结构,产生不完整的结构建模。最近的一些工作试图直接学习内在或隐含的图结构,但缺乏一种将显式先验结构和隐式结构结合在一起的方法。在本文中,我们提出了正则化图结构学习(RGSL)模型,将显式先验结构和隐式结构结合在一起,并随着图结构一起学习预测深度网络。RGSL由两个创新模块组成。首先,我们通过节点嵌入推导出一个隐式的稠密相似矩阵,并使用基于Gumbel Softmax技巧的正则化图生成(RGG)来学习稀疏图结构。其次,我们提出了一个拉普拉斯矩阵混合模块(LM 3)来融合显式图和隐式图。我们在三个真实的数据集上进行了实验。实验结果表明,该模型在学习有意义的图结构的同时,性能明显优于现有的图预测算法。我们的代码和模型在https://github.com/alipay/RGSL.git上公开提供。
2022-10-12 cs.CV cs.LG
Online Linear Optimization via Smoothing
University of Michigan(密歇根大学)
我们提出了一种新的优化理论的方法来分析跟随领导风格的算法,特别是在设置扰动被用作正则化的工具。我们发现,增加一个强凸罚函数的决策规则和增加随机扰动的数据对应于确定性和随机平滑操作,分别。我们建立了“跟随正则化的领导者”和“跟随扰动的领导者”之间的等价性,直到光滑性。这种直觉导致了一个新的通用分析框架,恢复和改进了以前已知的遗憾界的算法类通常被称为跟随扰动的领导者。
2014-05-23 cs.LG
Fully Implicit Online Learning
Tsinghua University(清华大学);Tencent AI Lab(腾讯AI实验室)
正则化在线学习广泛应用于机器学习应用中。在在线学习中,执行精确最小化($i.e.,$隐式更新)已知有利于解的数值稳定性和结构。本文研究了一类正则化在线算法,我们称之为\emph{fully implicit online learning}(FIOL)。我们证明了对于任意Bregman发散,FIOL在一般凸情形下具有$O(\sqrt{T})$遗憾,在强凸情形下具有$O(\log T)$遗憾,并且该遗憾避免了线性化的逼近误差,具有一步改进效果.然后,我们提出了有效的算法来解决FIOL的子问题。我们表明,即使子问题的解决方案没有封闭的形式,它可以解决的线性化在线算法的复杂性。实验验证了所提出的方法。
2019-02-06 cs.LG stat.ML
cIDIR: Conditioned Implicit Neural Representation for Regularized Deformable Image Registration
Department of Biomedical Engineering, University of Basel, Switzerland(生物医学工程系,巴塞尔大学,瑞士)
本文提出基于隐式神经表示的条件可变形图像配准框架cIDIR,通过在正则化超参数先验分布上训练并以分割掩码为观测优化超参数,避免重复训练,并在DIR-LAB数据集上验证了其高精度与鲁棒性。
2025-07-17 cs.CV cs.LG
Implicit bias of SGD in $L_{2}$-regularized linear DNNs: One-way jumps from high to low rank
Courant Institute of Mathematical Sciences(库朗数学科学研究所);New York University(纽约大学)
本文研究$L_2$正则化深度线性网络中SGD的秩选择隐式偏差,证明其可从高秩极小值单向跳向低秩吸收集且返回概率为零。
2023-09-29 cs.AI cs.LG stat.ML
A Fast and Convergent Proximal Algorithm for Regularized Nonconvex and Nonsmooth Bi-level Optimization
University of Utah(犹他大学);Lawrence Livermore National Lab(劳伦斯利弗莫尔国家实验室)
许多重要的机器学习应用涉及正则化非凸双层优化。然而,现有的基于梯度的双层优化算法不能处理非凸或非光滑的正则化子,并且它们在非凸双层优化中具有很高的计算复杂度。在这项工作中,我们研究了一个近似梯度型算法,采用近似隐式微分(AID)计划的非凸双层优化可能非凸和非光滑正则化。特别地,该算法应用Nesterov的动量来加速AID中涉及的隐式梯度的计算。通过确定算法的内禀势函数,全面分析了算法的全局收敛性。特别是,我们正式建立了收敛的模型参数的临界点的双层问题,并获得了改进的计算复杂度$\mathcal{O}(κ^{3.5}ε^{-2})$的国家的最先进的结果。此外,我们分析了该算法的渐近收敛速度下的一类局部非凸几何的特点是一个Eschojasiewicz型梯度不等式。超参数优化实验表明了该算法的有效性。
2022-06-03 cs.LG math.OC
Competing With Strategies
Univ. of Pennsylvania(宾夕法尼亚大学)
我们研究的问题,网上学习的概念定义的一套策略的遗憾。我们开发的工具来分析极大极小利率和在这种情况下,得出遗憾最小化算法。虽然标准的方法,最大限度地减少通常的概念,遗憾失败,通过我们的分析,我们证明了存在的遗憾最小化的方法,与这样的一套战略,如:自回归算法,战略的基础上统计模型,正则化最小二乘法,并遵循正则化的领导者的战略。在某些情况下,我们也得到有效的学习算法。
2013-02-12 cs.GT cs.LG stat.ML
REV-INR: Regularized Evidential Implicit Neural Representation for Uncertainty-Aware Volume Visualization
INSIGHT Lab. IIT Kanpur(IIT坎浦实验室);Oak Ridge National Laboratory(橡树岭国家实验室);IIT Kharagpur(IIT哈里甘普);University of Utah(犹他大学)
REV-INR通过正则化证据隐式神经表示,在单次前向传递中实现体数据的高精度重建和不确定性估计,提升体可视化结果的可靠性。
2026-01-25 cs.GR cs.LG
Self-Regularized Learning Methods
Institute for Stochastics(随机学研究所);Applications, University of Stuttgart(应用,斯图加特大学);School of Mathematical Sciences(数学科学学院);Institute of Natural Sciences(自然科学研究所);MOE-LSC, Shanghai Jiao Tong University(教育部-上海交通大学联合实验室)
本文提出基于自调节概念的通用学习算法分析框架,通过隐式复杂度控制实现无需显式正则化。该框架涵盖经典正则化经验风险最小化和梯度下降,提供统计分析并讨论数据依赖超参数选择问题。
2026-03-17 cs.LG math.ST stat.ML
Follow-the-Perturbed-Leader Approaches Best-of-Both-Worlds for the m-Set Semi-Bandit Problems
School of Mathematical Sciences, Peking University(北京大学数学科学学院)
针对m-集半臂赌博机问题,提出带Fréchet扰动的Follow-the-Perturbed-Leader(FTPL)策略,在对抗性设置中实现接近最优遗憾界O(√nm(√d log(d)+m^{5/6})),并在随机设置中获得对数遗憾,且无需显式优化采样概率。
2025-07-07 cs.LG stat.ML
INFusion: Diffusion Regularized Implicit Neural Representations for 2D and 3D accelerated MRI reconstruction
The University of Texas at Austin(德克萨斯大学奥斯汀分校);MD Anderson Cancer Center(MD安德森癌症中心)
本文提出INFusion,利用预训练扩散模型正则化隐式神经表示以从欠采样MR测量中重建图像,并设计混合3D方法,验证了其在2D和大规模3D MRI上的有效性。
2024-12-09 cs.LG eess.IV
Adaptive Learning Rates with Surrogate Probability for Follow-the-Perturbed-Leader
Korea Institute of Science and Technology(韩国科学技术院);Kyoto University(京都大学);RIKEN AIP(理化学研究所AIP);The University of Tokyo(东京大学);University of Science and Technology(科学技术大学)
针对FTPL算法因无优化特性难以设计自适应概率依赖学习率的问题,提出基于替代概率函数的自适应学习率,实现了任意形状参数α>1的Pareto扰动下的最佳双世界保证,并扩展到专家建议的赌博机问题。
2026-06-04 cs.LG stat.ML
Accelerated regularized learning in finite N-person games
Stanford University(斯坦福大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Univ. Grenoble Alpes(格勒诺布尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔理工学院);LIG(信息与信号处理实验室)
本文提出“跟随加速领导者”(FTXL)方法,将Nesterov动量引入正则化学习,在有限N人博弈中实现对严格纳什均衡的超线性收敛,并在多种反馈结构下保持指数级加速优势。
2024-12-29 cs.GT cs.LG math.OC
Learning in quantum games
Stanford University(斯坦福大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔国立理工学院)
在本文中,我们介绍了一类学习动力学的一般量子游戏,我们称之为“跟随量子正则化的领导者”(FTQL),在参考经典的“跟随正则化的领导者”(FTRL)模板学习有限的游戏。我们表明,诱导量子态动力学分解成(i)一个经典的,交换的组件,它管理的方式类似于FTRL下的混合策略的演变系统的本征值的动力学;和(ii)一个非交换的组件系统的本征向量,没有经典的对应。尽管这个非经典的组件带来的并发症,我们发现,FTQL动力学招致不超过不断的遗憾,在所有的量子游戏。此外,调整经典概念的稳定性,以占量子游戏的状态空间的非线性几何,我们表明,只有纯量子平衡可以是稳定的,吸引下FTQL,而作为一个部分的逆,满足一定的“变分稳定”条件的纯平衡总是吸引。最后,我们证明了FTQL动力学在量子最小-最大博弈中是庞加莱递归的,以这种方式扩展了量子复制子动力学的一个非常新的结果。
2023-02-05 cs.GT cs.LG math.OC
Revisiting Follow-the-Perturbed-Leader with Unbounded Perturbations in Bandit Problems
Seoul National University(首尔国立大学);Kyoto University, RIKEN AIP(京都大学、RIKEN AIP);The University of Tokyo, RIKEN AIP(东京大学、RIKEN AIP)
针对FTPL因分析挑战导致BOBW结果有限的问题,重探无界扰动下FTRL-FTPL对偶性,在非对称无界Fréchet型扰动族下建立BOBW结果,扩展FTPL分析基础并为替代策略设计提供新见解。
2025-08-26 cs.LG stat.ML
Follow-the-Perturbed-Leader with Fréchet-type Tail Distributions: Optimality in Adversarial Bandits and Best-of-Both-Worlds
Seoul National University(首尔大学);Kyoto University(京都大学);RIKEN AIP(理化学研究所人工智能项目);NEC Corporation(日本电气公司)
本文研究FTPL策略在K臂老虎机中的最优性,建立了Fréchet型尾分布扰动实现对抗场景O(√(KT))悔值的充分条件,证明其双世界最优能力,为相关猜想和FTRL正则化研究提供新视角。
2024-03-08 cs.LG stat.ML
Actions Speak What You Want: Provably Sample-Efficient Reinforcement Learning of the Quantal Stackelberg Equilibrium from Strategic Feedbacks
Yale University(耶鲁大学);Princeton University(普林斯顿大学)
研究在回合制马尔可夫博弈中学习 Quantal Stackelberg Equilibrium 的强化学习问题,提出基于最大似然估计和无模型/基于模型 RL 的样本高效算法,并证明其次线性遗憾上界及计算高效性。
2023-07-26 cs.AI cs.LG math.ST
Self-Concordant Perturbations for Linear Bandits
提出统一框架连接FTRL与FTPL,引入自和谐扰动设计新算法,在超立方体和ℓ2球上达到O(d√(n ln n))遗憾,超立方体上较SCRiBLe改进√d倍。
2026-06-29 cs.LG stat.ML
Implicit Interpretation of Importance Weight Aware Updates
Boston University(波士顿大学)
该研究针对次梯度下降学习率调优难的问题,基于广义隐式FTRL框架首次证明在线学习场景下IWA更新的遗憾上界严格优于普通梯度更新,表明IWA更新是近似隐式/近端更新,补充了其理论解释。
2023-07-22 cs.LG
Efficient Algorithms for Regularized Nonnegative Scale-invariant Low-rank Approximation Models
INSA Lyon(里昂国立应用科学学院);UCBL(里昂第一大学);CNRS(法国国家科学研究中心);Inserm(法国国家健康与医学研究院);Innopolis University(因诺波利斯大学)
本文研究了齐次正则化尺度不变模型,证明了尺度不变性引发的隐式正则化效应,并提出了一种具有收敛保证的通用MM算法,用于处理非欧几里得损失下的非负低秩近似问题。
2025-01-30 cs.LG cs.NA math.NA
Regret Bounds without Lipschitz Continuity: Online Learning with Relative-Lipschitz Losses
University of British Columbia(不列颠哥伦比亚大学);Amii(阿尔伯塔机器智能研究所)
在线凸优化(OCO)中,通常假设函数的Lipschitz连续性以获得次线性遗憾。而且,当这些函数也是强凸函数时,许多算法只有对数遗憾。近年来,凸优化领域的研究者提出了“相对Lipschitz连续性”和“相对强凸性”的概念。这两个概念都是经典概念的推广。它已被证明,次梯度方法在相对设置具有类似于他们的性能在经典设置的性能。在这项工作中,我们考虑OCO相对Lipschitz和相对强凸函数。我们扩展了经典OCO算法的遗憾界的相对设置。具体来说,我们显示遗憾的界限遵循正规化的领导者算法和在线镜像下降的一个变体。由于这些方法的通用性,这些结果产生各种各样的OCO算法的遗憾界。此外,我们进一步扩展的结果与额外的正则化算法,如正则化双平均。
2020-12-28 cs.LG math.OC
Regularized Optimal Transport Layers for Generalized Global Pooling Operations
Renmin University of China(中国人民大学)
全局池是许多机器学习模型和任务中最重要的操作之一,用于信息融合和结构化数据(如集合和图)表示。然而,没有坚实的数学基础,它的实际实现往往依赖于经验机制,从而导致次优,甚至不满意的性能。在这项工作中,我们开发了一个新的和广义的全球汇集框架,通过镜头的最佳运输。所提出的框架是从期望最大化的角度解释。本质上,它旨在学习样本索引和特征维度之间的最佳传输,使相应的池化操作最大化输入数据的条件期望。我们证明,大多数现有的池化方法是相当于解决一个正则化的最优运输(ROT)问题,不同的专业化,更复杂的池化操作可以实现分层解决多个ROT问题。为了使ROT问题的参数可学习,我们开发了一系列正则化最优传输池(ROTP)层。我们将ROTP层实现为一种新的深度隐式层。它们的模型结构对应于不同的优化算法。我们在几个代表性的集合级机器学习场景中测试了我们的ROTP层,包括多实例学习(MIL),图分类,图集表示和图像分类。实验结果表明,应用我们的ROTP层可以降低全局池的设计和选择的难度--我们的ROTP层既可以模仿一些现有的全局池方法,也可以引入一些新的池层来更好地拟合数据。代码可在\url{https://github.com/SDS-Lab/ROT-Pooling}上获得。
2022-12-13 cs.CV cs.LG stat.ML
Penalised FTRL With Time-Varying Constraints
Trinity College Dublin(都柏林圣三一学院);TU Delft(代尔夫特理工大学)
在本文中,我们扩展了经典的Follow-The-Regularized-Leader(FTRL)算法,包括时变约束,通过自适应惩罚。我们建立了充分条件,建议惩罚FTRL算法实现$O(\sqrt{t})$遗憾和违反强基准$\hat{X}^{max}_t$。由于缺乏约束的先验知识,这可能是我们可以合理期望的最大基准集。我们的充分条件是必要的,在这个意义上说,当他们被违反存在的例子,$O(\sqrt{t})$遗憾和违反没有实现。与现有的最好的原始-对偶算法相比,惩罚FTRL大大扩展了$O(\sqrt{t})$后悔和违规性能可实现的问题。
2022-04-06 cs.LG cs.NI