Amortized Probabilistic Conditioning for Optimization, Simulation and Inference
University of Helsinki(赫尔辛基大学);Aalto University(阿尔托大学);University of Manchester(曼彻斯特大学)
提出摊销条件化引擎(ACE),一种基于Transformer的元学习模型,通过显式表示潜在变量,支持运行时对观测数据、潜在变量和先验进行灵活条件化,并在图像补全、贝叶斯优化等任务中展现了优异性能。
2025-03-04 cs.LG stat.ML
On Fast Convergence of Proximal Algorithms for SQRT-Lasso Optimization: Don't Worry About Its Nonsmooth Loss Function
University of Minnesota(明尼苏达大学);Johns Hopkins University(约翰斯·霍普金斯大学);Northwestern University(西北大学);Georgia Institute of Technology(佐治亚理工学院)
许多机器学习技术牺牲了方便的计算结构来获得估计鲁棒性和建模灵活性。然而,通过探索建模结构,我们发现这些“牺牲”并不总是需要更多的计算工作。为了揭示这种“免费午餐”现象,我们研究了平方根Lasso(SQRT-Lasso)型回归问题。具体来说,我们表明,非光滑的损失函数的SQRT-Lasso型回归缓解调整工作和增益自适应非均匀噪声,但不一定比Lasso在计算上更具挑战性。我们可以直接应用近似算法(例如近似梯度下降,近似牛顿和近似拟牛顿算法),而无需担心损失函数的非光滑性。理论上,我们证明了邻近算法结合路径优化计划享有快速收敛保证高概率。数值结果支持我们的理论。
2019-04-14 cs.LG math.OC stat.ML
Parameterized Convex Minorant for Objective Function Approximation in Amortized Optimization
Seoul National University(首尔大学)
提出参数化凸下包络方法,通过凸下包络加非负间隙函数逼近目标函数,实现单次凸优化求全局最小解,并验证于非凸逼近与非线性模型预测控制。
2023-11-10 cs.LG math.OC
Variance Reduction and Low Sample Complexity in Stochastic Optimization via Proximal Point Method
Goergen Institute for Data Science and Artificial Intelligence (GIDS-AI)(数据科学与人工智能研究所);Department of Computer Science, University of Rochester(计算机科学系)
本文提出一种随机近点法,通过方差缩减和概率增强技术,在无需强噪声假设的情况下实现低样本复杂度的随机优化收敛。
2025-12-21 cs.LG math.OC stat.ML
Improved Optimization of Finite Sums with Minibatch Stochastic Variance Reduced Proximal Iterations
University of Chicago(芝加哥大学);Tencent AI Lab(腾讯人工智能实验室)
针对经验风险最小化问题,提出了一种新的小批量随机最优化方法,该方法有效地利用了方差约化的一阶和子采样高阶信息,加快了收敛速度.对于二次目标,我们证明了在合理的假设下,改进的迭代复杂性。我们还提供了经验证据的优势,我们的方法相比,现有的方法在文献中。
2017-10-11 cs.LG math.OC stat.ML
Self-Attention Amortized Distributional Projection Optimization for Sliced Wasserstein Point-Cloud Reconstruction
University of Texas at Austin(德克萨斯大学奥斯汀分校);VinAI Research(VinAI研究院)
针对最大切片 Wasserstein 距离的度量性缺失和摊销模型非对称问题,提出基于自注意力架构的 v-DSW 摊销优化,实现线性复杂度并提升点云重建性能。
2023-05-08 cs.CV cs.GR cs.LG
Iterative Amortized Inference
California Institute of Technology(加州理工学院);Disney Research(迪士尼研究院)
推理模型是将变分推理扩展到深度潜在变量模型的关键组件,最值得注意的是变分自动编码器(VAE)中的编码器网络。通过用学习模型替换传统的基于优化的推理,推理在数据示例上被摊销,因此计算效率更高。然而,标准的推理模型仅限于直接从数据映射到近似的后验估计。这些模型未能达到完全优化的近似后验估计,导致摊销缺口。我们的目标是通过提出迭代推理模型来缩小这一差距,该模型通过重复编码梯度来学习执行推理优化。我们的方法概括了VAE的标准推理模型,并提供了一些实证研究结果,包括自上而下的推理技术。我们展示了迭代推理模型的推理优化能力,并表明它们在几个基准数据集的图像和文本上优于标准推理模型。
2018-07-24 cs.LG stat.ML
Optimization for Amortized Inverse Problems
Purdue University(普渡大学);Peking University(北京大学);Michigan State University(密歇根州立大学);New York University(纽约大学)
将深度生成模型作为逆问题中的先验分布,已经在从损坏的观测重建图像方面取得了实质性的成功。尽管如此,现有的优化方法在很大程度上使用梯度下降而不适应问题的非凸性质,并且可能对初始值敏感,从而阻碍进一步的性能改进。在本文中,我们提出了一个有效的摊销优化计划的反问题与深生成先验。具体来说,具有高难度的优化任务被分解成优化一系列容易得多的。我们提供了一个理论保证所提出的算法和经验验证它在不同的反问题。因此,我们的方法在质量和数量上都大大优于基线方法。
2023-01-28 cs.LG
Amortized Molecular Optimization via Group Relative Policy Optimization
RWTH Aachen University, Department of Computer Science(亚琛工业大学计算机科学系);Technical University of Munich, TUM Campus Straubing for Biotechnology and Sustainability(慕尼黑工业大学生物技术与可持续性校区);University of Applied Sciences Weihenstephan-Triesdorf, Bioinformatics(魏因施泰因-特里尔多应用科学大学生物信息学);RWTH Aachen University, Process Systems Engineering (AVT.SVT)(亚琛工业大学过程系统工程(AVT.SVT))
本文提出 AMORTIX 模型,通过组内奖励归一化解决分子结构优化中的异质性问题,在单目标和多目标激酶抑制剂设计中表现优异,优于其他方法。
2026-11-10 cs.LG
New nonasymptotic convergence rates of stochastic proximal pointalgorithm for convex optimization problems
University Bucharest(布加勒斯特大学)
最近的优化文献的大部门集中在过去十年的发展,逐步放松的假设下的约束凸模型的最优随机一阶计划。随机邻近点算法是将邻近点法应用于有噪声的随机最优化问题的一种迭代算法,其迭代过程与随机交替投影有关。受交替投影方法可扩展性的启发,我们从(线性)正则性假设出发,该假设通常用于凸可行性问题以保证随机交替投影方法的线性收敛,并分析了一个一般的弱线性正则性条件,该条件有利于随机邻近点方法的收敛速度提升.我们的应用程序包括许多非强凸函数类经常用于机器学习和统计。此外,在弱线性正则性假设下,我们保证$\mathcal{O}\left(\frac{1}{k}\right)$收敛速度的SPP,在距离最优集,只使用一个简单的组件集上的投影。当期望成本的最优集包含在每个功能部件的最优集中时,插值设置获得线性收敛。
2020-05-02 cs.LG math.OC stat.ML
Neural Proximal/Trust Region Policy Optimization Attains Globally Optimal Policy
Northwestern University(西北大学);Princeton University(普林斯顿大学)
使用神经网络参数化的演员和评论家的近端策略优化和信任域策略优化(PPO和TRPO)在深度强化学习中取得了显著的经验成功。然而,由于非凸性,PPO和TRPO的全局收敛性仍然不太清楚,这使理论与实践分离。在本文中,我们证明了一个变体的PPO和TRPO配备过参数化神经网络收敛到全局最优的政策,在一个次线性的速度。我们分析的关键是无限维镜像下降的全局收敛性的概念下的一点单调性,其中的梯度和梯度是由神经网络实例化。特别是,所需的表示能力和优化几何诱导过参数化的神经网络,使他们能够准确地近似的无穷维梯度和梯度。
2023-02-27 cs.LG math.OC stat.ML
signProx: One-Bit Proximal Algorithm for Nonconvex Stochastic Optimization
Washington University in St. Louis(圣路易斯华盛顿大学)
随机梯度下降(SGD)是大数据集并行和分布式处理中应用最广泛的最优化方法之一。分布式SGD的关键限制之一是需要在不同的计算节点之间定期传送梯度。为了减少这种通信瓶颈,最近的工作已经考虑了SGD的一位变体,其中在优化中仅使用每个梯度元素的符号。在本文中,我们提出了一个随机变量的近端梯度法,也使用一位每个更新元素扩展这一想法。在一组显式假设下,我们证明了该方法对非凸优化的理论收敛性。我们的结果表明,压缩方法可以与未压缩方法的收敛速度相匹配,这使得所提出的方法对于大型数据集的分布式处理具有潜在的吸引力。
2018-10-23 cs.LG math.OC stat.ML
Cheap Thrills: Effective Amortized Optimization Using Inexpensive Labels
Massachusetts Institute of Technology(麻省理工学院);Technical University of Denmark(丹麦技术大学)
本文提出一种利用廉价不完美标签的框架,通过监督预训练和自监督学习提升模型性能,在非凸约束优化、电网操作和刚性动力系统中实现更快收敛和更低计算成本。
2026-05-08 cs.LG math.OC
PABBO: Preferential Amortized Black-Box Optimization
Aalto University(阿尔托大学);Inserm(法国国家健康与医学研究院);Bordeaux Population Health Vaccine Research Institute(波尔多人口健康疫苗研究所);Université de Bordeaux(波尔多大学);Inria Bordeaux Sud-ouest(法国国家信息与自动化研究所波尔多西南分部)
本文提出PABBO,通过完全摊销偏好贝叶斯优化,利用Transformer神经过程和强化学习元学习代理模型与获取函数,大幅提升速度和准确性。
2025-03-02 cs.LG stat.ML
Riemannian Proximal Policy Optimization
Ant Financial Services Group(蚂蚁金融服务集团)
本文提出了一个求解马尔可夫决策过程(MDP)问题的保收敛的一般黎曼近似优化算法。为了对MDP中的策略函数进行建模,我们采用高斯混合模型(GMM),并将其表示为半正定矩阵黎曼空间中的非凸优化问题。对于两个给定的政策功能,我们还提供了它的下界的政策改善使用的界限来自Wasserstein距离的Gyndham。初步的实验表明,我们提出的黎曼近端策略优化算法的有效性。
2020-05-19 cs.LG stat.ML
Inexact Proximal Gradient Methods for Non-convex and Non-smooth Optimization
University of Pittsburgh(匹兹堡大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
在机器学习研究中,近似梯度法是解决各种非光滑正则化优化问题的常用方法。当精确求解邻近算子很耗时,或者邻近算子没有解析解时,不精确邻近梯度法是非常重要的。然而,现有的不精确近似梯度方法只考虑凸问题。非凸情形下的不精确邻近梯度法的知识非常有限。此外,对于某些机器学习模型,仍然没有提出用于精确求解邻近算子的求解器。为了解决这个问题,在本文中,我们首先提出了三个不精确的邻近梯度算法,包括基本版本和Nesterov的加速版本。在此之后,我们提供了理论分析的基本版本和涅斯捷罗夫的加速版本。理论结果表明,我们的非精确近似梯度算法可以有相同的收敛速度,在非凸设置的精确近似梯度算法。最后,我们展示了我们的不精确近似梯度算法在三个有代表性的非凸学习问题上的应用。所有的实验结果证实了我们的新的不精确邻近梯度算法的优越性。
2018-09-08 cs.LG stat.ML
Amortized Auto-Tuning: Cost-Efficient Bayesian Transfer Optimization for Hyperparameter Recommendation
Carnegie Mellon University(卡内基梅隆大学);Petuum(Petuum公司);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Stanford University(斯坦福大学)
随着现代机器学习模型的超参数数量和训练时间的激增,超参数调整变得越来越昂贵。然而,在系统地评估了40种调优方法后,我们发现每种方法都面临一定的局限性。特别是,通过知识转移加速调优的方法通常需要超参数的最终性能,并且不关注低保真度信息。正如我们的经验表明,这种常见的做法是次优的,并可能导致不必要的资源使用。相反,利用低保真度调优观察来测量任务间的相似性并相应地将知识从现有任务转移到新任务是更具有成本效益的。然而,执行多保真度调优在传输设置中也有其自身的挑战:额外观察中的噪声以及对性能预测的需求。因此,我们提出了一个多任务多保真度贝叶斯优化框架,并进行了深入的分析,这导致了最好的实例-分期自动调整(AT 2)。我们进一步提出了一个离线计算的27任务超参数推荐(HyperRec)数据库,以服务于社区。在HyperRec和其他真实数据库上的大量实验表明了我们的AT 2方法的有效性。
2022-04-07 cs.AI cs.LG stat.ML
Amortized Variational Inference: A Systematic Review
Sertis Vision Lab(Sertis视觉实验室)
本文系统综述了摊销变分推断的数学基础及最新进展,回顾了其解决传统VI扩展性不足的原理,并分析了摊销差距、后验崩溃等问题的应对趋势与改进优化的替代散度度量。
2023-10-24 cs.IT cs.LG math.IT
Proximal basin hopping: global optimization with guarantees
LJAD;MALGA;Université Côte d’Azur(法国尼斯大学);Università di Genova(热那亚大学);CNRS(国家科学研究中心)
提出近端盆地跳跃(PBH)理论框架,结合近端优化与局部最小化,构建算法以高概率收敛到全局最小值,在合成硬函数和深度学习标度律拟合等实际问题中表现优于有理论保证的已知算法,且维度越高性能差距越大。
2026-05-29 cs.LG math.OC
Variational Proximal Policy Optimization
University of California, Berkeley(加州大学伯克利分校)
提出变分近端策略优化(VP₂O),利用粒子变分推理和专家混合架构,通过几何近端控制机制解决强化学习中的策略模式崩溃和分布漂移问题,在复杂推理任务上取得显著提升。
2026-06-06 cs.LG stat.ML
Decentralized Inexact Proximal Gradient Method With Network-Independent Stepsizes for Convex Composite Optimization
Southeast University(东南大学);Purple Mountain Laboratories(紫金山实验室);Yonsei University(延世大学)
针对无向连通网络上的凸组合最优化问题,提出了一种新的基于CTA(Combine-Then-Adapt)的分散算法.这些问题中的局部损失函数包含光滑项和非光滑项。该算法采用非协调的网络无关常数步长,只需近似求解一系列邻近映射,有利于求解非光滑损失函数的邻近映射可能没有解析解的分散组合最优化问题.对于一般的凸情形,我们证明了该算法的O(1/k)收敛速度,如果精确求解邻近映射,则该算法的收敛速度可提高到O(1/k).此外,利用度量次正则性,我们建立了算法的线性收敛速率。数值实验证明了算法的有效性。
2023-03-04 cs.LG math.OC
Proximal algorithms for constrained composite optimization, with applications to solving low-rank SDPs
Stanford University(斯坦福大学)
研究了一类具有凸复合结构的(潜在非凸)约束最优化问题。通过一种新的分析非光滑几何,我们表明,近似型算法应用于精确的罚款制定这样的问题表现出局部线性收敛的二次增长条件下,我们认为确保组成结构。我们的结果的主要应用是低秩半定优化与Burer-Monteiro分解。通过半定问题中的结构,我们精确地确定了因子分解问题中二次增长的条件,这对于理解矩阵因子分解可能具有独立的意义。
2019-03-01 cs.LG math.OC
A Bregman firmly nonexpansive proximal operator for baryconvex optimization
Deep Gambit Limited(深博弈有限公司)
本文提出一种基于凸组合与极小极大系数更新的广义邻近算子,证明其关于混合欧几里得与信息几何的Bregman散度具有稳固非扩张性,并刻画其不动点与连续流。
2025-04-11 cs.LG math.OC
Convergence Rates of Inexact Proximal-Gradient Methods for Convex Optimization
INRIA(法国国家信息与自动化研究所);Laboratoire d’Informatique de l’École Normale Supérieure(巴黎高等师范学院计算机实验室)
我们考虑的问题,优化的光滑凸函数和非光滑凸函数使用近似梯度方法,其中存在的误差在计算的梯度的光滑项或在邻近算子相对于非光滑项的总和。我们证明了基本近似梯度法和加速近似梯度法都能达到与无误差情况下相同的收敛速度,只要误差以适当的速率减小,在一组结构稀疏性问题上,我们的性能与精心选择的固定误差水平一样好或更好。
2011-12-01 cs.LG math.OC
Proximal Policy Optimization Smoothed Algorithm
近端策略优化(PPO)在策略搜索(强化学习的一个子领域)中产生了最先进的结果,其关键点之一是使用代理目标函数来限制每次策略更新时的步长。虽然这样的限制是有益的,该算法仍然遭受性能不稳定和优化效率低下的突然平坦的曲线。为了解决这个问题,我们提出了一个PPO的变种,命名为近端策略优化平滑算法(PPOS),其关键的改进是使用功能裁剪方法,而不是一个平面裁剪方法。通过与采用回滚裁剪方法的PPO和PPORB方法的比较,证明了该方法比其他PPO方法在每个时间步上都能进行更精确的更新。此外,我们表明,它在具有挑战性的连续控制任务中的性能和稳定性方面优于最新的PPO变体。
2020-12-04 cs.LG stat.ML
Proximal Oracles for Optimization and Sampling
Goergen Institute for Data Science and Artificial Intelligence (GIDS-AI)(数据科学与人工智能研究所);Department of Computer Science, University of Rochester(罗切斯特大学计算机科学系);School of Aerospace Engineering, Georgia Institute of Technology(佐治亚理工学院航空航天工程学院)
针对非光滑凸优化与对数凹采样问题,提出基于正则化割平面法实现近邻映射的算法,结合近邻点框架与交替采样框架,确立复杂度并提出普适自适应方法,为相关场景提供高效解决方案。
2025-11-12 cs.LG math.OC
PPO-CMA: Proximal Policy Optimization with Covariance Matrix Adaptation
Aalto University(阿尔托大学);NVIDIA(英伟达)
近端策略优化(PPO)是一种非常流行的无模型强化学习(RL)方法。然而,我们观察到,在连续的动作空间中,PPO会过早地缩小探索方差,这会导致进展缓慢,并可能使算法容易陷入局部最优。从CMA-ES,一个黑盒进化优化方法的鲁棒性,在类似的情况下设计的灵感,我们提出了PPO-CMA,一个近端策略优化的方法,自适应地扩大探索方差,以加快进度。PPO只有很小的变化,我们的算法大大提高了性能在Roboschool连续控制基准。我们的研究结果还表明,与PPO相反,PPO-CMA对超参数的选择明显不敏感,允许人们在复杂的运动优化任务中使用它,而不需要繁琐的调整。
2020-11-03 cs.LG stat.ML
A Logarithmic Barrier Method For Proximal Policy Optimization
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学);Institude of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
近端策略优化(PPO)已被提出作为用于强化学习的一阶优化方法。需要注意的是,该方法采用了外部罚函数法,但通常情况下,当罚参数增大时,外部罚函数的极小值仅在极限内逼近可行。因此,这可能导致采样效率的低水平。该方法保留了PPO的优点,即易于实现和推广性好,我们称之为带障碍的近端策略优化(PPO-B)。具体地说,提出了一种新的代理目标与内部惩罚方法,以避免所带来的缺陷,外部惩罚方法。可以得出结论,PPO-B能够在采样效率方面优于PPO,因为PPO-B在Atari和Mujoco环境中的性能明显优于PPO。
2018-12-16 cs.LG stat.ML
Proximal Gradient Algorithm with Momentum and Flexible Parameter Restart for Nonconvex Optimization
University of Utah(犹他大学);The Ohio State University(俄亥俄州立大学);Duke University(杜克大学)
为了加速梯度算法在凸优化中的实际收敛性,人们提出了各种类型的参数重新启动方案。然而,在非凸优化问题中,加速梯度算法在参数重新启动下的收敛性仍不清楚。本文提出了一种新的带参数重启的加速近似梯度算法(APG-重启),用于求解非凸非光滑问题。我们的APG-重启的目的是:1)允许采用灵活的参数重启计划,涵盖了许多现有的; 2)有一个全球的子线性收敛速率在非凸和非光滑最优化;和3)有保证的收敛到一个临界点,并有各种类型的渐近收敛速度取决于参数化的局部几何非凸和非光滑最优化。数值实验证明了该算法的有效性。
2020-04-27 cs.LG math.OC
Complexities of Weak Proximal Oracle Methods for Composite Convex Optimization
Technion - Israel Institute of Technology(以色列理工学院)
本文研究基于弱近端预言机的复合凸优化方法,证明其无法加速,并给出新的上界,指出其预言机复杂性存在固有损失。
2026-09-22 cs.LG math.OC
Inexact Online Proximal-gradient Method for Time-varying Convex Optimization
University of Colorado Boulder(科罗拉多大学博尔德分校);IBM Research Ireland(IBM爱尔兰研究院)
本文考虑了一种在线逼近梯度法来跟踪随时间连续演化的复合凸函数的极小值。在线近似梯度法是不精确的,在这个意义上:(i)它依赖于成本的平滑分量的近似一阶信息;以及(ii)近似算子(相对于非平滑项)只能计算到一定精度。在适当的假设下,建立了强凸费用函数的误差迭代的收敛性。另一方面,动态后悔的成本不是强凸的情况下,额外的假设下,该问题包括可行性集是紧凑的。边界用累积误差和最优解的路径长度表示。这表明如何分配资源以在梯度计算和邻近算子中的性能和精度之间取得平衡。
2020-04-22 cs.LG math.OC
UNLocBoX: A MATLAB convex optimization toolbox for proximal-splitting methods
凸优化是机器学习的一个重要工具,因为它的许多问题可以用公式表示为特定目标函数的最小化问题。虽然有各种各样的算法可用于解决凸问题,但我们可以说,关注可以处理大数据的高效,可扩展的方法变得越来越重要。当目标函数可以写成“简单”项的和时,邻近分裂方法是一个很好的选择。UNLocBoX是一个MATLAB库,实现了许多这些方法,旨在解决$\min_{x \in \mathbb{R}^N} \sum_{n=1}^K f_n(x).$形式的凸优化问题,它包含最新的求解器,如FISTA,Douglas-Rachford,SDMM以及原始对偶技术,如Chambolle-Pock和forward-backward-forward。它还包括一个广泛的列表,可以组合的常见的邻近运算符,允许快速实现各种各样的凸问题。
2016-12-27 cs.LG stat.ML
Proximal Gradient Descent-Ascent: Variable Convergence under KŁ Geometry
University of Utah(犹他大学);The Ohio State University(俄亥俄州立大学)
梯度下降-上升(GDA)算法在求解极小极大最优化问题中得到了广泛的应用。为了实现极小极大优化的收敛策略参数,GDA生成收敛变量序列而不是函数值或梯度范数的收敛序列是重要的。然而,GDA的变收敛性仅在凸几何下得到了证明,对一般的非凸极大极小优化缺乏理解。本文通过研究正则化非凸-强-凹极大极小优化的更一般的近似GDA的收敛性,填补了这一空白。具体来说,我们表明,近似GDA承认一个新的李雅普诺夫函数,单调下降的极大极小优化过程中,并推动变量序列的临界点。通过利用这个李雅普诺夫函数和参数化一般非凸函数的局部几何的Kesterian几何,我们正式建立了近似GDA到临界点$x^*$的变量收敛,即,$x_t\to x^*, y_t\to y^*(x^*)$。此外,在整个频谱的KALTH参数化的几何,我们表明,近端GDA实现不同类型的收敛速度,从次线性收敛到有限步收敛,这取决于与KALTH参数的几何形状。这是第一个关于非凸极大极小优化的变量收敛性的理论结果。
2021-02-17 cs.LG math.OC
Cascaded Transformer for Robust and Scalable SLA Decomposition via Amortized Optimization
Informatics Institute University of Amsterdam Amsterdam, The Netherlands(阿姆斯特丹大学信息学院)
Casformer通过摊销优化与Transformer序列建模,实现稳健且可扩展的SLA分解,提升网络自动化效率。
2026-01-17 cs.AI cs.LG cs.NE
A General Framework for Structured Sparsity via Proximal Optimization
University College London(伦敦大学学院)
我们研究了结构稀疏性的一个广义框架。它扩展了著名的Lasso和Group Lasso方法,将变量的额外约束作为凸优化问题的一部分。该框架提供了一种直接的方式,有利于规定的稀疏模式,如排序,连续区域和重叠组,等等。现有的优化方法仅限于特定的约束集,往往不能很好地扩展样本大小和维度。我们提出了一种新的一阶近似方法,它建立在不动点和逐次逼近的结果。该算法可以应用于一般类的圆锥曲线和范数约束集,并依赖于一个邻近算子的子问题,可以显式计算。在不同的回归问题上的实验证明了该优化算法的有效性及其随问题规模的扩展性。它们还展示了最先进的统计性能,比Lasso和StructOMP有所改进。
2011-06-26 cs.LG stat.ML
Adaptive Proximal Gradient Method for Convex Optimization
Faculty of Mathematics, University of Vienna(维也纳大学数学学院);Samsung AI Center(三星人工智能中心)
本文通过利用局部曲率信息提出了无额外计算成本的自适应GD和ProxGD算法,并在仅假设梯度局部Lipschitz连续的条件下证明了其收敛性,且允许比[MM20]更大的步长。
2024-02-12 cs.LG cs.NA math.NA
Amortized Latent Steering: Low-Cost Alternative to Test-Time Optimization
Algoverse AI Research(Algoverse AI研究院)
本文提出摊销潜在引导(ALS),将逐查询的潜在空间测试时优化压缩为单个离线计算向量,以恒定推理成本校准隐藏表示,在GSM8K和MATH-500上实现2-5倍加速并超越贪心CoT和自一致性基线。
2025-11-07 cs.AI cs.LG
Proximal Policy Optimization and its Dynamic Version for Sequence Generation
National Taiwan University(台湾大学);HuaZhong University of science and technology(华中科技大学)
在序列生成任务中,许多工作使用策略梯度进行模型优化,以解决在对抗学习中最大化不可微评价指标或欺骗学习者时难以解决的反向传播问题。在本文中,我们用近端策略优化(PPO)代替策略梯度,这是一种被证明更有效的强化学习算法,并提出了一种用于PPO的动态方法(PPO-dynamic)。我们证明了PPO和PPO-dynamic对条件序列生成任务的有效性,包括合成实验和聊天机器人。结果表明,PPO和PPO-dynamic在稳定性和性能上都能战胜策略梯度。
2018-08-24 cs.CL cs.LG stat.ML
Proximal Quasi-Newton Methods for Regularized Convex Optimization with Linear and Accelerated Sublinear Convergence Rates
Dept. of Industrial and Systems Engineering, Lehigh University, Bethlehem, PA, USA(工业与系统工程系,莱维大学,伯灵顿,宾夕法尼亚州,美国)
本文研究了正则化凸优化中近似拟牛顿方法的收敛性,分析了强凸情况下精确与不精确设置的收敛性质,并探讨了加速变体的实用性与性能。
2017-10-17 cs.LG cs.NA math.NA
ATT3D: Amortized Text-to-3D Object Synthesis
NVIDIA Corporation(英伟达公司)
针对DreamFusion等文本到三维方法需逐提示词漫长优化的问题,提出ATT3D摊销式框架,通过统一模型同时训练多提示词共享计算,缩短训练时间,实现知识共享与文本插值生成新资产及动画。
2023-06-06 cs.AI cs.CV cs.LG
Amortized Acquisition Optimization for Bayesian Optimization with Variational Mutual Information
VBO-MI通过变分互信息估计提出一种完全梯度型贝叶斯优化框架,有效解决传统BNN-BO框架的后验采样和获取函数优化瓶颈,提升优化性能和计算效率。
2026-10-06 cs.IT cs.LG math.IT
Policy Optimization With Penalized Point Probability Distance: An Alternative To Proximal Policy Optimization
AI Lab, Xiaomi(小米人工智能实验室)
作为信任域策略优化(TRPO)最成功的变体和改进,近端策略优化(PPO)已广泛应用于各个领域,具有高效的数据利用率、易于实现和良好的并行性等优点。在本文中,一个一阶梯度强化学习算法,称为政策优化与惩罚点概率距离(POP3D),这是一个下界的平方总方差散度提出作为另一个强大的变种。首先,我们讨论了几种常用算法的缺点,我们的方法是由部分动机。其次,我们提出通过应用POP3D来克服这些缺点。第三,从解流形的角度深入探讨了其作用机理。最后,我们做了定量比较几个国家的最先进的算法的基础上共同的基准。仿真结果表明,POP3D与PPO相比具有很强的竞争力。此外,我们的代码发布在https://github.com/paperwithcode/pop3d上。
2019-02-14 cs.AI cs.LG stat.ML
Generalized Proximal Policy Optimization with Sample Reuse
Boston University(波士顿大学)
在现实世界的决策任务中,数据驱动的强化学习方法的稳定性和样本效率至关重要。策略方法通常在整个训练过程中产生可靠的策略改进,而非策略方法通过样本重用更有效地利用数据。在这项工作中,我们结合了理论上支持的政策上的算法的稳定性的好处与政策外的算法的样本效率。我们开发的政策改进保证,适合于关闭的政策设置,并连接这些界限的裁剪机制中使用的近端策略优化。这激发了一个流行的算法,我们称之为广义近端策略优化与样本重用的非策略版本。我们从理论上和经验上证明,我们的算法提供了改进的性能,有效地平衡竞争的目标的稳定性和样本效率。
2021-10-29 cs.AI cs.LG stat.ML
Memory-Computation Tradeoffs in Semi Amortized Parametric Optimization
Johns Hopkins University(约翰·霍普金斯大学)
研究在固定在线计算预算下,半摊销参数优化中离线信息与精度的关系。通过构建非参数预测器分析,给出强凸和满足特定条件凸目标的内存上下界及证明框架,实验验证了内存-计算-精度权衡。
2026-07-24 cs.LG
Mitigating Representation Gaps in Amortized Bayesian Inference with Auxiliary Supervision
TU Dortmund University(多特蒙德工业大学);Rensselaer Polytechnic Institute(伦斯勒理工学院)
本文提出利用辅助监督损失改善摊销贝叶斯推断的训练动态,缓解表示差距,加快收敛并提升性能,并在多个现实问题中验证了有效性。
2026-10-01 cs.LG stat.CO stat.ME
Deep Gaussian Process Proximal Policy Optimization
深度高斯过程近端策略优化通过利用深度高斯过程来近似策略和价值函数,在保持性能的同时提供校准的不确定性估计,以促进更安全有效的探索。
2025-12-19 cs.LG
Amortized Active Learning for Nonparametric Functions
Technical University of Berlin(柏林工业大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
针对非参数函数主动学习中GP训练与采集优化代价高的问题,提出用GP先验构建模拟器并预先训练神经网络策略,实现零样本泛化、实时选点及与耗时基线相当的性能。
2024-09-10 cs.LG
Bridging Physics-Informed Neural Networks with Reinforcement Learning: Hamilton-Jacobi-Bellman Proximal Policy Optimization (HJBPPO)
University of Waterloo(滑铁卢大学)
将Hamilton-Jacobi-Bellman近端策略优化(HJBPPO)算法引入到强化学习中。Hamilton-Jacobi-Bellman(HJB)方程在控制理论中用于评估价值函数的最优性。我们的工作将HJB方程与连续状态和动作空间中的强化学习相结合,以改善价值网络的训练。我们将价值网络视为物理信息神经网络(PINN),通过精确计算其对输入的导数来求解HJB方程。近端策略优化(PPO)-裁剪算法是利用该实现改进的,因为它使用价值网络来计算其策略网络的目标函数。HJBPPO算法在MuJoCo环境中显示出比PPO更好的性能。
2023-02-01 cs.AI cs.LG cs.NA
Proximal Policy Optimization with Adaptive Exploration
提出axPPO算法,依据智能体近期表现动态调节探索幅度,以改善强化学习中的探索-利用权衡,并在学习效率上优于标准PPO。
2024-05-07 cs.AI cs.LG
Proximal Policy Optimization with Mixed Distributed Training
Shanghai Institute for Advanced Communication and Data Science(上海先进通信与数据科学研究院);School of Computer Engineering and Science, Shanghai University(上海大学计算机工程与科学学院)
不稳定性和缓慢性是深度强化学习中的两个主要问题。即使近端策略优化(PPO)是现有技术,它仍然遭受这两个问题。提出了一种基于近端策略优化的改进算法--混合分布式近端策略优化(MDPPO),并证明了该算法能够加速和稳定训练过程。在我们的算法中,多个不同的策略同时训练,每个策略控制几个相同的代理与环境进行交互。每个策略像往常一样分别对动作进行采样,但训练过程的轨迹是从所有代理收集的,而不是只有一个策略。我们发现,如果我们精心选择一些辅助轨迹来训练策略,算法将更稳定,更快地收敛,特别是在稀疏奖励的环境中。
2019-09-30 cs.AI cs.LG
Hindsight Experience Replay Accelerates Proximal Policy Optimization
Sandia National Laboratories(桑迪亚国家实验室)
针对HER因违反同策略假设难用于同策略算法的问题,研究验证了后见经验回放(HER)可在定制捕食者-猎物环境中显著加速同策略强化学习算法近端策略优化(PPO)。
2024-10-29 cs.LG
Slack More, Predict Better: Proximal Relaxation for Probabilistic Latent Variable Model-based Soft Sensors
本文提出KProxNPLVM,通过松弛优化目标减少近似误差,提升概率潜在变量模型在软传感器建模中的准确性。
2026-03-16 cs.LG cs.SY eess.SY
On-Policy Optimization of ANFIS Policies Using Proximal Policy Optimization
College of Engineering and Applied Science(工程与应用科学学院)
本文提出用PPO同策略actor-critic框架训练ANFIS神经模糊控制器,在CartPole-v1上以零方差稳定达到满分500,优于ANFIS-DQN基线,验证了PPO训练可解释模糊智能体的优势。
2025-07-04 cs.AI cs.LG
Optimistic Proximal Policy Optimization
National Institute of Advanced Industrial Science and Technology(产业技术综合研究所);NEC Central Research Laboratories(NEC中央研究所);The University of Tokyo(东京大学)
强化学习是一种用于训练基于奖励的自主智能体的机器学习框架,在各个领域都表现出了出色的效果。然而,众所周知,在奖励很少的领域中学习好的策略是困难的。我们提出了一种方法,乐观的近端策略优化(OPPO),以减轻这一困难。OPPO考虑了估计总回报的不确定性,并根据该金额对政策进行了乐观评估。我们表明,OPPO在表格任务中优于现有的方法。
2019-06-25 cs.AI cs.LG