Stochastic Optimization with Optimal Importance Sampling
University of California, Berkeley（加州大学伯克利分校）；CWI（荷兰信息与计算科学研究所）；Columbia University（哥伦比亚大学）；Inria（法国国家信息与自动化技术研究院）
本文提出了一种单循环随机逼近算法，用于解决随机优化中决策变量与重要性采样分布相互依赖的问题，实现了全局收敛和最小渐近方差。
2026-02-10 cs.LG math.OC math.ST
Reliable and scalable variable importance estimation via warm-start and early stopping
University of Wisconsin, Madison（威斯康星大学麦迪逊分校）；Department of Statistics（统计学院）
本文针对黑盒模型变量重要性估计的计算挑战，结合早停和热启动dropout技术，提出一种适用于迭代核更新算法的可扩展估计方法，并为其在神经网络和梯度提升树上的应用提供了理论保证和实验验证。
2025-03-07 cs.LG stat.ML
Importance of user inputs while using incremental learning to personalize human activity recognition models
University of Oulu（奥卢大学）
在这项研究中，用户输入的重要性进行了研究的背景下，个性化的人类活动识别模型，使用增量学习。使用来自三个身体位置的惯性传感器数据，并且分类基于Learn++集成方法。比较了三种不同的模型更新方法：非监督、半监督和监督。非监督方法完全依赖于预测标签，监督完全依赖于用户标记的数据，而所提出的半监督学习方法是这两者的组合。事实上，我们的实验表明，通过依赖于高置信度的预测标签，并要求用户只标记不确定的观察结果（根据所使用的基本分类器，从12%到26%的观察结果），几乎可以实现与使用监督方法一样低的出错率。事实上，差异小于2%-单位。此外，与非监督方法不同，半监督方法不会遭受剧烈的概念漂移，因此，非监督方法的出错率超过5%，比使用半监督方法高。
2019-05-28 cs.CV cs.HC cs.LG
Importance Resampling for Off-policy Prediction
University of Alberta（阿尔伯塔大学）；McGill University（麦吉尔大学）；Huawei（华为）
重要性采样（IS）是强化学习中用于偏离策略预测的常见重加权策略。虽然它是一致和无偏的，但它可能导致对价值函数的权重的高方差更新。在这项工作中，我们探讨了一个rescue战略作为一种替代重新加权。我们提出了重要性恢复（IR）的政策预测，从重放缓冲区重新采样的经验，并适用于标准的政策更新。该方法避免了在更新中使用重要性采样比率，而是在更新之前校正分布。我们的特点的偏见和一致性的IR，特别是相比加权IS（WIS）。我们证明了在几个微观世界，IR提高了样本效率和较低的方差更新，相比，IS和几个方差减少的IS策略，包括变体的WIS和V-跟踪剪辑IS比率。我们还提供了一个演示，显示IR提高了IS学习的价值函数从图像中的赛车模拟器。
2019-11-13 cs.AI cs.LG stat.ML
Implicit Interpretation of Importance Weight Aware Updates
Boston University（波士顿大学）
该研究针对次梯度下降学习率调优难的问题，基于广义隐式FTRL框架首次证明在线学习场景下IWA更新的遗憾上界严格优于普通梯度更新，表明IWA更新是近似隐式/近端更新，补充了其理论解释。
2023-07-22 cs.LG
Provably Efficient Off-Policy Adversarial Imitation Learning with Convergence Guarantees
Division of Systems Engineering（系统工程系）；Department of Computer Science（计算机科学系）；Amazon Robotics（亚马逊机器人）；Department of Electrical and Computer Engineering（电气与计算机工程系）
研究离策略对抗模仿学习算法的收敛特性与样本复杂性，证明重用特定策略生成的样本不影响收敛保证，且离策略更新的分布转移误差被更多数据带来的好处主导，为离策略AIL算法样本效率提供理论支持。
2026-07-09 cs.LG
MISA: Memory-Efficient LLMs Optimization with Module-wise Importance Sampling
Peking University（北京大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；Shanghai Jiao Tong University（上海交通大学）
MISA通过模块级重要性采样优化LLM，减少内存需求并提高收敛效率。
2026-01-14 cs.AI cs.LG
AdaDPIGU: Differentially Private SGD with Adaptive Clipping and Importance-Based Gradient Updates for Deep Neural Networks
Guangdong Provincial Key Laboratory of IRADS Beijing Normal-Hong Kong Baptist University（广东省IRADS关键实验室北京师范大学-香港 Baptist大学）
提出AdaDPIGU，一种结合重要性剪枝与自适应裁剪的差分隐私SGD框架，在MNIST和CIFAR-10上实现高精度，甚至超越非隐私基线，兼顾隐私与效用。
2025-07-09 cs.LG math.ST stat.ML
Scheduling for Cellular Federated Edge Learning with Importance and Channel Awareness
Zhejiang University（浙江大学）；Northwestern University（西北大学）；The University of Hong Kong（香港大学）
在蜂窝联合边缘学习（FEEL）中，保持本地数据的多个边缘设备通过与接入点通信学习更新而不交换它们的数据样本来联合训练神经网络。在通信资源非常有限的情况下，安排最具信息性的本地学习更新是有益的。在本文中，提出了一种新的调度策略，利用多用户信道的多样性和多样性的边缘设备的学习更新的“重要性”。首先，一个新的概率调度框架的开发，以产生无偏的更新聚合FEEL。局部学习更新的重要性通过其梯度发散来衡量。如果一个边缘设备被调度在每个通信轮，调度策略推导出封闭的形式，以实现信道质量和更新重要性之间的最佳权衡。然后扩展概率调度框架以允许在每个通信回合中调度多个边缘设备。使用流行的模型和学习数据集获得的数值结果表明，所提出的调度策略可以实现更快的模型收敛和更高的学习精度比传统的调度策略，只利用一种类型的多样性。
2020-06-23 cs.IT cs.LG cs.NI
Policy Optimization Through Approximate Importance Sampling
University of Cambridge（剑桥大学）；KAIST（韩国科学技术院）
最近的政策优化方法（Schulman等人，2015 a; 2017）通过构建新的代理优化目标，取得了实质性的经验成功。这些代理目标允许稳定和低方差的策略学习，但是需要小的策略更新以确保代理目标保持目标策略值的精确近似。在本文中，我们推导出一个替代的目标，通过应用重要性采样（IS）获得的目标政策的价值。然而，基本重要性抽样目标不适合策略优化，因为它会导致太大的变化，在政策更新。因此，我们引入了一个近似值，使我们能够直接权衡的偏差近似与政策更新的方差。我们表明，我们的近似统一以前开发的方法，并允许我们之间的插值。我们通过用近端策略优化技术优化引入的目标来开发实用算法（Schulman等人，2017年）。我们还提供了一个理论分析的政策优化目标，展示偏差方差权衡。我们的经验表明，所得到的算法改进后的最先进的政策政策优化的连续控制基准。
2020-02-21 cs.AI cs.LG stat.ML
Importance Weighted Evolution Strategies
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
进化策略（ES）作为流行的强化学习（RL）技术的可扩展替代方案出现，由于减少了通信开销，当分布在数百个CPU核心时，它提供了几乎完美的加速。尽管在挂钟时间上提供了很大的改进，但与竞争的RL方法相比，ES的数据效率很低。这种低效率的主要原因之一是收集了大量的经验，这些经验在每次策略更新后都会被丢弃。在这项工作中，我们研究了如何执行一个以上的更新，每批经验的重要性抽样，同时保持原有方法的可扩展性。所提出的方法，重要性加权进化策略（IW-ES），显示出良好的效果，是设计高效的ES算法的第一步。
2018-11-12 cs.LG cs.NE stat.ML
Multi-step Off-policy Learning Without Importance Sampling Ratios
University of Alberta（阿尔伯塔大学）
为了从探索性数据中估计策略的价值函数，大多数无模型的非策略算法依赖于重要性采样，其中使用重要性采样比率通常导致具有严重方差的估计。因此，期望在不使用比率的情况下学习偏离策略。然而，这样的算法不存在用于具有函数逼近的多步学习。在本文中，我们介绍了第一个这样的算法基于时间差（TD）学习更新。我们表明，明确使用的重要性采样比可以消除通过改变TD更新中的自举量的动作依赖的方式。我们的新算法实现稳定使用两个时间尺度的梯度为基础的TD更新。一个先前的算法的基础上查找表表示称为树备份也可以检索使用动作相关的引导，成为我们的算法的一个特殊情况。在两个具有挑战性的非策略任务中，我们证明了我们的算法是稳定的，有效地避免了大方差问题，并且可以比最先进的算法表现得更好。
2017-02-09 cs.LG
ESPO: Entropy Importance Sampling Policy Optimization
LLM Team, Shopee Pte. Ltd.（Shopee 股份有限公司大语言模型团队）
ESPO通过结合细粒度更新与稳定训练，解决梯度利用率不足问题，提升大语言模型在复杂推理任务中的性能。
2026-02-15 cs.AI cs.LG stat.ML
Dimension-Wise Importance Sampling Weight Clipping for Sample-Efficient Reinforcement Learning
KAIST（韩国科学技术院）
在诸如近端策略优化（PPO）的基于重要性采样（IS）的强化学习算法中，IS权重通常被裁剪以避免学习中的大方差。然而，从裁剪统计的政策更新引起大的偏见，在任务中具有高的动作维度，和偏见裁剪使得它很难重用旧的样本与大的IS权重。在本文中，我们认为PPO，一个代表性的政策算法，并提出了其改进的维度上的IS权重裁剪，分别剪辑每个动作维度的IS权重，以避免大的偏见，并自适应地控制IS权重绑定从当前策略的策略更新。这种新技术能够有效地学习高动作维度的任务，并重复使用旧的样本，如在离策略学习，以提高样本效率。数值实验结果表明，该算法在各种Open AI Gym任务中的性能优于PPO和其他RL算法。
2019-05-29 cs.AI cs.LG stat.ML
Learning from Random Demonstrations: Offline Reinforcement Learning with Importance-Sampled Diffusion Models
George Washington University（乔治·华盛顿大学）
提出一种基于重要性采样扩散模型的离线强化学习方法，通过闭环策略评估和世界模型自适应迭代对齐，在D4RL环境中显著超越基线，尤其适用于仅有随机或中等专家演示的场景。
2024-05-30 cs.GT cs.LG
Channel and Gradient-Importance Aware Device Scheduling for Over-the-Air Federated Learning
The Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong Polytechnic University（香港理工大学）；Southeast University（东南大学）
本文提出用于空中联邦学习的概率设备调度框架PO-FL，通过基于信道与梯度重要性优化设备调度概率以减轻信道噪声影响，实现了更快的收敛和更优的模型性能。
2023-11-23 cs.DC cs.LG
Memory Constrained Dynamic Subnetwork Update for Transfer Learning
LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI， Télécom 巴黎， 巴黎理工学院）
针对设备端训练内存受限问题，提出MeDyate框架，通过层排序与动态通道采样实现高效子网络适配，在极低内存下达到最先进性能。
2025-10-23 cs.AI cs.LG
Importance of using appropriate baselines for evaluation of data-efficiency in deep reinforcement learning for Atari
University of Birmingham（伯明翰大学）
强化学习（RL）在过去几年中取得了巨大的进步。尽管如此，RL社区的共识是，目前使用的方法，尽管它们有很多好处，但数据效率极低，特别是在Atari这样的丰富视觉领域。为了避免这个问题，引入了新的方法，这些方法通常声称比最先进的DQN算法的流行变体更有效。然而，在本文中，我们证明了新提出的技术只是在实验中使用了不公平的基线。也就是说，我们证明了效率的实际提高来自于允许算法对每个数据样本进行更多的训练更新，而不是采用新方法。通过允许DQN更频繁地执行网络更新，我们设法达到了与最近提出的改进类似或更好的结果，而复杂性和计算成本通常只是一小部分。此外，根据研究结果，我们认为，类似于本文中提出的修改后的DQN的代理应该被用作未来任何旨在提高深度强化学习样本效率的工作的基线。
2020-03-31 cs.LG stat.ML
Speeding Up EfficientNet: Selecting Update Blocks of Convolutional Neural Networks using Genetic Algorithm in Transfer Learning
East West University（东西大学）
卷积神经网络（CNN）的性能在很大程度上取决于其架构。CNN的迁移学习性能非常依赖于其可训练层的选择。为某个目标数据集选择最有效的更新层通常需要关于CNN架构的专业知识，而许多从业者并不了解。一般用户更喜欢使用可用的架构（例如GoogleNet，ResNet，EfficientNet等）。由领域专家开发的。随着层的数量不断增加，手工选择更新层变得越来越困难和繁琐。因此，在本文中，我们探讨应用遗传算法，以减轻这个问题。流行的预训练网络的卷积层通常被分组为构成其构建块的模块。我们设计了一个遗传算法来选择层块更新的参数。通过在ImageNet上预训练的EfficientNetB 0并使用Food-101，CIFAR-100和MangoLeafBD作为目标数据集进行实验，我们表明我们的算法在准确性方面产生了与基线相似或更好的结果，并且由于学习的参数数量较少，因此需要更少的训练和评估时间。我们还设计了一个称为块重要性的度量来衡量每个块作为更新块的效率，并分析了我们的算法选择的块的重要性。
2023-03-01 cs.CV cs.LG
Convergence and Accuracy Trade-Offs in Federated Learning and Meta-Learning
Google Research（谷歌研究院）
我们研究了一系列的算法，我们称之为本地更新方法，概括了许多联邦和元学习算法。我们证明了，对于二次模型，局部更新方法是等价于一阶优化的替代损失，我们确切地描述。此外，基本的算法选择（如学习率）显式地管理替代损失的条件数与其与真实损失的对齐之间的权衡。我们得到新的收敛率展示这些权衡，并强调其重要性，在通信有限的设置。使用这些见解，我们能够比较局部更新方法的基础上，他们的收敛/精度权衡，而不仅仅是他们的收敛到临界点的经验损失。我们的研究结果为广泛的现象提供了新的视角，包括服务器动量在联邦学习中的功效以及最近端客户端更新的影响。
2021-03-08 cs.DC cs.LG math.OC
Leveraging Importance Weights in Subset Selection
Google Research（谷歌研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了一个子集选择算法，旨在与任意模型的家庭在一个实际的批量设置。在这样的设置中，算法可以一次对一个示例进行采样，但是为了限制开销成本，一旦选择了足够大的一批示例，算法就只能更新其状态（即，进一步的训练模型权重）。我们的算法IWeS通过重要性采样选择示例，其中分配给每个示例的采样概率基于在先前选择的批次上训练的模型的熵。IWeS承认显着的性能改进相比，其他子集选择算法的七个公开可用的数据集。此外，它在主动学习设置中具有竞争力，其中标签信息在选择时不可用。我们还提供了一个初步的理论分析，以支持我们的重要性加权方法，证明泛化和采样率的界限。
2023-01-28 cs.AI cs.LG stat.ML
Importance Sampling Placement in Off-Policy Temporal-Difference Methods
University of Alberta（阿尔伯塔大学）
将许多非策略强化学习算法应用于现实世界问题的一个核心挑战是由重要性采样引入的方差。在离策略学习中，代理学习与正在执行的策略不同的策略。为了说明差异，通常使用重要性采样比率，但是这会增加算法中的方差并降低学习速率。已经提出了重要性采样的几种变体来减少方差，其中每决策重要性采样是最流行的。然而，在文献中的更新规则，大多数政策外的算法离开每决策重要性采样在一个微妙的方式，他们纠正整个TD的错误，而不仅仅是TD的目标。在这项工作中，我们展示了如何将这种轻微的变化解释为TD目标的控制变量，减少方差并提高性能。在广泛的算法上的实验表明，这种微妙的修改会提高性能。
2022-06-16 cs.LG
Beyond Uniform Credit: Causal Credit Assignment for Policy Optimization
Lexsi Labs（Lexsi实验室）
本文提出反事实重要性加权方法，通过因果信用分配提升语言模型推理性能，无需辅助模型或外部标注，实验验证其在GSM8K上的有效性。
2026-02-10 cs.AI cs.CL cs.LG
Task-Free Continual Learning
KU Leuven（鲁汶大学）
文献中提出的持续深度学习方法通常在基于任务的顺序学习设置中操作。一个任务序列被学习，一次一个，当前任务的所有数据都可用，但不包括先前或未来任务的数据。任务边界和身份在任何时候都是已知的。然而，这种设置在实际应用中很少遇到。因此，我们研究如何将持续学习转变为在线设置。我们开发了一个系统，它以流的方式随着时间的推移不断学习，数据分布逐渐变化，并且没有单独任务的概念。为此，我们建立在记忆感知突触的工作上，并通过提供一个协议来决定i）何时更新重要性权重，ii）使用哪些数据来更新它们，以及iii）如何在每个更新步骤中累积重要性权重，来展示如何在线实现这种方法。实验结果表明，在两个应用程序的上下文中的方法的有效性：（自我）监督学习的人脸识别模型，通过观看肥皂系列和学习机器人，以避免碰撞。
2019-08-19 cs.AI cs.CV cs.LG
Backprop Evolution
TU Berlin（柏林工业大学）；Google Brain（谷歌大脑）
反向传播算法是深度学习的基石。尽管它的重要性，一些变化的算法已被尝试。这项工作提出了一种方法来发现新的变化的反向传播方程。我们使用一个特定领域的语言来描述更新方程作为一个原始函数的列表。一种基于进化的方法被用来发现新的传播规则，最大限度地提高泛化性能后，几个时代的训练。我们发现几个更新方程，可以训练更快，训练时间短，比标准的反向传播，并执行类似的标准反向传播收敛。
2018-08-08 cs.LG cs.NE stat.ML
Class-Incremental Learning by Knowledge Distillation with Adaptive Feature Consolidation
Seoul National University（首尔大学）
提出了一种基于深度神经网络的类增量学习方法，该方法利用有限的存储空间不断学习新任务。我们的算法是基于知识蒸馏，并提供了一个原则性的方法来保持旧模型的表示，同时有效地调整到新的任务。所提出的方法估计表示变化和由此产生的损失增加模型更新所产生的之间的关系。它使用表示来最小化损失增加的上限，这利用了主干模型内每个特征图的估计重要性。基于重要性，该模型限制重要特征的更新以获得鲁棒性，同时允许不太重要的特征的变化以获得灵活性。这种优化策略有效地消除了臭名昭著的灾难性遗忘问题，尽管在以前的任务中数据的可访问性有限。在标准数据集上的实验结果表明，与现有方法相比，该算法的分类精度有了显著提高。代码可用。
2022-04-02 cs.LG
Online Meta-Learning for Model Update Aggregation in Federated Learning for Click-Through Rate Prediction
Huawei London Research Centre（华为伦敦研究中心）；Huawei Ireland Research Centre（华为爱尔兰研究中心）
在点击率（CTR）预测的联邦学习（FL）中，出于隐私保护的考虑，不共享用户的数据。学习是通过在客户端设备上进行本地训练并仅将模型更改传达给服务器来执行的。有两个主要挑战：（i）客户端的异质性，使得使用加权平均来聚合来自客户端的模型更新的FL算法具有缓慢的进展和不令人满意的学习结果;以及（ii）由于每个实验所需的大量计算时间和资源，难以用试错法来调整服务器学习率。为了解决这些挑战，我们提出了一个简单的在线元学习方法来学习聚合模型更新的策略，该策略根据客户端的属性自适应地权衡客户端的重要性，并调整更新的步长。我们对公共数据集进行了广泛的评估。我们的方法在收敛速度和最终学习结果的质量方面都显着优于最先进的方法。
2022-08-30 cs.AI cs.CR cs.IR
Perturbative adaptive importance sampling for Bayesian LOO cross-validation
NIH Clinical Center Rehabilitation Medicine Epidemiology and Biostatistics Section（NIH临床中心康复医学流行病学与生物统计学部门）；UCLA Department of Computational Medicine（UCLA计算医学系）；UCLA Department of Statistics（UCLA统计学系）；Data Science Research Center（数据科学研究中心）；Duke Kunshan University（杜克-昆山大学）；NIH NIDDK
本文提出扰动自适应重要性采样方法，通过变换实现高方差问题的解决，结合多种变换策略降低LOO交叉验证的重拟合需求。
2026-03-25 cs.AI cs.LG math.SP
Actor-Critic with Active Importance Sampling
Politecnico di Milano（米兰理工学院）
本文提出主动重要性采样Actor-Critic算法，通过优化行为策略减少策略梯度估计方差，提升连续动作空间下的学习效率与稳定性。
2026-05-08 cs.LG
GRPO-Guard: Mitigating Implicit Over-Optimization in Flow Matching via Regulated Clipping
Shenzhen Campus of Sun Yat-Sen University（中山大学深圳校区）；Kling Team, Kuaishou Technology（快手科技 Kling 团队）；CUHK MMLab（香港中文大学 MMLab）；Tsinghua University（清华大学）；HKUST（香港科技大学）；USTB（中国地质大学（北京））；UCAS（中国科学技术大学）
针对基于GRPO的流匹配优化中存在的隐式过度优化问题，提出融合比率归一化与梯度重加权的GRPO-Guard框架，在无需重KL正则化的情况下稳定优化，在多个扩散模型和任务上减少过度优化并维持生成质量。
2025-10-30 cs.CV cs.LG
Interpolating Between Softmax Policy Gradient and Neural Replicator Dynamics with Capped Implicit Exploration
Sony AI（索尼人工智能）；University of Alberta（阿尔伯塔大学）；Amii（阿尔伯塔机器智能研究所）；Brown University（布朗大学）
神经复制动力学（NeuRD）是一种替代基本的softmax策略梯度（SPG）算法的在线学习和进化博弈论的动机。NeuRD预期的更新被设计为几乎相同的SPG，但是，我们表明，蒙特卡罗更新有很大的不同：重要性校正占抽样行动是无效的SPG更新，但不是在NeuRD更新。自然地，这导致NeuRD更新具有比其SPG对应物更高的方差。在对抗性强盗设置中的隐式探索算法的基础上，我们引入了封顶隐式探索（CIX）估计，使我们能够构建NeuRD-CIX，它在NeuRD和SPG的这一方面之间插值。我们展示了如何CIX估计可用于黑盒还原，以构建具有高概率的遗憾界限的强盗算法，以及这为NeuRD-CIX在顺序决策设置中带来的好处。我们的分析揭示了SPG和NeuRD之间的偏差-方差权衡，并显示了理论预测NeuRD-CIX将表现得更好，更一致，比NeuRD，同时保留NeuRD的优势，SPG在非平稳环境。
2022-06-04 cs.AI cs.LG stat.ML
Updating Variational Bayes: Fast sequential posterior inference
Monash University（莫纳什大学）
变分贝叶斯（VB）方法产生后验推理的时间帧大大小于传统的马尔可夫链蒙特卡罗方法。虽然VB后验是一个近似，它已被证明产生良好的参数估计和预测值时，考虑了丰富的类近似分布。在本文中，我们提出了更新VB（UVB），一个递归算法，用于更新一系列的VB后验近似在一个在线的设置，与每个后验更新的计算只需要观察到的数据，因为以前的更新。一个扩展所提出的算法，命名为UVB-IS，允许用户通过使用重要性抽样的交易精度大幅增加计算速度。这两种方法及其属性在两个单独的模拟研究中详细介绍。所提出的UVB方法的两个实证说明，包括一个Dirichlet过程混合模型与一种新的后验依赖结构的上下文中反复更新的预测未来的行为的车辆上的美国101号公路的延伸。
2019-08-01 cs.LG stat.CO
Policy Optimization for Markov Games: Unified Framework and Faster Convergence
Harvard University（哈佛大学）；Princeton University（普林斯顿大学）；Salesforce Research（赛富时研究院）
研究了多智能体强化学习的策略优化算法。首先，我们提出了一个算法框架，两个球员零和马尔可夫游戏在全信息设置，其中每次迭代包括一个策略更新步骤，在每个状态下使用一定的矩阵游戏算法，并与一定的学习率的值更新步骤。该框架统一了许多现有的和新的策略优化算法。我们表明，该算法的状态明智的平均政策收敛到一个近似的纳什均衡（NE）的游戏，只要矩阵游戏算法实现低加权遗憾在每个状态，相对于由值更新的速度确定的权重。接下来，我们表明，这个框架实例化的乐观跟随正则化领导者（OFTRL）算法在每个状态（和平滑值更新）可以找到一个$\mathcal{\widetilde{O}}(T^{-5/6})$近似NE在$T$迭代，和一个类似的算法略有修改的值更新规则实现了更快的$\mathcal{\widetilde{O}}(T^{-1})$收敛速度。这些改进了对称策略优化型算法的当前最佳$\mathcal{\widetilde{O}}(T^{-1/2})$速率。我们还将该算法扩展到多人一般和马尔可夫博弈，并证明了$\mathcal{\widetilde{O}}(T^{-3/4})$收敛到粗相关均衡（CCE）的速度。最后，我们提供了一个数值例子来验证我们的理论和调查的重要性，光滑的值更新，并发现使用“渴望”的值更新，而不是（相当于独立的自然策略梯度算法）可能会显着减慢收敛，即使在一个简单的游戏与$H=2$层。
2022-07-22 cs.GT cs.LG cs.MA
CUER: Corrected Uniform Experience Replay for Off-Policy Continuous Deep Reinforcement Learning Algorithms
Bilkent University（比尔肯特大学）
针对经验回放中重要性动态变化及旧策略导致离策略更新偏差的问题，提出CUER算法，通过公平随机采样并使状态分布更在策略，提升连续控制算法的样本效率、性能与稳定性。
2024-06-13 cs.AI cs.LG
Low Variance Trust Region Optimization with Independent Actors and Sequential Updates in Cooperative Multi-agent Reinforcement Learning
Human Machine Interaction Laboratory（人机交互实验室）
针对合作多智能体强化学习中顺序更新导致优势函数方差指数级增长的问题，提出裁剪目标控制优势波动上限，实现亚线性收敛到ε-纳什均衡，并在三个基准测试中优于基线方法。
2026-06-25 cs.LG cs.MA
Fair Federated Learning under Domain Skew with Local Consistency and Domain Diversity
National Engineering Research Center for Multimedia Software（国家多媒体软件工程技术研究中心）；School of Computer Science, Wuhan University（武汉大学计算机学院）；Taikang Center for Life and Medical Sciences, Wuhan University（武汉大学泰康生命医学中心）
针对联邦学习在域偏移下的参数更新冲突与模型聚合偏差，提出利用方向更新一致性丢弃不重要参数更新并设计公平聚合目标，提升公平性与性能。
2024-05-26 cs.AI cs.LG
