Slow-Fast Multi-Teacher On-Policy Distillation for Capability Preservation
Ant Security Lab, Ant Group（蚂蚁安全实验室，蚂蚁集团）；Fudan University（复旦大学）
针对多教师蒸馏导致学生模型通用能力下降的问题，提出SF-MOPD方法，通过快速与慢速模型耦合，仅移除偏离慢速模型的更新成分，有效缓解能力干扰并提升多模态专长。
2026-10-05 cs.AI cs.LG
Accelerated Primal-Dual Policy Optimization for Safe Reinforcement Learning
MIT（麻省理工学院）；Boston College（波士顿学院）
约束马尔可夫决策过程（CMDP）是一个自然的框架，强化学习任务的安全约束，其中代理学习的政策，最大化的长期回报，同时满足长期成本的约束。求解CMDPs的经典方法是原始-对偶方法，该方法依次更新原始和对偶空间中的参数。现有的CMDPs方法只使用策略上的数据进行双重更新，这导致样本效率低下和收敛速度慢。在本文中，我们提出了一种策略搜索方法CMDPs称为加速原始-对偶优化（APDO），它结合了一个离线的政策训练的对偶变量的对偶更新过程中，同时更新的政策在原始空间与政策似然比梯度。在一个模拟机器人运动任务上的实验结果表明，APDO实现了更好的样本效率和更快的收敛速度比国家的最先进的方法CMDPs。
2018-02-19 cs.AI cs.LG stat.ML
t-Soft Update of Target Network for Deep Reinforcement Learning
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
提出了一种新的深度强化学习（DRL）目标网络鲁棒更新规则，以取代传统的指数移动平均更新规则。目标网络用于平滑地生成用于DRL中的主网络的参考信号，从而减小学习方差。其传统更新规则的问题在于，所有参数都以相同的速度从主网络平滑复制，即使其中一些参数试图向错误的方向更新。这种行为增加了产生错误参考信号的风险。虽然降低整体更新速度是一种减少错误更新的简单方法，但它会降低学习速度。为了在保持学习速度的同时鲁棒地更新参数，借鉴指数移动平均与正态分布的相似性，提出了一种t软更新方法。通过对导出的t软更新的分析，我们证明了它具有学生t分布的性质。具体来说，由于学生t分布的重尾特性，t-soft更新会自动排除与过去经验不同的极端更新。此外，当更新与过去的经验相似时，可以通过增加更新量来减轻学习延迟。在DRL的PyBullet机器人仿真中，具有t-soft更新的在线actor-critic算法在获得的回报和/或其方差方面优于传统方法。从t-soft更新的训练过程中，我们发现t-soft更新与标准软更新是全局一致的，并且更新速率被局部调整以加速或抑制。
2020-12-25 cs.LG stat.ML
Iterative Update and Unified Representation for Multi-Agent Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Nanchang University（南昌大学）
多智能体系统在合作和竞争任务中有着广泛的应用。在多智能体强化学习（MARL）中，随着智能体数量的增加，非平稳性越来越严重，给学习过程带来很大困难。此外，目前的主流算法为每个Agent配置一个独立的网络，使得内存使用量随着Agent数量的增加而线性增加，大大降低了与环境的交互速度。受生成对抗网络（GAN）的启发，提出了一种迭代更新方法（IU）来稳定非平稳环境。此外，我们增加了第一人称视角，并表示所有的代理只有一个网络，可以改变代理的策略，从顺序计算到批量计算。类似于持续的终身学习，我们实现了迭代更新方法在这个统一的代表性网络（IUUR）。在该方法中，迭代更新可以大大缓解环境的非平稳性，统一表示可以加快与环境的交互速度，避免内存使用的线性增长。此外，该方法不打扰分散执行和分布式部署。实验表明，与MADDPG相比，我们的算法达到了最先进的性能，节省了大量的挂钟时间，特别是在更多的代理。
2019-08-16 cs.AI cs.LG
Two-Timescale Q-Learning with Function Approximation in Zero-Sum Stochastic Games
University of Maryland, College Park（马里兰大学帕克分校）；MIT（麻省理工学院）；Caltech（加州理工学院）
针对两人零和随机博弈，提出对称、基于收益的双时间尺度函数逼近 Q-learning，并利用 Lyapunov 分析首次给出线性逼近下末次迭代有限样本界。
2023-12-08 cs.LG cs.MA
Synchronous vs Asynchronous Reinforcement Learning in a Real World Robot
University of Alberta（阿尔伯塔大学）
本研究针对实体机器人同步强化学习响应慢影响性能的问题，用Franka Emika Panda机械臂对比同步与异步RL，证实异步RL学习更快、回报更高，且响应速度比梯度更新次数更影响性能。
2025-03-17 cs.AI cs.CV cs.LG
Consolidated Adaptive T-soft Update for Deep Reinforcement Learning
Nara Institute of Science and Technology（奈良科学技术研究所）
针对深度强化学习中T-soft目标网络更新需逐任务调参、抗噪性易被削弱且难渐近匹配主网的问题，提出结合AdaTerm规则的自适应更新与主网回拉整合机制的CAT-soft方法，经数值模拟验证有效。
2022-02-25 cs.LG cs.RO
Dealing With Non-stationarity in Decentralized Cooperative Multi-Agent Deep Reinforcement Learning via Multi-Timescale Learning
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；University of McGill（麦吉尔大学）；Polytechnique Montréal（蒙特利尔理工学院）
针对去中心化协作MARL中并发学习导致的非平稳性，本文提出不同学习率的多时间尺度算法，在保持收敛优势的同时加速顺序学习，并在epymarl基准上优于现有方法。
2023-08-17 cs.LG
Dual-Layer Agentic Memory with Fast Write Routing and Slow Consolidation
Zhejiang University（浙江大学）；Xiaohongshu（小红书）；University of North Texas（北得克萨斯大学）
该研究针对LLM智能体动态环境下的记忆管理问题，提出双层智能体记忆框架，通过成本感知路由与周期性整合实现高效记忆处理，在保留高检索性能的同时减少冗余。
2026-09-01 cs.CL
Blind Decision Making: Reinforcement Learning with Delayed Observations
Purdue University（普渡大学）
强化学习通常假设来自先前动作的状态更新是瞬时发生的，因此可以用于做出未来的决策。然而，这可能并不总是正确的。当状态更新不可用时，由于不能依赖于当前状态信息，因此所采取的决策部分是盲目的。本文提出了一种方法，其中可以使用状态知识的延迟，并且基于可能不包括当前状态信息的可用信息做出决策。一种方法可以是将最后已知状态之后的动作作为状态信息的一部分包括在内，然而，这会导致状态空间增加，使得问题复杂且收敛较慢。所提出的算法给出了一种替代的方法，状态空间不扩大，相比的情况下，没有延迟的状态更新。在基本强化学习环境下的测试结果进一步说明了该算法的性能改进。
2020-11-16 cs.LG
Fictitious play in zero-sum stochastic games
Bilkent University（比尔肯特大学）；Cornell University（康奈尔大学）；Massachusetts Institute of Technology（麻省理工学院）
我们提出了一个新的变种虚拟游戏动态相结合的经典虚拟游戏与Q-学习随机游戏，并分析其收敛性在两个玩家零和随机游戏。我们的动态涉及球员形成对对手的策略和自己的连续收益（Q函数）的信念，并发挥贪婪的最佳对策，通过使用估计的连续收益。玩家通过观察对手的行动来更新他们的信念。学习动力学的一个关键特性是，Q函数上的信念更新的时间尺度比策略上的信念更新的时间尺度要慢。我们表明，在基于模型和无模型的情况下（不知道参与者支付函数和状态转移概率），策略信念收敛于零和随机博弈的平稳混合纳什均衡。
2022-06-02 cs.GT cs.LG math.DS
Policy Optimization for Markov Games: Unified Framework and Faster Convergence
Harvard University（哈佛大学）；Princeton University（普林斯顿大学）；Salesforce Research（赛富时研究院）
研究了多智能体强化学习的策略优化算法。首先，我们提出了一个算法框架，两个球员零和马尔可夫游戏在全信息设置，其中每次迭代包括一个策略更新步骤，在每个状态下使用一定的矩阵游戏算法，并与一定的学习率的值更新步骤。该框架统一了许多现有的和新的策略优化算法。我们表明，该算法的状态明智的平均政策收敛到一个近似的纳什均衡（NE）的游戏，只要矩阵游戏算法实现低加权遗憾在每个状态，相对于由值更新的速度确定的权重。接下来，我们表明，这个框架实例化的乐观跟随正则化领导者（OFTRL）算法在每个状态（和平滑值更新）可以找到一个$\mathcal{\widetilde{O}}(T^{-5/6})$近似NE在$T$迭代，和一个类似的算法略有修改的值更新规则实现了更快的$\mathcal{\widetilde{O}}(T^{-1})$收敛速度。这些改进了对称策略优化型算法的当前最佳$\mathcal{\widetilde{O}}(T^{-1/2})$速率。我们还将该算法扩展到多人一般和马尔可夫博弈，并证明了$\mathcal{\widetilde{O}}(T^{-3/4})$收敛到粗相关均衡（CCE）的速度。最后，我们提供了一个数值例子来验证我们的理论和调查的重要性，光滑的值更新，并发现使用“渴望”的值更新，而不是（相当于独立的自然策略梯度算法）可能会显着减慢收敛，即使在一个简单的游戏与$H=2$层。
2022-07-22 cs.GT cs.LG cs.MA
SlowMo: Improving Communication-Efficient Distributed SGD with Slow Momentum
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（脸书人工智能研究院）
分布式优化对于在大型数据集上训练大型模型至关重要。已经提出了多种方法来减少分布式训练中的通信开销，例如仅在执行多个本地SGD步骤之后进行同步，以及分散式方法（例如，使用流言算法）来解耦工作者之间的通信。虽然这些方法比基于AllReduce的方法运行得更快，后者在每次更新之前使用阻塞通信，但在相同数量的更新之后，生成的模型可能不太准确。受Chen & Huo（2016）的BMUF方法的启发，我们提出了一个慢动量（SlowMo）框架，其中工人在多次迭代基础优化算法后定期同步并执行动量更新。在图像分类和机器翻译任务上的实验表明，相对于基本优化器，SlowMo始终在优化和泛化性能方面有所改进，即使在许多更新中分摊了额外的开销，使得SlowMo运行时与基本优化器不相上下。我们提供了理论收敛保证表明，SlowMo收敛到平稳的非凸损失点。由于BMUF可以通过SlowMo框架表示，我们的结果也对应于BMUF的第一个理论收敛保证。
2020-02-19 cs.DC cs.LG math.OC
SLowcal-SGD: Slow Query Points Improve Local-SGD for Stochastic Convex Optimization
Technion（以色列理工学院）
针对异构分布式学习，提出SLowcal-SGD方法，通过定制慢查询技术，首次在理论上证明优于Minibatch-SGD和Local-SGD，有效缓解局部更新偏差。
2025-01-18 cs.LG math.OC
Limitations of a proposed correction for slow drifts in decision criterion
Princeton University（普林斯顿大学）；Howard Hughes Medical Institute（霍华德·休斯医学研究所）
决策任务中的试验历史偏差被认为反映了决策变量的系统更新，因此它们的精确性质决定了有关潜在启发式策略和学习过程的结论。然而，决策变量的随机漂移可能会通过模仿系统更新的签名来破坏这种推断。因此，识别决策变量的逐个试验演变需要能够稳健地解释这种漂移的方法。最近的研究（Lak'20，Mendonça'20）在这个方向上取得了重要进展，通过提出一种方便的方法来纠正决策标准中缓慢漂移的影响，这是一个关键的决策变量。在这里，我们将这种校正应用到各种更新场景中，并评估其性能。我们发现，校正失败的范围广泛的通常假设系统的更新策略，扭曲一个人的推理远离veridical策略对一个狭窄的子集。为了解决这些限制，我们提出了一种基于模型的方法，用于消除随机漂移的系统更新的歧义，并在真实和合成数据集上证明了其成功。我们表明，这种方法准确地恢复决策标准的漂移的潜在轨迹，以及从模拟数据的生成系统更新。我们的研究结果为解释历史偏差和缓慢漂移之间的相互作用的方法提供了建议，并突出了将关于生成过程的假设直接纳入决策模型的优势。
2022-05-22 cs.LG cs.NE q-bio.NC
FedNNNN: Norm-Normalized Neural Network Aggregation for Fast and Accurate Federated Learning
Kyoto University（京都大学）
联邦学习（Federated learning，FL）是一种分布式学习协议，服务器需要将一些独立的客户机学习到的模型集合在一起进行学习。目前，模型平均（称为FedAvg）是最广泛采用的聚合技术之一。然而，它是已知的，以产生具有降低的预测精度和缓慢的收敛的模型。在这项工作中，我们发现，平均模型从不同的客户端显着减少了规范的更新向量，导致缓慢的学习率和低预测精度。因此，我们提出了一种新的聚合方法称为FedNNNN。而不是简单的模型平均，我们调整的更新向量的范数，并引入动量控制技术，以提高聚合效率的FL。作为一个演示，我们评估FedNNNN在多个数据集和不同的神经网络模型的情况下，并观察到高达5.4%的精度提高。
2020-08-11 cs.LG stat.ML
AdaDelay: Delay Adaptive Distributed Stochastic Convex Optimization
Massachusetts Institute of Technology（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）
研究了延迟梯度模型下的分布式随机凸优化问题，其中服务节点执行参数更新，而工作节点计算随机梯度。我们讨论、分析和实验一个由真实世界的分布式计算网络的行为激励的设置，其中机器在不同的时间有不同的速度。因此，我们允许参数更新对所经历的实际延迟敏感，而不是对最大延迟的最坏情况界限敏感。这种敏感性导致更大的步长，这可以帮助获得快速的初始收敛，而不必等待太长时间的较慢的机器，同时保持相同的渐近复杂度。我们在具有多达数十亿个示例和特征的真实数据集上进行分布式实验，在总体收敛性方面取得了令人鼓舞的改进。
2015-08-20 cs.LG math.OC stat.ML
Sparks of cognitive flexibility: self-guided context inference for flexible stimulus-response mapping by attentional routing
Institute of Cognitive Science, University of Osnabrück（奥斯纳布吕克大学认知科学研究所）
本文提出威斯康星神经网络（WiNN），通过快慢学习与上下文状态引导注意力，实现图像任务中灵活刺激-反应映射的自主规则推断，减少灾难性遗忘，并展现认知灵活性标志。
2025-02-25 cs.LG q-bio.NC
Batch Acquisition Function Evaluations and Decouple Optimizer Updates for Faster Bayesian Optimization
本文提出通过解耦QN更新和批量调用获取函数，以提高贝叶斯优化的效率，减少计算开销。
2025-12-09 cs.AI cs.LG
Exploration of Fast-Slow Latent Recurrence for Train-Short, Test-Long Generalization
The University of Tokyo（东京大学）；University of Tübingen（图宾根大学）
本文提出快慢复发机制，通过结合快速递归潜在更新与慢速观测更新，提升长周期序列建模的稳定性与泛化能力，优于LSTM等基线方法。
2026-07-09 cs.AI cs.LG
SlowFast-VGen: Slow-Fast Learning for Action-Driven Long Video Generation
UCLA（加利福尼亚大学洛杉矶分校）；State University of New York at Buffalo（纽约州立大学布法罗分校）；Microsoft Research（微软研究院）
针对现有视频生成模型忽略快学习导致长视频帧间不一致的问题，提出融合慢学习扩散模型与时序LoRA快学习策略的SlowFast-VGen系统，搭配20万条标注视频数据集，在生成质量与长时规划任务上均优于基线。
2024-10-31 cs.AI cs.CL cs.CV
Adaptive Differential Filters for Fast and Communication-Efficient Federated Learning
Fraunhofer Heinrich Hertz Institute (HHI)（弗劳恩霍夫海因里希·赫兹研究所（HHI））
联邦学习（FL）场景通过频繁地在客户端和服务器之间传输神经网络更新而固有地产生大量通信开销。为了最小化通信成本，引入稀疏性结合差分更新是一种常用的技术。然而，稀疏模型更新可能会减慢收敛速度或无意中跳过某些更新方面，例如，如果错误积累没有得到适当解决，则会导致学习到的特征。在这项工作中，我们提出了一种在卷积滤波器粒度下操作的新缩放方法，该方法1）补偿FL过程中的高度稀疏更新，2）通过增强滤波器空间中的一些特征同时减少其他特征来使局部模型适应新的数据域，以及3）激励更新中的额外稀疏性，从而实现更高的压缩比，即，节省整个数据传输。与未缩放的更新和以前的工作相比，在单向，双向和部分更新FL设置中的不同计算机视觉任务（Pascal VOC，CIFAR10，胸部X射线）和神经网络（ResNets，MobileNets，VGG）上的实验结果表明，所提出的方法提高了中央服务器模型的性能，同时收敛速度更快，并将传输的数据总量减少了377倍。
2022-04-09 cs.AI cs.CV cs.DC
Nonlinear Two-Time-Scale Stochastic Approximation: A Sharp Phase Transition and How to Beat It
Indian Institute of Technology Kharagpur（印度理工学院克达尔格浦尔分校）；Mohamed bin Zayed University of Artificial Intelligence（莫莫德 bin Zayed 人工智能大学）；Purdue University（普渡大学）
本文发现非线性双时间尺度随机逼近中慢速迭代的均方误差率存在依赖于正则性的相变边界，并通过引入辅助在线偏差估计器将慢速更新中的偏差项减去，从而在全部正则性参数下实现O(k^{-1})的收敛率。
2026-06-15 cs.IT cs.LG math.IT
Dichotomy of Feature Learning and Unlearning: Fast-Slow Analysis on Neural Networks with Stochastic Gradient Descent
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（RIKEN先进人工智能项目中心）
本文研究了神经网络中特征学习与遗忘的二元性，通过快慢动态分析揭示特征遗忘的机制与条件，提出特征遗忘由数据主非线性项强度和第二层权重初始尺度决定。
2026-02-07 cs.LG physics.data-an stat.ML
Aergia: Leveraging Heterogeneity in Federated Learning Systems
Delft University of Technology（代尔夫特理工大学）
Aergia通过让慢客户端冻结计算密集部分并将其训练任务卸载给更快客户端，提升联邦学习在异质环境下的效率与准确性。
2026-03-18 cs.DC cs.LG
MgSvF: Multi-Grained Slow vs. Fast Framework for Few-Shot Class-Incremental Learning
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Cloud BU, Huawei Technologies（华为技术有限公司云业务部）
针对少样本类别增量学习中旧知识慢速遗忘与新知识快速适应的SvF两难问题，提出多粒度MgSvF框架，从空间内、空间间两粒度设计频率感知正则化与特征空间组合操作，性能大幅超越现有最优方法。
2024-03-12 cs.CV cs.LG
pFedSOP : Accelerating Training Of Personalized Federated Learning Using Second-Order Optimization
Department of Artificial Intelligence, Indian Institute of Technology, Hyderabad（人工智能系，印度理工学院，海得拉巴）
针对个性化联邦学习一阶优化收敛慢、通信轮次多及额外局部计算问题，提出pFedSOP，用Gompertz归一化夹角和正则化FIM近似Hessian实现二阶优化，实验性能优于现有方法。
2025-06-08 cs.DC cs.LG
