Target Updates May Stabilize Linear Q-Learning: Periodic and Soft Dynamics
School of Electrical Engineering, KAIST(韩国成均馆大学电气工程学院)
本文通过精确的切换线性系统动力学和联合谱半径分析,证明了在特定谱和步长条件下,周期性硬目标更新和软目标更新可以保证线性Q学习收敛到精确的投影Q-Bellman解。
2026-05-31 cs.AI cs.LG stat.ML
Geometrically Averaged Hard Target Updates for Linear Q-Learning
School of Electrical Engineering, KAIST(韩国科学技术院电气工程学院)
提出λ-几何加权平均的周期目标更新方法,用于线性Q学习,通过切换系统模型分析其稳定性,连接了单周期更新和投影Q值迭代。
2026-06-09 cs.AI cs.LG
Deep Q-Learning with Gradient Target Tracking
Electrical Engineering, KAIST(韩国科学技术院电子工程系)
本文提出带梯度目标跟踪的Q学习框架,通过AGT2-DQN和SGT2-DQN两种连续梯度更新方法替代DQN中的硬更新,消除人工调节并证明其收敛性与性能优势。
2025-07-18 cs.LG cs.SY eess.SY
Beyond the Policy Gradient Theorem for Efficient Policy Updates in Actor-Critic Algorithms
Microsoft Research Montréal(微软蒙特利尔研究院)
在强化学习中,给定状态下的最优行为取决于后续状态下的策略决策。因此,学习目标随着时间的推移而演变,并且策略优化过程必须能够有效地忘记它以前学到的东西。在本文中,我们发现,策略梯度定理规定的政策更新,是缓慢的遗忘,因为它们的结构对称性的价值目标。为了提高学习速度,我们研究了一种新的策略更新:交叉熵损失的梯度相对于动作最大化$q$,但发现这样的更新可能会导致价值的下降。因此,我们引入了一个修改后的政策更新没有这个缺陷,并证明其保证收敛到全局最优的$\mathcal{O}(t^{-1})$在经典的假设。此外,我们评估标准的政策更新和我们的交叉熵政策更新沿六个分析维度。最后,我们实证验证我们的理论研究结果。
2022-02-15 cs.AI cs.LG math.OC
Deep Learning based Estimation of Weaving Target Maneuvers
Rafael(拉斐尔公司)
在目标跟踪中,对未知摆动目标频率的估计是提高脱靶量的关键。估计过程通常在卡尔曼框架中进行。本文的目的是研究使用神经网络在目标跟踪应用的潜力。为此,我们建议使用深度神经网络来估计编织频率,而不是基于经典卡尔曼框架的估计。特别是,我们专注于一组可能的恒定目标频率是已知的情况下。设计了几种需要低计算资源的神经网络架构来估计已知频率集合中的未知频率。并与多模型自适应估计算法进行了性能比较。仿真结果表明,在所研究的场景中,深度神经网络在精度和收敛所需的测量量方面优于多模型自适应估计。
2018-06-13 cs.LG stat.ML
Approximate Next Policy Sampling: Replacing Conservative Target Policy Updates in Deep RL
提出近似下一策略采样(ANPS)方法,通过修改训练分布而非约束策略更新来解决强化学习中的“鸡生蛋”问题,并基于此设计稳定值近似策略迭代(SV-API)算法,在Atari和连续控制任务上实现更大目标策略更新且性能匹配或提升。
2026-06-19 cs.LG
Scalar-Stepsize Nonuniform Monte Carlo Optimistic Policy Iteration: A Certified Counterexample
Yuanlong Chen(陈元龙)
针对非均匀更新频率下的蒙特卡洛乐观策略迭代,本文通过一个三状态MDP反例证明标量步长非均匀异步值迭代可能不收敛,并揭示了各向异性畸变导致的切换吸引环。
2026-06-16 cs.LG
Memory Merge DQN: Sensitivity Weighted Target Updates for Stable Value Learning
Deakin University(迪肯大学);Federation University(联邦大学);UNSW(新南威尔士大学)
研究针对深度Q网络目标网络更新的权衡问题,提出内存合并深度Q网络机制,通过保留近期在线网络副本记忆,依Q值灵敏度合并参数构建目标网络,实验表明该方法能提升稳定性与最终性能。
2026-07-23 cs.LG
Consolidated Adaptive T-soft Update for Deep Reinforcement Learning
Nara Institute of Science and Technology(奈良科学技术研究所)
针对深度强化学习中T-soft目标网络更新需逐任务调参、抗噪性易被削弱且难渐近匹配主网的问题,提出结合AdaTerm规则的自适应更新与主网回拉整合机制的CAT-soft方法,经数值模拟验证有效。
2022-02-25 cs.LG cs.RO
Periodic Q-Learning
Korea Advanced Institute of Science and Technology(韩国科学技术院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
使用目标网络是深度强化学习中稳定训练的常见做法;然而,对这种技术的理论理解仍然有限。在本文中,我们研究了所谓的周期性Q-学习算法(简称PQ-学习),它类似于深度Q-学习中用于解决表格设置中的无限时域折扣马尔可夫决策过程(DMDP)的技术。PQ学习维护两个独立的Q值估计-在线估计和目标估计。在线估计遵循标准Q学习更新,而目标估计定期更新。与标准Q学习相比,PQ学习具有简单的有限时间分析,并且在寻找ε最优策略时实现了更好的样本复杂度。我们的结果提供了一个初步的理由,利用目标估计或网络的有效性Q-学习算法。
2020-02-23 cs.LG math.OC stat.ML
A Contraction Framework for Stochastic Operators with Bootstrapping: Application to TD Learning
Delft University of Technology(代尔夫特理工大学);Rey Juan Carlos University(胡安卡洛斯国王大学)
本文提出一个通用收缩框架,将带自举的随机更新建模为随机算子,在无需梯度结构且允许采样误差增长的情况下,推导出TD学习等算法的有限时间收敛界,并统一了现有确定性及随机梯度型结果。
2026-09-25 cs.LG eess.SP math.OC
Where Decoder Cosine Similarity Fails for SAE Feature Flow Discovery
Hasso Plattner Institute(哈索·普拉特纳研究所);IT University of Copenhagen(哥本哈根信息技术大学)
本文发现SAE特征流发现中解码器余弦相似度在MLP更新场景下失效,通过构建转移图谱和消融验证,在Pythia和Gemma模型中揭示了大量低余弦相似度但强效应的转移,为表示-更新机制诊断提供新工具。
2026-09-14 cs.LG
Schrödinger--Föllmer Actor--Critic: Diffusion Policy Improvement with Finite-Sample Analysis
Wuhan University(武汉大学)
提出SFAC方法,通过条件扩散和Doob h-变换实现KL正则化策略改进,结合极小极大评论家与SNIS估计漂移修正,并给出有限样本分析,在连续控制任务中优于离线初始化。
2026-11-10 cs.LG stat.ML
Why Target Networks Stabilise Temporal Difference Methods
University of Oxford(牛津大学)
本文通过形式化部分拟合策略评估框架,从理论上解释了目标网络为何能稳定TD学习,并证明在适当条件下即使面对离策略采样和非线性函数逼近也能保证收敛。
2023-08-11 cs.AI cs.LG
Deep Policy Gradient Methods Without Batch Updates, Target Networks, or Replay Buffers
University of Alberta(阿尔伯塔大学);Amii(艾伯塔机器智能研究所);National Research Council of Canada(加拿大国家研究委员会);CIFAR Canada AI Chair(CIFAR加拿大人工智能首席科学家)
针对现有深度策略梯度方法依赖大型回放缓冲区或批量更新、难以适配资源受限真实系统的问题,提出增量方法AVG及配套归一化缩放技术,在仿真基准上性能媲美批量方法,首次实现真实机器人的增量式深度强化学习。
2025-05-21 cs.AI cs.LG cs.RO
Proxy OPD: On-Policy Distillation with Transferable Relative Proxy Update for Large Language Models
研究针对大语言模型训练后优化信号耦合问题,提出PUST框架,通过代理模型探索、提取并传输相对改进信号,解耦更新信号探索与分布对齐,减少计算开销,支持异步处理与跨模型转移,提升训练后范式的模块化、可重用性与效率。
2026-11-17 cs.AI cs.LG
A moving target in AI-assisted decision-making: Dataset shift, model updating, and the problem of update opacity
University of Copenhagen(哥本哈根大学)
本文提出模型更新会在AI辅助决策中引入“更新不透明性”这一新型不透明性问题,并探讨了双事实解释、动态模型报告等应对策略及其局限,指出需进一步研究以解决相关认识论与安全关切。
2025-04-07 cs.AI cs.CY cs.HC
Edge Conditional Node Update Graph Neural Network for Multi-variate Time Series Anomaly Detection
Korea University(高丽大学)
针对多变量时间序列异常检测中图方法源节点表示缺乏边条件适应性的问题,提出 ECNU-GNN,通过边条件节点更新动态变换源节点表示,并在 SWaT、WADI、PSM 上显著提升 F1。
2024-01-25 cs.LG
Efficient Exact Gradient Update for training Deep Networks with Very Large Sparse Targets
Université de Montréal(蒙特利尔大学);CIFAR(加拿大高等研究院)
一类重要的问题涉及训练具有非常高维D的稀疏预测目标的深度神经网络。这些自然发生在例如神经语言模型或词嵌入的学习中,通常被设定为预测大小为D(例如200 000)的词汇表中的下一个词的概率。从合理维度d(例如,500)的最后隐藏层计算同样大但通常非稀疏的D维输出向量对于每个示例都导致令人望而却步的O(Dd)计算成本,更新D × d输出权重矩阵并计算反向传播到先前层所需的梯度也是如此。虽然有效处理大型稀疏网络输入是微不足道的,但大型稀疏目标的情况并非如此,因此迄今为止,在训练期间,诸如分层softmax或基于采样的近似之类的近似替代方案一直被回避。在这项工作中,我们开发了一个原始的算法方法,对于一个包括平方误差和球形softmax的损失函数族,可以计算精确的损失,输出权重的梯度更新,以及反向传播的梯度,每个示例的时间复杂度都是O(d^2)而不是O(Dd),而无需计算D维输出。所提出的算法产生D/4d的加速比,即对于典型大小的两个数量级,对于在这种网络架构中通常支配训练时间的计算的关键部分。
2015-07-14 cs.CL cs.LG cs.NE
InstantForget: Update-Free Backdoor Unlearning with Inference-Time Feature Reset
College of Computer Science and Artificial Intelligence, Fudan University(复旦大学计算机科学与人工智能学院)
提出InstantForget方法,通过推理时特征重置实现无需参数更新的后门遗忘,利用马氏距离检测异常特征并重置为中性表示,在CIFAR-10上平均ASR降至0.071。
2026-06-16 cs.AI cs.LG
Don't Let Bandit Feedback Pull Continual LLM-Recommender Updates Off Target
SK Telecom(SK电信);KAIST(韩国科学技术院)
本文提出了一种名为Anchored Bandit Policy Optimization (ABPO)的框架,用于持续改进基于生成式大语言模型的推荐系统,通过结合组内相对策略优化(GRPO)和显式处理曝光偏差和反馈模糊性,以减少因部署日志提供的策略形状上下文老虎机反馈导致的偏差,并提高推荐准确性。
2026-05-17 cs.AI cs.LG
Target-Aligned Reinforcement Learning
Technical University of Munich(慕尼黑技术大学)
本文提出了一种目标对齐的强化学习方法,通过强调目标网络和在线网络估计高度一致的过渡,改进了传统深度强化学习算法的稳定性与收敛速度,实验证明在多个基准环境中取得了显著提升。
2026-11-10 cs.AI cs.LG
GAIT-prop: A biologically plausible learning rule derived from backpropagation of error
Donders Institute for Brain, Cognition and Behaviour(唐德斯大脑、认知与行为研究所);Radboud University(拉德堡德大学)
传统的误差反向传播,虽然是一个非常成功的算法,用于学习人工神经网络模型,包括功能,这是生物学上难以置信的学习在真正的神经电路。另一种称为目标传播的方法提出了解决这种不可信性的方法,即使用自上而下的神经活动模型,将神经网络输出端的错误转换为每个单元的分层和合理的“目标”。然后,这些目标可以用于生成用于网络训练的权重更新。然而,到目前为止,目标传播已经被证明是不等价的反向传播。在这里,我们推导出反向传播和目标传播(GAIT-道具)的修改形式之间的确切对应关系,其中目标是向前传递的小扰动。具体来说,当突触权重矩阵正交时,反向传播和GAIT-prop给出相同的更新。在一系列简单的计算机视觉实验中,我们展示了反向传播和GAIT-prop与软正交诱导正则化器之间几乎相同的性能。
2020-11-05 cs.LG cs.NE stat.ML
BackTrack: Robust template update via Backward Tracking of candidate template
Samsung Advanced Institute of Technology (SAIT)(三星先进技术研究院);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);AITRICS
针对视觉目标跟踪中模板更新易引发模型漂移的问题,提出通用模板更新方案BackTrack,通过反向跟踪候选模板量化置信度以实现可靠更新,在多基准上达SOTA性能。
2023-08-21 cs.AI cs.CV cs.LG
Breaking the Deadly Triad with a Target Network
University of Oxford(牛津大学);Huawei Technologies(华为技术有限公司);University of Alberta(阿尔伯塔大学)
针对离策略学习、函数逼近与自举导致的致命三角不稳定问题,提出带双投影的目标网络更新规则,并结合岭正则化证明多类线性 TD 与 Q-learning 算法收敛。
2023-09-29 cs.LG
Learning the Target Network in Function Space
Amazon(亚马逊);Technion(以色列理工学院);Princeton University(普林斯顿大学)
提出Lookahead-Replicate算法,通过在函数空间而非参数空间维持等价性来更新目标网络,实现值函数学习的收敛,并在Atari基准上显著提升深度强化学习性能。
2024-09-23 cs.AI cs.LG
The Target Polish: A New Approach to Outlier-Resistant Non-Negative Matrix Factorization
本文提出目标抛光框架,通过加权中值变换自适应抛光数据,使Fast-HALS算法在保持高效加性更新的同时具备抗离群点能力,实验表明其精度匹敌或超越现有鲁棒NMF方法,计算时间降低一个数量级。
2025-08-22 cs.LG
Learning to Learn from Weak Supervision by Full Supervision
University of Amsterdam(阿姆斯特丹大学);Google Research(谷歌研究院)
在本文中,我们提出了一种方法来训练神经网络时,我们有一个大的数据集与弱标签和少量的数据与真正的标签。在我们提出的模型中,我们训练两个神经网络:目标网络,学习者和置信网络,元学习者。目标网络被优化以执行给定的任务,并使用大量未标记的弱注释数据进行训练。我们建议使用第二个置信度网络提供的分数来控制目标网络的梯度更新的大小,该置信度网络是在少量监督数据上训练的。因此,我们避免了从噪声标签计算的权重更新损害目标网络模型的质量。
2017-11-30 cs.AI cs.CL cs.LG
Learning What to Predict: Downstream-Guided Task Design for Continued Pretraining
Department of ECE(电子工程系);Carnegie Mellon University(卡内基梅隆大学)
提出V-pretraining方法,通过轻量级任务设计器为无标签批次构建目标或视图,利用下游损失的一阶减少作为反馈,指导自监督更新,提升目标能力而不损害泛化。
2026-06-15 cs.AI cs.LG
Speeding Up EfficientNet: Selecting Update Blocks of Convolutional Neural Networks using Genetic Algorithm in Transfer Learning
East West University(东西大学)
卷积神经网络(CNN)的性能在很大程度上取决于其架构。CNN的迁移学习性能非常依赖于其可训练层的选择。为某个目标数据集选择最有效的更新层通常需要关于CNN架构的专业知识,而许多从业者并不了解。一般用户更喜欢使用可用的架构(例如GoogleNet,ResNet,EfficientNet等)。由领域专家开发的。随着层的数量不断增加,手工选择更新层变得越来越困难和繁琐。因此,在本文中,我们探讨应用遗传算法,以减轻这个问题。流行的预训练网络的卷积层通常被分组为构成其构建块的模块。我们设计了一个遗传算法来选择层块更新的参数。通过在ImageNet上预训练的EfficientNetB 0并使用Food-101,CIFAR-100和MangoLeafBD作为目标数据集进行实验,我们表明我们的算法在准确性方面产生了与基线相似或更好的结果,并且由于学习的参数数量较少,因此需要更少的训练和评估时间。我们还设计了一个称为块重要性的度量来衡量每个块作为更新块的效率,并分析了我们的算法选择的块的重要性。
2023-03-01 cs.CV cs.LG
Bridging the Performance Gap Between Target-Free and Target-Based Reinforcement Learning
DFKI, SAIROL(DFKI,SAIROL);TU Darmstadt(图腾达姆施塔特大学);University of Southern Denmark(南部丹麦大学);Delft University of Technology(代尔夫特理工大学);University of Würzburg(乌尔姆大学);Robotics Institute Germany(德国机器人研究所)
iS-QL通过结合迭代Q学习与共享参数的目标网络,提升目标无关方法的样本效率,弥合目标无关与目标导向强化学习之间的性能差距。
2026-02-27 cs.AI cs.LG
Mitigating Exponential Mixed Frequency Growth through Frequency Selection
Department of Computer Science, LMU Munich, Germany(慕尼黑大学计算机科学系);Aqarios GmbH, Munich, Germany(慕尼黑Aqarios公司)
本文研究了量子角度编码中频率选择对训练性能的影响,发现非唯一频率主导梯度景观,通过频率选择限制模型频谱提升性能,尤其在高维和高频场景中表现优异。
2026-05-07 cs.LG quant-ph
How Much Rank Does LoRA Need? Rank-Error Bounds for Transformer Attention
Aily Labs
本文针对Transformer注意力,建立了LoRA秩与近似误差的理论边界,分析了秩的选择规律,扩展了相关分析至融合多头LoRA及联合查询/键更新的场景。
2026-08-27 cs.AI cs.CL cs.LG