Take a Step and Reconsider: Sequence Decoding for Self-Improved Neural Combinatorial Optimization
Technical University of Munich(慕尼黑工业大学);University of Applied Sciences Weihenstephan-Triesdorf(魏恩施蒂芬-特里斯多夫应用科学大学)
针对神经组合优化自改进学习中伪标签质量依赖策略解获取方式的问题,提出基于无放回采样的通用序列解码方法,通过从中间解重启采样、屏蔽已采样序列提升多样性,在多个经典组合优化问题上取得优于现有NCO方法的性能。
2024-07-24 cs.AI cs.LG
Towards optimized actions in critical situations of soccer games with deep reinforcement learning
SAS Institute(SAS 研究所)
足球是一项奖励很少的运动:在关键情况下任何聪明或粗心的行为都可能改变比赛的结果。因此,球员、教练和球探都对在关键情况下的最佳行动感到好奇,比如在很有可能失去控球权或进球的时候。这项工作提出了一种新的状态表示的足球比赛和一批强化学习训练智能策略网络。该网络获得情境的上下文信息,并提出最佳行动,以最大限度地提高团队的预期目标。我们进行了广泛的数值实验的足球日志由InStat为104欧洲足球比赛。结果表明,在所有104个博弈中,优化后的策略获得了比行为策略中的对应策略更高的回报。此外,我们的框架学习接近现实世界中预期行为的策略。例如,在优化策略中,我们观察到,在特定情况下,一些动作(如犯规或出界)有时比射门更有价值。
2021-09-14 cs.LG
Pessimistic Off-Policy Multi-Objective Optimization
AWS AI Labs(亚马逊云科技人工智能实验室);Amazon(亚马逊);Amazon Visiting Scholar(亚马逊访问学者)
本文针对离线多目标策略优化问题,提出一种基于逆倾向评分的悲观估计器,可嵌入超体积计算并通过策略梯度优化,在理论和实验上均优于朴素IPS方法。
2023-10-28 cs.LG stat.ML
Learning Adaptive LLM Decoding
本文提出学习自适应解码策略,通过强化学习和可验证终端奖励提升解码准确性与预算平衡,实验表明在数学和编程竞赛基准上显著提升性能。
2026-03-14 cs.LG
Don't throw away your value model! Generating more preferable text with Value-Guided Monte-Carlo Tree Search decoding
University of Washington(华盛顿大学);FAIR, Meta(Meta FAIR研究院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
本文提出PPO-MCTS算法,将PPO训练得到的价值网络与策略网络在推理时通过蒙特卡洛树搜索协同解码,解决训练与测试评分机制不匹配问题,在四个文本生成任务上显著提升生成文本的偏好度。
2024-04-02 cs.AI cs.CL cs.LG
Fast Explanations via Policy Gradient-Optimized Explainer
Lucy Family Institute for Data & Society(数据与社会卢西家族研究所);University of Notre Dame(北达科他大学)
本文提出Fast Explanation框架,通过策略梯度优化实现高效模型解释,显著降低推理时间和内存使用,同时保持高质量解释和广泛适用性。
2026-03-07 cs.AI cs.LG
Safety Optimized Reinforcement Learning via Multi-Objective Policy Optimization
Faculty of Engineering and Computer Science, University of Victoria(维多利亚大学工程与计算机科学学院)
本研究提出基于多目标策略优化的无模型安全强化学习算法SORL,无需约束策略搜索空间即可平衡安全与最优性,经理论分析给出安全保证条件与调节参数,在七个机器人环境中优于六种前沿方法,适配安全关键场景。
2024-02-23 cs.AI cs.LG cs.RO
S$^3$R: Fast and Faithful RL Rollouts via Self-Sparse Speculative Decoding
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
S³R通过自稀疏投机解码,在不改变策略优化响应组的前提下,减少RLVR的KV缓存流量,提升训练吞吐量并保持任务稳定性,在Qwen3模型上实现1.39倍、1.35倍的训练吞吐量提升。
2026-11-04 cs.CL cs.LG
Preferred-Action-Optimized Diffusion Policies for Offline Reinforcement Learning
JD Explore Academy(京东探索研究院);Tongji University(同济大学);Beijing Institute of Technology(北京理工大学)
针对离线RL中扩散策略受限于加权回归的问题,提出偏好动作优化扩散策略,利用critic函数生成偏好动作并结合抗噪偏好优化实现策略改进,在稀疏奖励任务上表现优异。
2024-05-29 cs.AI cs.LG
Conservative Dual Policy Optimization for Efficient Model-Based Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院)
通过引入模型的复杂性测度,保证了基于乐观或后验采样(PSRL)的基于模型的强化学习(MBRL)能够渐近地达到全局最优.然而,对于最简单的非线性模型,复杂性可能呈指数增长,其中在有限迭代内不可能全局收敛。当模型遭受大的泛化误差时,不确定性可能很大,所述泛化误差由模型复杂性定量地测量。因此,当前策略所基于的采样模型将是不稳定的,从而导致积极的策略更新和过度探索。在这项工作中,我们提出了保守的双重政策优化(CDPO),涉及一个参考更新和保守更新。该策略首先在参考模型下进行优化,该模型模仿PSRL的机制,同时提供更高的稳定性。通过最大化模型值的期望值来保证随机性的保守范围。如果没有有害的抽样程序,CDPO仍然可以实现与PSRL相同的遗憾。更重要的是,CDPO同时具有单调的政策改进和全局最优性。实证结果也验证了CDPO的勘探效率。
2022-09-16 cs.LG
Nearly Optimal Latent State Decoding in Block MDPs
KTH Royal Institute of Technology(瑞典皇家理工学院)
我们研究了情景块MDP中的模型估计和无奖励学习问题。在这些MDP中,决策者可以访问从少量潜在状态生成的丰富观察或上下文。我们首先感兴趣的是基于在固定行为策略下生成的数据来估计潜在状态解码函数(从观察到潜在状态的映射)。我们推导出一个信息理论上的出错率估计这个函数的下限,并提出了一个算法接近这个基本限制。反过来,我们的算法还提供了MDP的所有组件的估计。然后,我们研究的问题,学习近最优的政策在无奖励的框架。基于我们高效的模型估计算法,我们表明,我们可以推断出一个政策收敛(收集的样本的数量越来越大)的最佳政策在尽可能好的速度。有趣的是,我们的分析提供了必要和充分的条件下,利用块结构产生的样本复杂性的改进,以确定接近最优的政策。当满足这些条件时,极小极大无奖励设置中的样本复杂度通过乘法因子$n$来改进,其中$n$是可能的上下文的数量。
2023-02-24 cs.LG math.ST stat.ML
Draft, Verify, and Improve: Toward Training-Aware Speculative Decoding
Georgia Institute of Technology(佐治亚理工学院)
提出训练感知的自投机解码框架DVI,通过在线学习将验证信号用于更新草稿模型,实现无损加速,在Spec-Bench上达到2.16倍加速,与最先进方法相当且训练数据量大幅减少。
2025-10-06 cs.LG
Trainable Greedy Decoding for Neural Machine Translation
The University of Hong Kong(香港大学);New York University(纽约大学)
神经机器翻译的最新研究主要集中在两个方面:神经网络架构和端到端学习算法。然而,解码的问题却很少受到研究界的关注。在本文中,我们只专注于一个训练的神经机器翻译模型的解码问题。而不是试图建立一个新的解码算法的任何特定的解码目标,我们提出了可训练的解码算法的想法,其中我们训练解码算法,以找到一个翻译,最大限度地提高任意解码目标。更具体地说,我们设计了一个演员,观察和操纵的神经机器翻译解码器的隐藏状态,并建议训练它使用确定性的策略梯度的变体。我们广泛评估所提出的算法,使用四种语言对和两个解码目标,并表明我们确实可以训练一个可训练的贪婪解码器,产生一个更好的翻译(在目标解码目标方面),以最小的计算开销。
2017-02-08 cs.CL cs.LG
A Reductions Approach to Risk-Sensitive Reinforcement Learning with Optimized Certainty Equivalents
Cornell University(康奈尔大学);Netflix(网飞公司)
本文提出两种元算法,通过归约方法将风险中性强化学习算法应用于增强MDP,以优化OCE风险度量,并在复杂MDP中建立新界限,实验证明能学习最优历史依赖策略。
2025-02-28 cs.LG
OPTIMA: Optimized Policy for Intelligent Multi-Agent Systems Enables Coordination-Aware Autonomous Vehicles
Bilibili Inc.(哔哩哔哩公司);Heinz College of Information Systems and Public Policy, Carnegie Mellon University(卡内基梅隆大学信息系统与公共政策学院)
提出分布式强化学习框架 OPTIMA,通过充分环境采样与多智能体算法交替优化,提升 CAVs 在复杂拥挤场景中的安全、高效协作及通用性。
2024-10-09 cs.LG cs.MA cs.RO
Look Inward to Explore Outward: Learning Temperature Policy from LLM Internal States via Hierarchical RL
Zhejiang University(浙江大学);Southeast University(东南大学);The Chinese University of Hong Kong(香港中文大学);Shanghai Innovation Institute(上海创新研究院)
Introspective LLM通过分层强化学习从LLM内部状态学习温度策略,提升数学推理任务中的探索效率与可解释性。
2026-02-13 cs.AI cs.CL cs.LG
SIR-RL: Reinforcement Learning for Optimized Policy Control during Epidemiological Outbreaks in Emerging Market and Developing Economies
BML Munjal University(BML Munjal大学);Ambo University(安博大学)
本文提出SIR-RL强化学习框架,结合SIR模型、封锁严格性指数与疫苗接种策略,为新兴市场和发展中经济体优化疫情期间公共卫生与经济稳定之间的政策权衡。
2024-04-30 cs.LG physics.soc-ph q-bio.PE
RL4health: Crowdsourcing Reinforcement Learning for Knee Replacement Pathway Optimization
Princeton University(普林斯顿大学)
关节置换术是美国最常见的住院手术治疗。我们研究膝关节置换术的临床路径优化,这是一个从发病到康复的顺序决策过程。基于以前案例中的情景索赔,我们将路径优化视为智能众包问题,并通过在每个中间状态模仿最佳专家来从数据中学习最优决策策略。我们开发了一个基于强化学习的流水线,该流水线使用值迭代、状态压缩和聚合学习、内核表示和交叉验证来预测最佳治疗策略。并对优化政策下的临床路径进行了预测。实证结果表明,优化后的策略使总成本降低了7%,超额成本溢价降低了33%。
2019-05-24 cs.AI cs.LG stat.ML
Active Layer-Contrastive Decoding Reduces Hallucination in Large Language Model Generation
Purdue University(普渡大学);University of California, Davis(加州大学戴维斯分校)
提出主动层对比解码(ActLCD),通过强化学习策略在生成过程中动态决定何时应用对比层,在五个基准上超越现有方法,有效缓解大语言模型的长上下文幻觉问题。
2025-09-15 cs.AI cs.CL cs.LG
ReSpec: Towards Optimizing Speculative Decoding in Reinforcement Learning Systems
通过强化学习(RL)对大语言模型(LLM)进行自适应训练时,生成阶段通常会消耗超过75%的训练时间。推测解码(SD)加速了服务系统中的自回归生成,但其在RL训练下的行为在很大程度上仍未被探索。我们确定了三个关键的差距,阻碍了天真的SD到RL系统的集成:在大批量的加速下降,起草人陈旧下不断演员更新,和起草人引起的政策退化。为了解决这些差距,我们提出了ReSpec,一个系统,通过三个互补的机制,适应SD RL:动态调整SD配置,通过知识蒸馏发展的起草者,并通过推出奖励加权更新。在Qwen模型(3B-14 B)上,ReSpec实现了高达4.5倍的加速,同时保持了奖励收敛和训练稳定性,为基于RL的LLM自适应提供了一个实用的解决方案。
2025-10-30 cs.DC cs.LG
End-to-end LSTM-based dialog control optimized with supervised and reinforcement learning
Microsoft Research(微软研究院)
本文提出了一个面向任务的对话系统的端到端学习模型。该模型的主要组件是一个递归神经网络(LSTM),它将原始对话历史直接映射到系统操作的分布。LSTM自动推断对话历史的表示,这减轻了系统开发人员对对话状态的大量手动功能工程。此外,开发人员可以提供表达业务规则的软件,并提供对编程API的访问,使LSTM能够代表用户在现实世界中采取行动。LSTM可以使用监督学习(SL)进行优化,其中领域专家提供LSTM应该模仿的示例对话框;或者使用强化学习(RL),其中系统通过直接与最终用户交互来改进。实验表明,SL和RL是互补的:SL可以从少量的训练对话框中获得合理的初始策略;使用SL训练的策略启动RL优化可以大大加快RL的学习率。
2016-06-03 cs.AI cs.CL cs.LG
RLAnything: Forge Environment, Policy, and Reward Model in Completely Dynamic RL System
RLAnything通过动态生成环境、策略和奖励模型,在完全动态的RL系统中提升学习效果,显著提升多个任务的性能。
2026-02-02 cs.AI cs.CL cs.CV
Degenerate Viterbi decoding
我们提出了一个量子卷积码的解码算法,发现类退化错误的最大概率条件下,一个给定的错误综合征。该算法在时间上与量子比特的数量成线性关系。以前的量子卷积码的译码算法优化了单个错误的概率,而不是退化错误的类别。使用蒙特卡罗模拟,我们表明,这种修改的解码算法的结果在一个显着降低误块率。
2012-04-11 quant-ph
Hard decoding algorithm for optimizing thresholds under general Markovian noise
量子纠错有助于在量子计算和通信设置中保护量子系统免受噪声的影响。泡利信道可以有效地模拟和各种纠错码下的泡利错误率的阈值已经得到。然而,现实的量子系统可以经历与泡利噪声显著不同的噪声过程。在本文中,我们提出了一个有效的硬译码算法,用于优化门限和降低错误率的纠错码在一般的完全正和保迹(即,马尔可夫)噪声。我们使用我们的硬译码算法,研究各种非泡利噪声模型下的几个纠错码的性能,通过计算这些代码的阈值和故障率。我们比较我们的硬解码算法的性能解码器优化去极化噪声和阈值的改进和故障率降低了几个数量级。我们的硬解码算法也可以适应利用代码的非泡利横向门,以进一步抑制噪声。例如,我们证明了使用5量子比特代码的横向门可以完美地纠正围绕某些轴的任意旋转。此外,我们表明,泡利旋转可以增加或减少阈值取决于代码的属性。最后,我们表明,即使物理噪声模型略有不同,从假设的噪声模型用于确定一个优化的解码器,故障率仍然可以通过应用我们的硬解码算法降低。
2017-04-21 quant-ph
Performance gain of displacement receiver with optimized prior probability
我们数值研究了基于位移的量子接收机对弱3-和4-相移键控(PSK)相干态信号的鉴别性能。我们表明,由于非平凡的接收机结构的不对称性,先验概率的优化增加了互信息,并实现子散粒噪声限制歧视。此外,我们估计的截止率为4-PSK信号,并确认先验概率优化缩短了码长为一个给定的解码错误标准。这种对非对称信道矩阵的考虑在可压缩量子接收机的研究中是必不可少的。
2013-08-09 quant-ph
Decoder-Consistent Hamiltonians for POVM-Based Quantum Relaxations
SCSK Corporation(SCSK公司)
本文通过将解码器表示为POVM,定义了唯一解码器一致的哈密顿量,揭示了标准QRAO哈密顿量对某些混合度二次函数的不一致性,并基于POVM解码器设计为MaxCut问题提供了新的近似保证。
2026-08-26 quant-ph
Manipulation of Spin Dynamics by Deep Reinforcement Learning Agent
我们实现了一个自旋为1的原子系统的强化学习代理,从给定的初始状态制备自旋压缩态。采用最近策略梯度(PPO)算法处理连续的外部控制场,并通过随机策略给出最终的优化协议。在平均场系统和两体量子系统中,RL代理都能找到最优策略。在多体量子系统中,给出了优于纯贪婪策略和优化绝热通道的策略。这些策略在相空间中具有很好的物理解释性,可以帮助我们理解量子动力学。事实上,RL在量子最优控制问题中可以非常通用。
2019-02-20 cond-mat.quant-gas quant-ph
Hierarchical decoding to reduce hardware requirements for quantum computing
为了将量子硬件扩展到实际应用的范围,广泛的量子纠错是必要的。因此,需要大量的解码硬件来处理所需的大量数据,以不断检测和纠正驱动计算的数百万个物理量子位上发生的错误。Shor算法的最近高度优化版本的实现以分解2,048位整数将需要更多7 Tbit/s的带宽用于量子纠错的唯一目的和多达20,000个解码单元。为了减少解码硬件的要求,我们提出了一个容错量子计算架构的基础上表面码与廉价的硬判决解码器,懒惰的解码器,结合一个复杂的解码单元,照顾复杂的错误配置。假设提供了足够好的量子位,我们的设计将解码硬件要求降低了几个数量级。给定具有物理错误率$p=10^{-4}$的量子比特和量子门,惰性解码器将带宽要求和解码单元的数量降低了50倍。提供具有错误率$p=10^{-5}$的非常好的量子位,由于懒惰解码器,我们获得了带宽和解码硬件的1,500倍减少。最后,惰性解码器可以用作解码器加速器。我们的模拟显示了10倍的联合查找解码器的速度和50倍的最小权重完美匹配解码器的速度。
2020-01-30 cs.IT math.IT quant-ph