HOMURA: Taming the Sand-Glass for Time-Constrained LLM Translation via Reinforcement Learning
Bilibili Inc.（哔哩哔哩公司）
HOMURA通过强化学习框架优化语义保持与时间合规性平衡，实现精确的翻译长度控制。
2026-09-04 cs.AI cs.CL
Multimodal Machine Translation with Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
多模态机器翻译是计算机视觉与语言处理相结合的应用之一。鉴于在机器翻译领域，许多最先进的算法仍然只采用文本信息，这是一项独特的任务。在这项工作中，我们探讨了强化学习在多模态机器翻译中的有效性。我们提出了一种基于Advantage Actor-Critic（A2 C）算法的新算法，该算法专门针对EMNLP 2018第三届机器翻译会议（WMT 18）的多模态机器翻译任务。我们在Multi 30 K多语言英语-德语图像描述数据集和Flickr 30 K图像实体数据集上实验了我们提出的算法。该模型采用图像和文本两种输入通道，使用翻译评价指标作为训练奖励，并取得了比监督学习MLE基线模型更好的结果。此外，我们还讨论了将强化学习用于机器翻译的前景和局限性。我们的实验结果表明，一个有前途的强化学习解决方案的一般任务的多模态序列到序列学习。
2018-05-07 cs.AI cs.CL cs.IR
LyriCAR: A Difficulty-Aware Curriculum Reinforcement Learning Framework For Controllable Lyric Translation
School of Informatics, Xiamen University（厦门大学信息学院）；School of Journalism and Communication, Xiamen University（厦门大学新闻传播学院）；School of Film, Xiamen University（厦门大学电影学院）；Xiamen Key Laboratory of Intelligent Storage and Computing, Xiamen University（厦门大学智能存储与计算重点实验室）；Institute of Artificial Intelligence, Xiamen University（厦门大学人工智能研究院）
针对歌词翻译中多音乐约束平衡难题，提出无监督的LyriCAR框架，利用难度感知课程与自适应策略，在英中任务上取得最优结果，并减少近40%训练步骤。
2025-10-22 cs.AI cs.CL cs.LG
Translation with Thought: Difficulty-Adaptive Reasoning via Reinforcement Learning for Multi-Domain Machine Translation
Institute of Artificial Intelligence, Xiamen University（厦门大学人工智能研究院）；School of Informatics, Xiamen University（厦门大学信息学院）；Key Laboratory of Digital Protection and Intelligent Processing of Intangible Cultural Heritage of Fujian and Taiwan (Xiamen University), Ministry of Culture and Tourism（文化和旅游部闽台非物质文化遗产数字化保护与智能处理重点实验室（厦门大学））
该研究针对多领域机器翻译的难度差异挑战，提出TwT框架，经两阶段训练后，其7B和14B参数版本在翻译质量上优于更大的SOTA模型，且token使用量降低32%-60%。
2026-08-03 cs.AI cs.CL
Interactive-Predictive Neural Machine Translation through Reinforcement and Imitation
Heidelberg University（海德堡大学）
我们提出了一个交互式预测神经机器翻译框架，使用强化和模仿学习更容易进行模型个性化。在交互式翻译过程中，用户被要求对系统识别的不确定位置提供反馈。回应是以“保留”和“删除”编辑形式的弱反馈，以及以“替代”编辑形式的专家演示。以收集的反馈为条件，系统通过约束束搜索创建替代平移。在对两种语言对的模拟实验中，我们的系统以更少的人工努力接近监督训练的性能。
2019-07-05 cs.CL
A Study of Reinforcement Learning for Neural Machine Translation
Sun Yat-sen University（中山大学）；Microsoft Research（微软研究院）
近年来的研究表明，强化学习（RL）是提高神经机器翻译（NMT）系统性能的有效途径。然而，由于其不稳定性，成功的RL训练是具有挑战性的，特别是在利用深度模型和大型数据集的现实世界系统中。本文以几个大规模翻译任务为实验平台，对如何利用强化学习来训练更好的NMT模型进行了系统的研究。我们提供了几个重要因素的综合比较（例如，基线奖励，奖励塑造）。此外，为了填补目前尚不清楚使用单语数据时RL是否仍然有益的空白，我们提出了一种新方法来利用RL进一步提高使用源/目标单语数据训练的NMT系统的性能。通过综合我们的研究结果，我们在WMT 14英-德、WMT 17英-中、WMT 17中英翻译任务上获得了有竞争力的结果，特别是在WMT 17中英翻译任务上设置了最先进的性能。
2018-08-27 cs.AI cs.LG stat.ML
DeepTrans: Deep Reasoning Translation via Reinforcement Learning
Pattern Recognition Center, WeChat AI, Tencent Inc（模式识别中心、微信AI、腾讯公司）
本文提出 DeepTrans，利用同时评估翻译结果与思维过程的奖励模型进行强化学习，使 Qwen2.5-7B 无需标注翻译即可学会意译，并在文学翻译上提升 16.3%。
2025-08-29 cs.AI cs.CL
A Reinforcement Learning-driven Translation Model for Search-Oriented Conversational Systems
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）
面向搜索的会话系统依赖于以自然语言（NL）表达的信息需求。我们在这里集中在NL表达式构建基于关键字的查询的理解。我们提出了一个基于语义学习驱动的翻译模型框架，该框架能够1）以有监督的方式学习从NL表达式到查询的翻译，2）通过将翻译模型框架为单词选择方法并在学习过程中注入相关反馈来克服缺乏大规模数据集的问题。在两个TREC数据集上进行了实验，并概述了我们的方法的有效性。
2018-08-29 cs.CL cs.LG stat.ML
Improving Low-Resource Machine Translation via Round-Trip Reinforcement Learning
MBZUAI Masdar City（MBZUAI马斯达尔城）
本文提出通过往返强化学习提升低资源机器翻译，利用NLLB模型进行往返训练，结合chrF++和BLEU作为奖励函数，提升多语言翻译的流畅性和语义准确性。
2026-03-17 cs.AI cs.CL
SSR-Zero: Simple Self-Rewarding Reinforcement Learning for Machine Translation
Tencent Hunyuan（腾讯文元）；Columbia University（哥伦比亚大学）
本文提出SSR-Zero框架，通过自评奖励实现无参考、在线训练，优于现有MT特定LLM和通用LLM，在英中翻译任务中表现突出。
2026-04-26 cs.AI cs.CL cs.LG
Incentivizing Parametric Knowledge via Reinforcement Learning with Verifiable Rewards for Cross-Cultural Entity Translation
TJUNLP Lab, Tianjin University, China（天津大学TJUNLP实验室）；Alibaba Group, China（阿里巴巴集团）
本文提出EA-RLVR框架，通过可验证奖励信号优化跨文化实体翻译，提升模型在实体翻译准确性和领域外泛化能力，实验表明在7k样本训练下模型性能显著提升。
2026-04-18 cs.AI cs.CL
Rewrite to Translate, Translate to Reward: Reinforcement Learning for Source Rewriting in Machine Translation
Institute of Science Tokyo（东京科学大学）；Preferred Networks Inc（Preferred Networks 公司）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
提出RLSR框架，通过强化学习训练源端改写模型，以翻译质量提升为奖励，无需为每个MT模型调提示，在6个MT模型和16个语言对上超越无改写和同规模提示基线，与235B LLM提示基线性能相当。
2026-08-04 cs.AI cs.CL
Exploiting Multimodal Reinforcement Learning for Simultaneous Machine Translation
Imperial College London（伦敦帝国学院）；University of Sheffield（谢菲尔德大学）；Dublin City University（都柏林城市大学）
本文通过探讨两个主要概念来解决同步机器翻译（SiMT）的问题：（a）自适应策略，以学习高翻译质量和低延迟之间的良好权衡;（b）视觉信息，通过提供额外的（视觉）上下文信息来支持这一过程，这些信息可能在文本输入产生之前就可用。为此，我们提出了一个多模态的方法，同时机器翻译使用强化学习，与策略，以整合视觉和文本信息的代理和环境。我们提供了不同类型的视觉信息和集成策略如何影响同声翻译模型的质量和延迟的探索，并证明视觉线索导致更高的质量，同时保持低延迟。
2021-02-22 cs.CL
Retrieve What Helps, Only When It Helps: Agentic Reinforcement Learning for Selective Retrieval-Augmented Machine Translation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊公司）
针对现有检索增强机器翻译策略统一化的问题，提出智能体强化学习框架SRAT，通过优化翻译质量学习检索决策，实验显示其在多类翻译任务上优于基线，将检索视为可学习动作更具优势。
2026-10-15 cs.AI cs.CL cs.IR
Towards Reinforcement Learning for Pivot-based Neural Machine Translation with Non-autoregressive Transformer
eBay Inc.（eBay公司）；Human Language Technology and Pattern Recognition Group, RWTH Aachen University, Germany（德国亚琛工业大学人类语言技术与模式识别小组）
基于神经网络的机器翻译（NMT）通常用于低资源设置，特别是用于非英语语言对之间的翻译。它受益于使用高资源源-枢轴和枢轴-目标语言对，并且针对两个子任务训练单个系统。然而，这些模型在训练期间没有连接，并且源-枢轴模型没有优化以产生源-目标任务的最佳翻译。在这项工作中，我们提出了训练一个基于NMT系统的强化学习（RL）的方法，已被调查的各种文本生成任务，包括机器翻译（MT）。我们利用非自回归Transformer，并提出了一个端到端的基于自回归的集成模型，使源目标数据的训练。
2021-09-27 cs.CL
A Reinforcement Learning Approach to Interactive-Predictive Neural Machine Translation
Heidelberg University（海德堡大学）
我们提出了一种交互式预测神经机器翻译的方法，试图从三个方向减少人类的努力：首先，我们采用从人类强化学习的思想，而不是要求人类选择，纠正或删除片段，对部分翻译的质量进行判断。其次，通过使用词预测的熵作为不确定性标准来触发反馈请求，进一步减少了人工努力。最后，在每次交互后在线更新模型参数，使模型能够快速适应。我们在模拟实验中表明，部分翻译的奖励信号显着提高字符的F-分数和BLEU相比，只有完整的翻译反馈，而人类的努力可以减少到平均数的$5$反馈请求的每个输入。
2018-06-05 cs.CL stat.ML
MT$^{3}$: Scaling MLLM-based Text Image Machine Translation via Multi-Task Reinforcement Learning
Zhejiang University（浙江大学）；University of Chinese Academy of Sciences（中国科学院大学）；Xiaohongshu Inc.（小红书公司）；East China Normal University（华东师范大学）
提出MT$^{3}$，首个将多任务强化学习应用于多模态大模型进行端到端文本图像翻译的框架，并引入社交媒体基准XHSPost，在MIT-10M上超越强基线，展现强泛化能力。
2025-05-26 cs.AI cs.CL cs.LG
Deep Reinforcement Learning with a Natural Language Action Space
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
本文介绍了一种新的强化学习架构，该架构具有深度神经网络，旨在处理以自然语言为特征的状态和动作空间，如基于文本的游戏中所发现的。该架构被称为深度强化相关网络（DRRN），它用独立的嵌入向量表示动作和状态空间，并结合交互函数来近似强化学习中的Q函数。我们在两个流行的文本游戏上评估了DRRN，显示出优于其他深度Q学习架构的性能。对释义动作描述的实验表明，该模型是在提取意义，而不是简单地记忆文本字符串。
2016-06-08 cs.AI cs.CL cs.LG
ExTrans: Multilingual Deep Reasoning Translation via Exemplar-Enhanced Reinforcement Learning
Pattern Recognition Center, WeChat AI, Tencent Inc（模式识别中心、微信AI、腾讯公司）
本研究提出ExTrans方法，设计基于强LRM对比的奖励建模策略，通过强化学习训练翻译模型，在文学翻译上超越OpenAI-o1等模型，并实现90个多语言翻译方向的性能提升。
2025-05-19 cs.AI cs.CL
PAMT: Process-Aligned Reinforcement Learning for Multi-Domain Machine Translation
针对多领域机器翻译中显式推理的偏差问题，提出过程对齐强化学习框架PAMT，结合长思维链监督与多维度奖励机制，在多种场景下表现优于基线模型。
2026-08-05 cs.CL
Dynamic Context Selection for Document-level Neural Machine Translation via Reinforcement Learning
National Laboratory of Pattern Recognition, Institute of Automation, CAS（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
文档级神经机器翻译已经取得了有吸引力的改进。然而，大多数现有的方法，粗略地使用在一个固定的范围内的所有上下文语句。他们忽略了这样一个事实，即不同的源句需要不同大小的上下文。为了解决这个问题，我们提出了一种有效的方法来选择动态上下文，使文档级翻译模型可以利用更有用的选择上下文句子，以产生更好的翻译。具体来说，我们引入了一个选择模块，它是独立的翻译模块评分每个候选上下文句子。然后，我们提出了两种策略，明确选择一个变量数量的上下文句子，并将它们送入翻译模块。我们通过强化学习对这两个模块进行端到端的训练。提出了一种新的奖励机制来鼓励用户选择和使用动态上下文语句。实验表明，该方法可以为不同的源语句选择自适应的上下文语句，并显着提高了文档级翻译方法的性能。
2020-10-09 cs.CL
Deep Reinforcement Learning with a Combinatorial Action Space for Predicting Popular Reddit Threads
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
我们引入了一个在线流行度预测和跟踪任务，作为组合自然语言动作空间的强化学习的基准任务。推荐指定数量的被预测为流行的讨论线程，从要跟踪的最近评论的固定窗口中选择。研究了新的深度强化学习架构，用于对与由相互依赖的子动作组成的动作相关联的价值函数进行有效建模。所提出的模型通过双向LSTM表示子动作之间的依赖关系，在不同的实验配置和领域中提供了最佳性能，并且在不同数量的推荐请求中也具有很好的泛化能力。
2016-09-17 cs.AI cs.CL cs.LG
Reinforcement Learning with LTL and $ω$-Regular Objectives via Optimality-Preserving Translation to Average Rewards
NTU Singapore（新加坡南洋理工大学）；Tel Aviv University（特拉维夫大学）
本文研究强化学习中LTL与$ω$-正则目标的关系，提出通过有限记忆奖励机器将其保优归约为极限平均奖励问题，并证明可通过近似求解折扣求和问题渐近学习最优策略，解决了相关开放问题。
2024-10-16 cs.AI cs.LG
Mending the Holes: Mitigating Reward Hacking in Reinforcement Learning for Multilingual Translation
Carnegie Mellon University（卡内基梅隆大学）
本文提出WALAR方法，通过单语文本提升低资源语言翻译能力，同时保持高资源语言性能。通过词对齐和语言对齐技术缓解现有质量评估模型的漏洞，实验显示在Flores-101数据集上优于LLaMAX。
2026-03-13 cs.CL
Revisiting the Weaknesses of Reinforcement Learning for Neural Machine Translation
Heidelberg University（海德堡大学）；Google Research（谷歌研究院）
策略梯度算法在NLP中得到了广泛的应用，但最近受到了批评，怀疑它们是否适合NMT。Choshen et al.（2020）发现了多个弱点，并怀疑它们的成功取决于输出分布的形状，而不是奖励。在本文中，我们重新审视这些索赔，并在更广泛的配置下研究它们。我们对领域内和跨领域自适应的实验揭示了探索和奖励尺度的重要性，并为这些说法提供了经验反证。
2021-06-16 cs.CL
Navigational Instruction Generation as Inverse Reinforcement Learning with Neural Machine Translation
TTI-Chicago（芝加哥丰田技术研究所）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
涉及人机交互的现代机器人应用要求机器人能够无缝有效地与人类进行通信。自然语言提供了一种灵活而有效的媒介，机器人可以通过它与人类伙伴交换信息。在开发能够解释自由形式指令的机器人方面已经取得了重大进展，但较少关注赋予机器人生成自然语言的能力。我们提出了一个导航指南模型，使机器人生成自然语言指令，让人类导航先验未知的环境。我们首先根据用户的偏好决定与用户共享哪些信息，使用通过反向强化学习从人类演示中训练的策略。然后，我们使用神经序列到序列模型将这些信息“翻译”成自然语言指令，该模型学习从自然语言语料库生成自由形式的指令。我们在基准路线指令数据集上评估了我们的方法，与人类生成的参考指令相比，BLEU得分为72.18%。我们还与人类参与者进行了导航实验，证明我们的方法生成的指令与人类生成的指令一样准确和容易。
2016-10-11 cs.AI cs.CL cs.LG
Reinforcement Learning based Curriculum Optimization for Neural Machine Translation
CLSP, Johns Hopkins（约翰霍普金斯大学CLSP）；Google AI（谷歌人工智能研究团队）
本文研究了神经机器翻译（NMT）中如何有效利用异构训练数据的问题。具体来说，给定一个具有噪声等统计级别特征的训练数据集，我们会寻求一个最佳课程，或者在训练过程中向系统呈现示例的顺序。我们的课程框架允许示例出现任意次数，从而概括了数据加权、过滤和微调方案。我们不是依靠先验知识来设计课程，而是使用强化学习来自动学习一个课程，与NMT系统一起，在一个单一的训练运行过程中。我们表明，这种方法可以在Paracrawl和WMT英语到法语数据集上击败统一和过滤基线，最高可达+3.4 BLEU，并与手工设计的最先进课程的性能相匹配。
2019-02-28 cs.CL
Neural Machine Translation with Adequacy-Oriented Learning
Carnegie Mellon University（卡内基梅隆大学）；Tencent AI Lab（腾讯人工智能实验室）
神经机器翻译（NMT）模型在机器翻译中具有先进的性能，但也面临着翻译不充分等问题。我们认为这是因为标准的最大似然估计法（MLE）由于其自身的局限性而无法对真实的翻译质量进行判断。在这项工作中，我们提出了一个充分性为导向的学习机制NMT铸造翻译作为一个随机的政策，在强化学习（RL），其中的奖励估计明确衡量翻译充分。受益于RL策略的序列级训练和专门为翻译设计的更准确的奖励，我们的模型优于多个强基线，包括（1）基于MLE训练的标准和覆盖增强注意力模型，以及（2）基于单词级BLEU和字符级chrF3的高级强化和对抗训练策略。对不同语言对和NMT结构的定量和定性分析表明了该方法的有效性和通用性。
2018-11-21 cs.AI cs.CL
RIVAL: Reinforcement Learning with Iterative and Adversarial Optimization for Machine Translation
Bilibili Inc.（哔哩哔哩公司）；Xi’an Jiaotong University（西安交通大学）；School of Computer Science, Fudan University（复旦大学计算机科学学院）
针对RLHF在口语化字幕翻译中因分布偏移导致性能不佳的问题，提出RIVAL对抗训练框架，通过RM与LLM的最小-最大博弈及融合定量奖励，显著提升翻译质量。
2025-08-05 cs.CL
MAD for Robust Reinforcement Learning in Machine Translation
AssemblyAI；DeepMind（深度思维）；Talka
我们引入了一种新的分布式策略梯度算法，并表明它在优化机器翻译模型时，在训练稳定性和泛化性能方面优于现有的奖励感知训练过程，如REINFORCE，最小风险训练（MRT）和近端策略优化（PPO）。我们的算法，我们称之为MAD（在重要性加权计算中使用平均绝对偏差），具有分布式数据生成器，在工人节点上每个源句子采样多个候选人，而中央学习者更新策略。MAD主要依赖于两种方差减少策略：（1）一种条件奖励归一化方法，确保每个源句子都有正和负奖励翻译示例;（2）一种新的鲁棒重要性加权方案，充当条件熵正则化器。对各种翻译任务的实验表明，使用MAD算法学习的策略在使用贪心解码和束搜索时表现非常好，并且学习的策略对训练期间使用的特定奖励敏感。
2022-07-18 cs.CL
Faster Machine Translation Ensembling with Reinforcement Learning and Competitive Correction
Media Analysis Group, Sony Research India, Bangalore（索尼印度研究所在班加罗尔的媒体分析组）
本文提出SmartGen，一种基于强化学习的机器翻译集成策略，通过选择少量候选并利用融合模块反馈训练，结合竞争修正模块，在英印翻译中实现更快且更优的集成性能。
2025-01-25 cs.CL
MT-R1-Zero: Advancing LLM-based Machine Translation via R1-Zero-like Reinforcement Learning
Zhejiang University（浙江大学）；Xiaohongshu Inc.（小红书科技有限公司）
针对机器翻译难以自动评估导致强化学习应用不足的问题，本研究提出无需监督微调的开源MT-R1-Zero框架，通过规则-指标混合奖励机制提升翻译质量，在基准测试中表现优异且泛化能力强。
2025-04-14 cs.AI cs.CL cs.LG
Policy Gradient Methods for Reinforcement Learning with Function Approximation and Action-Dependent Baselines
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
我们展示了如何一个行动依赖的基线可以使用的策略梯度定理使用函数逼近，最初提出的行动独立的基线（萨顿等。2000）。
2017-06-20 cs.AI cs.LG
Natural Language-conditioned Reinforcement Learning with Inside-out Task Language Development and Translation
Nanjing University（南京大学）；Polixir Technologies（魔数智擎科技）
自然语言条件强化学习（RL）使智能体能够遵循人类的指令。以前的方法通常通过提供自然语言（NL）中的人类指令并训练跟随策略来实现语言条件RL。在这种由外而内的方法中，政策需要同时理解NL和管理任务。然而，无界的NL示例通常会给解决具体的RL任务带来额外的复杂性，这会分散策略学习完成任务的注意力。为了减轻学习负担的政策，我们调查了一个由内而外的计划自然语言条件RL通过开发一个任务语言（TL），是任务相关的和独特的。TL被用于RL，以实现高效和有效的政策培训。此外，还培训了一名翻译员将本族语翻译成目的语。我们实现了这个计划，TALAR（TAsk语言与谓词表示），学习多个谓词建模对象关系的TL。实验表明，TALAR不仅能更好地跟踪NL指令，而且能产生更好的跟随策略，提高13.4%的成功率，并能适应NL指令的不可见表达式。TL也可以是一个有效的任务抽象，自然与分层RL兼容。
2023-02-18 cs.CL cs.LG
Reinforcement Learning for Edit-Based Non-Autoregressive Neural Machine Translation
Waseda University（早稻田大学）；CyberAgent
本文针对基于编辑的非自回归NMT的性能与训练数据问题，将强化学习应用于Levenshtein Transformer，比较逐步与回合奖励最大化，并验证温度设置的作用。
2024-07-02 cs.CL
Isometric Neural Machine Translation using Phoneme Count Ratio Reward-based Reinforcement Learning
Sony Research India（索尼印度研究院）；Indraprastha Institute of Information Technology (IIIT), Delhi（英迪拉普拉萨德信息技术学院（德里））
本文提出一种基于强化学习的等长NMT系统，通过优化源语言与目标语言间的音素计数对齐来保证视频配音音画同步，并引入PCC分数评估，在英语-印地语对上较现有模型提升约36%，同时利用师生架构平衡音素计数与翻译质量。
2024-03-20 cs.CL cs.LG eess.AS
PEGRL: Improving Machine Translation by Post-Editing Guided Reinforcement Learning
National Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学）；China Mobile Research Beijing, China（北京中国移动研究院）
本文提出PEGRL框架，通过后编辑作为辅助任务稳定训练并引导整体优化，提升机器翻译性能。
2026-05-18 cs.CL
Turning Fixed to Adaptive: Integrating Post-Evaluation into Simultaneous Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
同步机器翻译（SiMT）在阅读整个源句子之前开始翻译，并采用固定或自适应策略来生成目标句子。与固定策略相比，自适应策略通过采用灵活的翻译策略实现了更好的延迟-质量折衷。如果策略在采取行动之前能够评估合理性，那么不正确行动的概率也会降低。然而，以前的方法在采取行动之前缺乏评估。在本文中，我们提出了一种方法来执行自适应政策，通过整合后评估到固定的政策。具体来说，每当生成候选令牌时，我们的模型将通过测量源内容的变化来评估下一个动作的合理性。然后，我们的模型将根据评估结果采取不同的行动。三个翻译任务的实验表明，我们的方法可以在所有延迟下超过强基线。
2022-10-21 cs.AI cs.CL
Graph Constrained Reinforcement Learning for Natural Language Action Spaces
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research（微软研究院）
交互式小说游戏是基于文本的模拟，其中代理纯粹通过自然语言与世界交互。它们是研究如何扩展强化学习代理以应对组合大文本动作空间中的自然语言理解、部分可观察性和动作生成挑战的理想环境。我们提出了KG-A2 C，一个代理，建立一个动态的知识图谱，同时探索和生成使用基于模板的动作空间的行动。我们认为，知识图谱的双重用途，以原因有关的游戏状态和约束自然语言生成的组合大自然语言行动的可扩展性探索的关键。各种IF游戏的结果表明，KG-A2 C优于当前的IF代理，尽管动作空间大小呈指数级增长。
2020-01-23 cs.AI cs.CL cs.LG
Action Redundancy in Reinforcement Learning
Technion, Israel Institute of Technology（以色列理工学院）；Nvidia Research（英伟达研究院）
最大熵（MaxEnt）强化学习是一种在熵正则化下寻求收益最大化的强大学习范式。然而，动作熵不一定与状态熵一致，例如，当多个动作产生相同的过渡时。相反，我们建议最大化过渡熵，即，下一个状态的熵我们表明，过渡熵可以描述为两个术语，即，依赖于模型的过渡熵和动作冗余。特别是，我们探索后者在确定性和随机设置和开发易于处理的近似方法在一个近无模型设置。我们构建的算法，以尽量减少行动冗余，并证明其有效性的合成环境与多个冗余的行动，以及当代基准在雅达利和Mujoco。我们的研究结果表明，动作冗余是强化学习中的一个基本问题。
2021-07-25 cs.AI cs.LG
Reinforcement Learning with Parameterized Actions
University of Witwatersrand（威特沃特斯兰德大学）；Duke University（杜克大学）
我们介绍了一个无模型的学习算法在马尔可夫决策过程的参数化行动-离散行动与连续参数。在每个步骤中，代理必须选择要使用的操作以及要与该操作一起使用的参数。我们介绍了Q-PAMDP算法在这些领域的学习，表明它收敛到一个局部最优，并比较它的目标得分和平台域的直接政策搜索。
2015-11-26 cs.AI cs.LG
Generalized Reinforcement Learning: Experience Particles, Action Operator, Reinforcement Field, Memory Association, and Decision Concepts
University of Texas, Arlington（德克萨斯大学阿灵顿分校）
学习能够适应时变和潜在演化系统动态的控制策略一直是主流强化学习（RL）的一大挑战。主要是，不断变化的系统属性将不断影响RL代理如何通过其动作与状态空间交互，这有效地（重新）将概念漂移引入到底层的策略学习过程中。我们假设，通过用额外的“自由度“来表征和表示动作，可以实现控制策略的更高适应性，从而以更大的灵活性来适应动作的“行为”结果的变化，包括这些动作如何实时的执行以及动作集本身的变化。本文提出了一个贝叶斯风格的广义强化学习框架，首先建立参数动作模型的概念，以更好地应对不确定性和流体动作行为，然后引入强化场的概念，作为一个物理启发的结构，通过“极化经验粒子”在强化学习代理的工作记忆中维护。这些粒子有效地编码代理的动态学习经验，随着时间的推移，以自组织的方式演变。使用强化场作为基底，我们将通过将过去的记忆视为隐式图结构，进一步概括策略搜索以纳入高级决策概念，其中记忆实例或粒子，与定义和量化的关联性/相似性程度相互关联，使得“关联记忆”原则可以一致地应用于建立和增强学习代理的进化世界模型。
2022-08-29 cs.AI cs.LG
Few-Shot Image-to-Semantics Translation for Policy Transfer in Reinforcement Learning
University of Tsukuba（筑波大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
我们调查的政策转移使用图像到语义翻译，以减轻学习困难，基于视觉的机器人控制代理。这个问题假设两个环境：一个模拟器环境的语义，即低维和基本的信息，作为状态空间，和一个现实世界的环境中的图像作为状态空间。通过学习从图像到语义的映射，我们可以将在模拟器中预先训练的策略转移到现实世界中，从而消除了现实世界中的策略代理交互学习，这是昂贵且有风险的。此外，使用图像到语义映射在训练策略的计算效率和所获得的策略的可解释性方面优于其他类型的仿真到现实迁移策略。为了解决学习图像到语义映射的主要困难，即产生训练数据集的人类注释成本，我们提出了两种技术：在模拟器环境中使用转换函数的对增强和主动学习。我们观察到的注释成本的降低，而不会下降的传输性能，所提出的方法优于现有的方法没有注释。
2023-01-31 cs.AI cs.CV cs.LG
Two-Step Offline Preference-Based Reinforcement Learning with Constrained Actions
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon（亚马逊公司）；Georgia institute of technology（佐治亚理工学院）
针对离线 PBRL 中奖励作弊与强化学习复杂的问题，本文提出 PRC，通过排除分布外状态-动作的约束动作空间提升学习效率。
2024-10-25 cs.AI cs.LG
Jointly-Learned State-Action Embedding for Efficient Reinforcement Learning
Imperial College London（伦敦帝国理工学院）；Dataminr
虽然强化学习近年来取得了相当大的成功，但最先进的模型通常仍然受到状态和动作空间大小的限制。无模型强化学习方法使用某种形式的状态表示，最新的工作探索了动作的嵌入技术，目的是实现更好的泛化和适用性。然而，这些方法只考虑状态或动作，在生成嵌入式表示时忽略了它们之间的交互。在这项工作中，我们建立了理论基础的有效性训练强化学习代理使用嵌入的状态和动作。然后，我们提出了一种新的方法，用于联合学习嵌入的状态和动作，结合了无模型和基于模型的强化学习，它可以应用于离散和连续域的方面。具体来说，我们使用的环境模型，以获得嵌入的状态和动作，并提出了一个通用的架构，利用这些来学习的政策。通过这种方式，通过我们的方法获得的嵌入式表示通过捕获嵌入空间中的相似性，可以更好地概括状态和动作。对我们的方法在几个游戏，机器人控制和推荐系统上的评估表明，它在具有大状态/动作空间的离散/连续域中显着优于最先进的模型，从而证实了它的有效性。
2021-08-20 cs.AI cs.LG
Greedy Search with Probabilistic N-gram Matching for Neural Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Science（中国科学院大学）
神经机器翻译（NMT）模型通常使用教师强迫算法在词级损失的情况下进行训练，该算法不仅不能正确评估译文，而且存在暴露偏差。强化框架下的序列级训练可以缓解词级丢失的问题，但由于梯度估计的高方差，其性能不稳定。在此基础上，我们提出了一种基于概率n-gram匹配的可区分序列级训练目标的方法，该方法可以避免强化框架。此外，该方法在训练中使用预测词作为上下文，就像在推理时一样，执行贪婪搜索，以减轻曝光偏差的问题。NIST汉英翻译任务的实验结果表明，我们的方法显着优于基于语义的算法，并实现了1.5个BLEU点的平均改善超过一个强大的基线系统。
2018-09-10 cs.CL
Guiding Online Reinforcement Learning with Action-Free Offline Pretraining
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；The Swiss AI Lab IDSIA/USI/SUPSI（瑞士人工智能实验室 IDSIA/USI/SUPSI）；NNAISENSE
离线RL方法已被证明可以通过使用离线收集的情节训练代理来减少对环境交互的需求。然而，这些方法通常需要在数据汇集期间记录动作信息，这在某些实际情况下可能是困难的或者甚至是不可能的。在本文中，我们研究了使用无动作离线数据集来改进在线强化学习的潜力，将这个问题命名为无动作离线预训练的强化学习（AFP-RL）。我们介绍了无动作指南（AF-Guide），一种通过从无动作的离线数据集中提取知识来指导在线训练的方法。AF-Guide由一个无障碍决策Transformer（AFDT）组成，实现了倒置强化学习的变体。它学习从离线数据集规划下一个状态，以及一个引导的软演员-评论家（引导SAC），它在AFDT的指导下在线学习。实验结果表明，AF-Guide能够有效地提高样本效率和在线训练的性能，这要归功于来自无动作离线数据集的知识。代码可在https://github.com/Vision-CAIR/AF-Guide上获得。
2023-03-22 cs.AI cs.LG
When Actions Disappear: Adversarial Action Removal in Self-Play Reinforcement Learning
Independent Researcher（独立研究者）
研究了自我对战强化学习中的对抗性动作遮蔽，发现学习的遮蔽比随机遮蔽和学习扰动基线更具破坏性，揭示了动作可用性作为自我对战RL中的新鲁棒性表面。
2026-05-04 cs.AI cs.LG
Model-based Reinforcement Learning for Parameterized Action Spaces
Brown University（布朗大学）
提出基于模型的DLPA算法，通过参数化动作条件动态模型和改进的模型预测路径积分控制，在PAMDP基准上实现更优的样本效率与渐近性能。
2024-05-24 cs.AI cs.LG
Action Pick-up in Dynamic Action Space Reinforcement Learning
Hohai University（河海大学）；The Hong Kong Polytechnic University（香港理工大学）；Wuhan University（武汉大学）
针对动态动作空间强化学习中新动作选择效率低的问题，提出动作拾取（AP）算法，利用先验最优策略设计全局与局部方法，自主选择有价值动作，显著提升了学习效率。
2023-04-03 cs.AI cs.LG
Beyond Scalar Scores: Reinforcement Learning for Error-Aware Quality Estimation of Machine Translation
Institute for People-Centred AI（以人为本的人工智能研究所）；University of Surrey（塞弗尔大学）；NICE Research Group（NICE研究组）；University of Oslo（奥斯陆大学）；Centre for Translation Studies（翻译研究中心）
本文提出ALOPE-RL框架，通过强化学习实现基于错误感知的机器翻译质量估计，在低资源语言上取得优异效果。
2026-02-09 cs.CL
Learning to Factor Policies and Action-Value Functions: Factored Action Space Representations for Deep Reinforcement learning
Indian Institute of Technology, Madras（印度马德拉斯理工学院）
深度强化学习（DRL）方法在越来越多的高维视觉决策领域中表现良好。在所有这样的视觉决策问题中，那些具有离散动作空间的视觉决策问题往往在所述动作空间中具有潜在的组成结构。这样的动作空间通常包含诸如向左、向上以及对角向上和向左（这是前两个动作的组合）的动作。在这些领域中的控制策略的表示传统上被建模，而不利用动作空间中的这种固有的组成结构。我们提出了一种新的学习范式，因子化动作空间表示（FAR），其中我们将使用深度强化学习算法学习的控制策略分解为独立的分量，类似于将向量分解为一些正交基向量。控制策略表示的这种架构修改允许代理同时了解多个操作，而只执行其中一个。我们证明了FAR在Atari 2600中的两个DRL算法上有相当大的改进：FARA 3C在14个任务中的9个任务中优于A3 C（异步优势演员评论），FARAQL在13个任务中的9个任务中优于AQL（异步n步Q学习）。
2017-05-20 cs.AI cs.LG
Extracting Action Sequences from Texts Based on Deep Reinforcement Learning
Sun Yat-sen University（中山大学）；Arizona State University（亚利桑那州立大学）
从自然语言文本中提取动作序列具有挑战性，因为它需要基于世界知识的常识推理。尽管已经有了提取动作脚本、指令、导航动作等的工作，它们要求预先提供候选动作集合，或者要求动作描述被限制为特定形式，例如，描述模板。本文的目标是从自由自然语言文本中提取动作序列，没有任何限制的模板，假设候选动作集是未知的。我们提出了基于深度强化学习框架的文本动作序列提取方法。具体地说，我们认为“选择”或“消除”的文字从文本中的“行动”，和文本相关的“状态”的行动。然后，我们构建Q网络来学习从标记文本中提取动作和提取计划的策略。我们在几个数据集上证明了我们的方法的有效性，并与最先进的方法进行了比较，包括与人类交互的在线实验。
2018-05-11 cs.AI cs.CL
Deep Multi-Agent Reinforcement Learning with Hybrid Action Spaces based on Maximum Entropy
Chongqing University（重庆大学）
多智能体深度强化学习已被应用于解决各种具有离散或连续动作空间的复杂问题，并取得了巨大的成功。然而，大多数现实世界的环境不能被描述为只有离散的动作空间或只有连续的动作空间。而将深度强化学习（drl）应用于混合行动空间的多智能体问题的研究还很少。因此，我们提出了一种新的算法：深度多智能体混合软Actor-Critic（MAHSAC）来填补这一空白。该算法遵循集中式训练分散式执行（CTDE）的思想，扩展了软Actor-Critic算法（SAC），使之能够处理多Agent环境中基于最大熵的混合动作空间问题。我们的经验是在一个简单的多智能体粒子世界上运行的，它具有连续的观察和离散的动作空间，以及一些基本的模拟物理。实验结果表明，MAHSAC在训练速度、稳定性、抗干扰能力等方面都有较好的表现。同时，它在合作场景和竞争场景中的表现优于现有的独立深度混合学习方法。
2022-06-10 cs.AI cs.LG
