UniRL-Zero: Reinforcement Learning on Unified Models with Joint Language Model and Diffusion Model Experts
Cuhk(香港中文大学)
本研究提出统一强化学习框架UniRL-Zero,在统一模型内协同提升多模态语言模型理解推理与扩散模型生成能力,定义六种学习场景并提供系统基准,相关代码已开源。
2025-10-20 cs.AI cs.LG
Simple Embodied Language Learning as a Byproduct of Meta-Reinforcement Learning
Stanford University(斯坦福大学)
本研究受儿童语言习得规律启发,设计多任务办公室导航环境,验证了元强化学习训练的具身智能体可在无直接语言监督下,从非语言任务中间接习得语言并泛化到新场景。
2023-06-14 cs.AI cs.CL cs.LG
$\mathbf{(N,K)}$-Puzzle: A Cost-Efficient Testbed for Benchmarking Reinforcement Learning Algorithms in Generative Language Model
ByteDance, Inc.(字节跳动公司);University of Washington(华盛顿大学)
针对生成式语言模型强化学习算法缺乏低成本标准化测试基准的问题,研究者提出泛化的$(N,K)$-Puzzle测试平台,并验证了PPO、IPO、DPO等多种强化学习算法的效果。
2024-03-11 cs.AI cs.CL cs.LG
Re-conceptualising the Language Game Paradigm in the Framework of Multi-Agent Reinforcement Learning
Vrije Universiteit Brussel(布鲁塞尔自由大学);KU Leuven(鲁汶大学)
在本文中,我们制定的挑战重新概念化的语言游戏实验范式的框架内的多智能体强化学习(MARL)。如果成功的话,未来的语言游戏实验将受益于MARL社区快速和有前途的方法进步,而未来的MARL学习紧急通信实验将受益于语言游戏实验的见解和结果。我们坚信,这种异花授粉有可能在模拟类人语言如何在多智能体系统中出现和进化方面取得重大突破。
2020-04-09 cs.AI cs.CL cs.LG
Guiding Reinforcement Learning Exploration Using Natural Language
University of Kentucky(肯塔基大学);Georgia Institute of Technology(佐治亚理工学院)
在这项工作中,我们提出了一种使用自然语言来帮助强化学习推广到看不见的环境的技术。这种技术使用神经机器翻译,特别是使用编码器-解码器网络,来学习自然语言行为描述和状态-动作信息之间的关联。然后,我们使用这个学习模型来指导代理探索,使用修改后的策略塑造版本,使其在看不见的环境中学习更有效。我们评估这种技术使用流行的街机游戏,青蛙,在理想和非理想条件下。该评估表明,我们修改后的策略成形算法提高了Q学习代理以及基线版本的策略成形。
2017-09-14 cs.AI cs.CL cs.LG
Graph Constrained Reinforcement Learning for Natural Language Action Spaces
Georgia Institute of Technology(佐治亚理工学院);Microsoft Research(微软研究院)
交互式小说游戏是基于文本的模拟,其中代理纯粹通过自然语言与世界交互。它们是研究如何扩展强化学习代理以应对组合大文本动作空间中的自然语言理解、部分可观察性和动作生成挑战的理想环境。我们提出了KG-A2 C,一个代理,建立一个动态的知识图谱,同时探索和生成使用基于模板的动作空间的行动。我们认为,知识图谱的双重用途,以原因有关的游戏状态和约束自然语言生成的组合大自然语言行动的可扩展性探索的关键。各种IF游戏的结果表明,KG-A2 C优于当前的IF代理,尽管动作空间大小呈指数级增长。
2020-01-23 cs.AI cs.CL cs.LG
lilGym: Natural Language Visual Reasoning with Reinforcement Learning
Cornell University(康奈尔大学)
lilGym 是一个基于 2,661 条自然语言语句的视觉语言条件强化学习新基准,通过可执行 Python 程序实现精确奖励计算,实验表明现有方法性能有限,构成开放挑战。
2023-05-29 cs.AI cs.CL cs.LG
NOVER: Incentive Training for Language Models via Verifier-Free Reinforcement Learning
King’s College London(伦敦国王学院);The Alan Turing Institute(艾伦·图灵研究所);Shanghai Jiao Tong University(上海交通大学)
针对现有激励训练依赖外部验证器、适用场景受限的问题,提出无需外部验证器、仅用标准监督微调数据的NOVER强化学习框架,可在多类文本任务中实现激励训练,性能优于同规模蒸馏模型,还为大模型优化提供新可能。
2025-09-02 cs.AI cs.CL cs.LG
Natural Language Reinforcement Learning
University College London(伦敦大学学院);National University of Singapore(新加坡国立大学);Brown University(布朗大学);Shanghai Jiao Tong University(上海交通大学);University of Surrey(萨里大学);University of Bristol(布里斯托大学)
提出自然语言强化学习(NLRL)框架,通过语言价值函数(LVF)将价值重新定义为可解释的语言叙述,并扩展至策略、Bellman方程和策略迭代等核心组件,利用LLMs实现无监督环境交互的类RL训练,在多步智能体任务中验证了其有效性与促进深度理解及主动学习的潜力。
2025-05-28 cs.AI cs.CL cs.LG
Discourse Marker Augmented Network with Reinforcement Learning for Natural Language Inference
Zhejiang University(浙江大学);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院);Fabu Inc.(Fabu公司)
自然语言推理(NLI),又称文本蕴涵识别(RTE),是自然语言处理中最重要的问题之一。它需要推断两个给定句子之间的逻辑关系。虽然目前的方法主要集中在句子的交互结构,在本文中,我们建议从一些重要的话语标记转移知识,以提高NLI模型的质量。我们观察到人们通常使用诸如“so”或“but”之类的话语标记来表示两个句子之间的逻辑关系。这些词与句子的意义有着潜在的深层联系,因此可以用来帮助改善句子的表征。此外,我们使用强化学习来优化一个新的目标函数,并根据NLI数据集的属性定义奖励,以充分利用标签信息。实验表明,我们的方法达到了最先进的性能在几个大规模的数据集。
2019-07-23 cs.AI cs.CL cs.LG
Influencing Reinforcement Learning through Natural Language Guidance
University of Kentucky(肯塔基大学)
交互式强化学习代理使用人类反馈或指令来帮助它们在复杂环境中学习。通常,这种反馈以正或负的离散信号的形式出现。虽然信息量很大,但这些信息本身可能很难概括。在这项工作中,我们将探讨如何自然语言的意见,可以用来提供一个更丰富的反馈信号,强化学习代理,通过扩展的政策塑造,一个著名的交互式强化学习技术。通常,策略形成采用人工反馈策略来帮助智能体更多地了解如何实现其目标。在我们的例子中,我们用基于自然语言建议生成的策略替换了这种人工反馈策略。我们的目标是检查生成的自然语言推理是否为深度强化学习代理提供支持,以在任何给定的环境中成功地决定其行动。因此,我们设计了三个网络的模型:第一个是经验驱动,第二个是建议生成器,第三个是建议驱动。当经验驱动的强化学习代理选择其受环境奖励影响的动作时,具有由建议生成器针对任何新状态生成的反馈的建议驱动的神经网络选择其动作以帮助强化学习代理更好地进行策略成形。
2021-04-11 cs.AI cs.LG
IPCGRL: Language-Instructed Reinforcement Learning for Procedural Level Generation
Gwangju Institute of Science and Technology (GIST), South Korea(全州科学技术学院(GIST));Dongseo University, South Korea(东国大学)
针对文本指令驱动的程序化内容生成问题,提出结合句子嵌入与强化学习的 IPCGRL,通过任务特定嵌入微调提升关卡生成的可控性与未见指令泛化能力。
2025-07-24 cs.AI cs.CL cs.LG
Grounding Language for Transfer in Deep Reinforcement Learning
Princeton University(普林斯顿大学);Massachusetts Institute of Technology(麻省理工学院)
在本文中,我们探讨了利用自然语言来驱动迁移的强化学习(RL)。尽管深度强化学习技术得到了广泛的应用,但学习跨领域工作的广义策略表示仍然是一个具有挑战性的问题。我们证明,环境的文字描述提供了一个紧凑的中间渠道,以促进有效的政策转移。具体来说,通过学习将文本的含义与环境的动态(如转换和奖励)联系起来,自主智能体可以在给定描述的新域上有效地引导策略学习。我们采用基于模型的RL方法,包括一个可微的规划模块,一个无模型组件和一个因式分解的状态表示,有效地使用实体描述。我们的模型优于先前的工作在各种不同的环境中的传输和多任务场景。例如,我们在平均和初始奖励方面分别比以前现有的模型实现了14%和11.5%的绝对改进。
2018-12-05 cs.AI cs.CL cs.LG
Adaptive Natural Language Generation for Task-oriented Dialogue via Reinforcement Learning
Nagoya University(名古屋大学)
当在现实世界的面向任务的对话系统中实现自然语言生成(NLG)组件时,不仅需要生成如在训练数据上学习的自然话语,而且需要生成适于对话环境的话语(例如,来自环境声音的噪声)和用户(例如,具有低水平理解能力的用户)。受语言生成任务的强化学习(RL)的最新进展的启发,我们提出了ANTOR,一种通过强化学习为面向任务的对话自适应自然语言生成的方法。在ANTOR中,一个自然语言理解(NLU)模块,它对应于用户对系统话语的理解,被纳入RL的目标函数。如果NLG的意图被正确地传达给理解系统话语的NLU,则NLG被给予积极的奖励。我们在MultiWOZ数据集上进行了实验,我们证实了ANTOR可以针对语音识别错误和不同词汇水平的用户生成自适应的话语。
2022-09-16 cs.AI cs.CL
Inverse Reinforcement Learning with Natural Language Goals
Amazon Alexa(亚马逊Alexa)
人类通常使用自然语言来相互传达任务要求。理想情况下,自然语言也应该可用于向自主机器传达目标(例如,机器人),以最大限度地减少任务规范中的摩擦。然而,理解和映射自然语言目标的状态和动作序列是具有挑战性的。具体地说,现有的工作沿着这些路线遇到了困难,在推广学习的政策,以新的自然语言的目标和环境。在本文中,我们提出了一种新的对抗逆强化学习算法来学习语言条件的政策和奖励函数。为了提高学习策略和奖励函数的泛化能力,我们使用变分目标生成器在训练过程中重新标记轨迹并对不同的目标进行采样。我们的算法在基于视觉的自然语言指令遵循数据集(Room-2-Room)上的性能大大优于多个基线,这表明在指定代理目标时使用自然语言指令是一个很有前途的进步。
2020-12-16 cs.AI cs.LG
LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language Models
UC Berkeley(加州大学伯克利分校);Google DeepMind(谷歌DeepMind)
本文提出LMRL-Gym基准测试及开源框架,用于评估和训练LLMs在多轮语言交互中的目标导向强化学习能力,涵盖8个对话与文本游戏任务。
2023-11-30 cs.AI cs.CL cs.LG
Scaling Multimodal Search and Recommendation with Small Language Models via Upside-Down Reinforcement Learning
Adobe(Adobe公司);Meta
本文通过倒置强化学习和合成数据蒸馏,利用小语言模型实现高效多模态搜索与推荐,显著降低推理延迟和内存开销。
2025-12-03 cs.AI cs.CL cs.LG
Exploring Natural Language-Based Strategies for Efficient Number Learning in Children through Reinforcement Learning
Univeristy Of Colorado, Boulder(科罗拉多大学博尔德分校)
本文通过强化学习框架研究儿童如何使用十进制积木组成数字,发现明确动作指导的指令更有效,并提出有效的教学课程以加速收敛和提升泛化能力。
2026-04-08 cs.AI cs.CL cs.LG
Reinforcement Learning and Bandits for Speech and Language Processing: Tutorial, Review and Outlook
Columbia University(哥伦比亚大学)
本文综述了 reinforcement learning 和 bandits 在语音和自然语言处理中的最新进展,探讨了如何利用其奖励驱动适应性等优势构建自适应、交互式且可扩展的模型来解决相关问题。
2023-10-19 cs.AI cs.CL cs.LG
Improving the Language Understanding Capabilities of Large Language Models Using Reinforcement Learning
UC San Diego(加州大学圣地亚哥分校)
本研究提出用近端策略优化(PPO)将自然语言理解任务构建为强化学习环境,显著提升大语言模型在GLUE等基准上的性能,并超越GPT-4o,展示了以端任务奖励驱动模型适应的新方向。
2025-09-26 cs.AI cs.CL
A Survey of Reinforcement Learning Informed by Natural Language
University of Oxford(牛津大学);Facebook AI Research(Facebook人工智能研究院);Massachusetts Institute of Technology(麻省理工学院);University College London(伦敦大学学院)
为了在现实世界的任务中取得成功,强化学习(RL)需要利用世界的组成、关系和层次结构,并学会将其转移到手头的任务中。语言表示学习的最新进展使得建立从文本语料库中获取世界知识并将这些知识整合到下游决策问题中的模型成为可能。因此,我们认为,现在是时候调查的自然语言理解到RL的紧密整合。我们调查了该领域的现状,包括指令遵循、文本游戏和从文本领域知识中学习的工作。最后,我们呼吁开发新的环境,以及进一步调查的潜在用途,最近的自然语言处理(NLP)技术,这样的任务。
2019-06-10 cs.AI cs.CL cs.LG
CARE-RFT: Confidence-Anchored Reinforcement Finetuning for Reliable Reasoning in Large Language Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
CARE-RFT通过引入置信度锚定的正则化方法,在保持大语言模型推理能力的同时提升其可信度和校准性能。
2026-01-22 cs.AI cs.CL cs.LG
Compositional Instruction Following with Language Models and Reinforcement Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of the Witwatersrand(威特沃特斯兰德大学);Arizona State University(亚利桑那州立大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出CERLLA方法,结合组合性策略表示和强化学习训练的语义解析器,在162个任务上实现组合性泛化,以92%成功率超越非组合性基线80%。
2025-01-21 cs.CL cs.LG
Natural Policy Gradients In Reinforcement Learning Explained
传统的策略梯度方法存在根本性缺陷。自然梯度收敛得更快更好,形成了当代强化学习的基础,如信任域策略优化(TRPO)和近端策略优化(PPO)。本课堂讲稿旨在阐明自然策略梯度背后的直觉,着重于思考过程和关键的数学结构。
2022-09-05 cs.LG math.OC
Enhancing Reinforcement Learning with discrete interfaces to learn the Dyck Language
Saarland University(萨尔大学)
尽管现实世界中的大多数接口都是离散的,但还没有有效的方法来训练神经网络来利用它们。我们增强了交互网络(强化学习架构)与离散接口和训练它的广义Dyck语言。这个任务需要理解层次结构来解决,并且长期以来一直被证明对神经网络来说是困难的。我们提供了第一个解决方案的基础上学习使用离散数据结构。我们在训练过程中遇到了意想不到的异常行为,并利用基于执行跟踪的预训练来克服它们。所得到的模型非常小且快速,并且推广到比训练数据长整个数量级的序列。
2021-10-27 cs.AI cs.LG
Evolutionary Discovery of Reinforcement Learning Algorithms via Large Language Models
Machine Perception and Interaction Lab, Örebro University(厄勒布鲁大学机器感知与交互实验室)
本文提出一种基于进化算法发现强化学习算法的方法,通过搜索可执行的更新规则来发现新的算法,并通过超参数优化提升性能,实验表明其在多个基准上表现优异。
2026-03-30 cs.AI cs.LG
NaRLE: Natural Language Models using Reinforcement Learning with Emotion Feedback
Microsoft(微软)
当前对话系统的研究主要集中在面向任务或开放域环境下的短对话上。在本文中,我们专注于在线改进基于任务的会话助理,主要是那些从事文档类型会话的助理(例如,电子邮件),其内容可能与助理的任务完全相关,也可能不完全相关。我们提出了“NARLE”一个深度强化学习(RL)框架,用于在线改进对话系统的自然语言理解(NLU)组件,而无需为客户数据收集人类标签。所提出的解决方案将用户情感与助理的动作相关联,并使用该情感来使用策略梯度改进NLU模型。对于两个意图分类问题,我们的经验表明,使用强化学习微调预训练的监督学习模型,提高性能高达43%。此外,我们证明了部分和噪声隐式反馈的方法的鲁棒性。
2021-10-05 cs.CL cs.LG
A Survey of Text Games for Reinforcement Learning informed by Natural Language
University of Manchester(曼彻斯特大学)
强化学习在许多复杂的虚拟环境中取得了成功。然而,以自然语言为核心组件解决问题仍然存在许多挑战。交互式小说游戏(或文本游戏)就是这样一种问题类型,它提供了一组部分可观察的环境,其中需要自然语言作为强化学习解决方案的一部分。因此,这项调查的目的是协助开发新的文本游戏问题设置和自然语言告知的强化学习解决方案。具体而言,本次调查总结:1)引入文本游戏强化学习问题的挑战,2)生成工具,用于评估文本游戏和随后产生的环境,3)目前应用的代理架构进行比较,为未来的研究人员提供基准方法和机会的系统性审查。
2021-09-20 cs.AI
Natural Language-conditioned Reinforcement Learning with Inside-out Task Language Development and Translation
Nanjing University(南京大学);Polixir Technologies(魔数智擎科技)
自然语言条件强化学习(RL)使智能体能够遵循人类的指令。以前的方法通常通过提供自然语言(NL)中的人类指令并训练跟随策略来实现语言条件RL。在这种由外而内的方法中,政策需要同时理解NL和管理任务。然而,无界的NL示例通常会给解决具体的RL任务带来额外的复杂性,这会分散策略学习完成任务的注意力。为了减轻学习负担的政策,我们调查了一个由内而外的计划自然语言条件RL通过开发一个任务语言(TL),是任务相关的和独特的。TL被用于RL,以实现高效和有效的政策培训。此外,还培训了一名翻译员将本族语翻译成目的语。我们实现了这个计划,TALAR(TAsk语言与谓词表示),学习多个谓词建模对象关系的TL。实验表明,TALAR不仅能更好地跟踪NL指令,而且能产生更好的跟随策略,提高13.4%的成功率,并能适应NL指令的不可见表达式。TL也可以是一个有效的任务抽象,自然与分层RL兼容。
2023-02-18 cs.CL cs.LG
The Rise of Verbal Reinforcement Learning
Capital One;University of Minnesota(明尼苏达大学)
该文提出语言强化学习(VRL)范式,围绕语言反馈的生效时机与修改对象划分三大支柱,阐述其对智能体开发的重塑作用及相关挑战机遇。
2026-09-02 cs.AI cs.CL
Language Understanding for Text-based Games Using Deep Reinforcement Learning
MIT(麻省理工学院)
在本文中,我们认为基于文本的游戏的学习控制策略的任务。在这些游戏中,虚拟世界中的所有交互都是通过文本进行的,并且无法观察到底层状态。由此产生的语言障碍使得这种环境对自动游戏玩家具有挑战性。我们采用深度强化学习框架,使用游戏奖励作为反馈来联合学习状态表示和动作策略。这个框架使我们能够将文本描述映射到捕获游戏状态语义的矢量表示中。我们在两个游戏世界上评估了我们的方法,使用词袋和二元组袋进行状态表示,与基线进行比较。我们的算法在这两个世界上都优于基线,证明了学习表达性表征的重要性。
2015-09-11 cs.AI cs.CL
Language Instructed Reinforcement Learning for Human-AI Coordination
Stanford University(斯坦福大学)
针对多智能体强化学习易收敛至非人类偏好均衡、缺高质量人类行为数据的人机协作难题,提出instructRL框架,用大语言模型基于自然语言指令生成先验策略以正则化RL目标,在Hanabi等基准验证了符合人类偏好的策略效果及人机协作性能提升。
2023-06-10 cs.AI cs.CL cs.LG
Natural Language Generation as Planning under Uncertainty Using Reinforcement Learning
School of Informatics(信息学院);University of Edinburgh(爱丁堡大学)
我们提出并评估了一个新的模型,自然语言生成(NLG)在口语对话系统,统计规划的基础上,从当前生成的上下文(例如,用户和表面实现)的嘈杂的反馈。我们研究了它在一个标准的NLG问题中的使用:如何向用户呈现信息(在这种情况下是一组搜索结果),考虑到话语长度,传达的信息量和认知负荷之间的复杂权衡。我们通过分析现有的MATCH数据来设置这些权衡。然后,我们使用强化学习(RL)训练NLG策略,该策略使其行为适应来自当前生成上下文的噪声反馈。将这一政策与这一领域以往工作中的几条基线进行了比较。学习策略的性能明显优于所有先前的方法。
2016-06-15 cs.AI cs.CL
PixL2R: Guiding Reinforcement Learning Using Natural Language by Mapping Pixels to Rewards
University of Texas at Austin(德克萨斯大学奥斯汀分校)
强化学习(RL),特别是在稀疏奖励设置中,通常需要与环境进行大量交互,从而限制了其对复杂问题的适用性。为了解决这个问题,几种现有的方法已经使用自然语言来指导代理的探索。然而,这些方法通常对环境的结构化表示进行操作,和/或采用自然语言命令中的某种结构。在这项工作中,我们提出了一个模型,直接映射像素的奖励,给定一个自由形式的自然语言描述的任务,然后可以用于策略学习。我们在元世界机器人操作领域的实验表明,基于语言的奖励显着提高了策略学习的样本效率,无论是在稀疏和密集的奖励设置。
2020-11-19 cs.AI cs.LG stat.ML
Goal-Directed Story Generation: Augmenting Generative Language Models with Reinforcement Learning
University of Pennsylvania(宾夕法尼亚大学);Georgia Institute of Technology(佐治亚理工学院)
大型预训练生成语言模型的出现为AI故事生成提供了一个通用框架,通过对模型进行采样来创建继续故事的序列。然而,单靠抽样是不足以产生故事的。特别是,很难指导语言模型创建故事以达到特定的目标事件。我们提出了两种基于深度强化学习和奖励塑造的自动化技术来控制计算机生成故事的情节。第一个利用近端策略优化来微调现有的基于transformer的语言模型,以生成文本延续,但也是目标搜索。第二种方法从展开的故事中提取知识图谱,由具有图关注的策略网络使用该知识图谱来选择由语言模型生成的候选延续。我们报告了与故事实现给定目标事件的频率有关的自动化指标,以及与基线和消融相比的连贯性和整体故事质量的人类参与者排名。
2021-12-16 cs.AI cs.CL
A Composable Specification Language for Reinforcement Learning Tasks
University of Pennsylvania(宾夕法尼亚大学)
强化学习是一种很有前途的机器人任务控制策略学习方法。然而,指定复杂的任务(例如,具有多个目标和安全约束)可能是具有挑战性的,因为用户必须设计对整个任务进行编码的奖励函数。此外,用户通常需要手动地形成奖励以确保学习算法的收敛。我们提出了一种语言来指定复杂的控制任务,以及一个算法,编译规格在我们的语言成一个奖励功能,并自动执行奖励塑造。我们在一个名为SPECTRL的工具中实现了我们的方法,并表明它优于几个最先进的基线。
2020-10-29 cs.AI cs.LG stat.ML
Beating Atari with Natural Language Guided Reinforcement Learning
Stanford University(斯坦福大学)
我们介绍了第一个深度强化学习代理,它可以在自然语言指令的帮助下学习击败Atari游戏。该代理使用环境观测和自然语言之间的多模态嵌入,通过一系列英语指令来自我监控进度,除了增加游戏分数之外,还为完成指令授予自己奖励。我们的代理在通常被认为是最困难的Atari 2600环境:Montezuma's Revenge上的表现明显优于Deep Q-Networks(DQN),异步优势演员评论家(A3 C)代理以及发布到OpenAI Gym的最佳代理。
2017-04-18 cs.AI
RLCD: Reinforcement Learning from Contrastive Distillation for Language Model Alignment
Meta AI;UC Berkeley(加州大学伯克利分校);UCLA(加州大学洛杉矶分校)
RLCD通过对比蒸馏生成偏好对训练偏好模型,结合强化学习对齐语言模型,无需人类反馈,在无害性、帮助性和故事大纲生成任务上超越RLAIF和上下文蒸馏基线。
2024-03-16 cs.AI cs.CL
Reinforcement Learning Fine-tuning of Language Models is Biased Towards More Extractable Features
AI Safety Hub Labs(AI安全中心实验室)
该研究探究大语言模型监督微调的归纳偏置原则是否适用于强化学习微调,通过对照实验验证了预训练后越易提取的特征越易被最终策略利用等两个假设,为相关假设提供了统计显著的证据。
2023-11-07 cs.CL cs.LG
Using Natural Language for Reward Shaping in Reinforcement Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
最近的强化学习(RL)方法在诸如Atari游戏等复杂领域中表现出强大的性能,但通常是高度样本效率低下的。减少与环境的交互时间的一种常见方法是使用奖励塑造,这涉及到仔细设计奖励函数,为智能体向目标的进展提供中间奖励。然而,设计适当的成形奖励是已知的困难以及耗时。在这项工作中,我们解决这个问题,使用自然语言指令执行奖励塑造。我们提出了一种基于代理采取的行动将自由形式的自然语言指令映射到中间奖励的框架--行为奖励网络(LEARN)。这些基于中间语言的奖励可以无缝集成到任何标准的强化学习算法中。我们使用Atari学习环境中的Montezuma's Revenge进行实验,这是RL中的一个流行基准。我们对15个不同任务的实验表明,对于与环境的相同数量的交互,与没有语言的学习相比,基于语言的奖励平均导致成功完成任务的几率增加60%。
2019-05-31 cs.AI cs.LG stat.ML
Source-Grounded Semantic Reinforcement Learning for Low-Resource Target-Language Generation
Minzu University of China(中国民族大学);Ant Group(蚂蚁集团);Shanghai Jiao Tong University(上海交通大学);Peking University(北京大学);Harbin Institute of Technology(哈尔滨工业大学);South China University of Technology(华南理工大学)
提出源语言锚定的语义强化学习(SG-SRL),通过跨语言语义奖励模型利用源语言单语数据,结合轻量级恢复阶段解决奖励黑客问题,在低资源目标语言生成中提升语义锚定和事实覆盖。
2026-05-28 cs.AI cs.CL
Multi-Task Reinforcement Learning with Language-Encoded Gated Policy Networks
Manning College of Information and Computer Science(信息与计算机科学曼宁学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出词汇策略网络(LEXPOL),利用语言编码和门控机制混合子策略,实现多任务强化学习,在MetaWorld上达到或超越基线,并能组合专家策略适应新任务。
2025-10-07 cs.AI cs.LG
Efficient Wasserstein Natural Gradients for Reinforcement Learning
Gatsby Unit, UCL(伦敦大学学院盖茨比计算神经科学单元);University of Cambridge(剑桥大学)
提出了一种新的优化方法,应用于强化学习(RL)的策略梯度方法和演化策略。该过程使用了计算效率高的Wasserstein自然梯度(WNG)下降,利用Wasserstein惩罚引起的几何形状来加速优化。该方法遵循RL中最近的主题,即在建立信任区域的目标中包括发散惩罚。在具有挑战性的任务上的实验表明,与先进的基线相比,计算成本和性能都有所改善。
2021-03-18 cs.LG
Directional Alignment Mitigates Reward Hacking in Reinforcement Learning for Language Models
University of British Columbia(不列颠哥伦比亚大学);Vector Institute(向量研究所);Amazon(亚马逊)
通过分析强化学习更新的几何结构,发现奖励黑客源于优化偏离稳定低维学习轨迹,提出可信方向投影方法约束梯度在干净参考子空间内,延迟捷径利用并保持任务性能。
2026-05-24 cs.CL cs.LG
Multi-Objective Reinforcement Learning for Large Language Model Optimization: Visionary Perspective
Fraunhofer Institute for Applied Information Technology FIT, Germany(弗劳恩霍夫应用信息科技研究所);Soochow University, China(苏州大学);University Hospital of Cologne, Germany(科隆大学医院)
本文提出多目标强化学习(MORL)分类法,分析其在优化大语言模型中的优劣,并展望了元策略MORL及基准框架以提升效率与灵活性。
2025-09-25 cs.AI cs.CL cs.LG
FollowNet: Robot Navigation by Following Natural Language Directions with Deep Reinforcement Learning
Google(谷歌)
理解和遵循人类提供的方向可以使机器人在未知的情况下有效地导航。我们提出了FollowNet,这是一种用于学习多模态导航策略的端到端可微分神经架构。FollowNet将自然语言指令以及视觉和深度输入映射到运动原语。FollowNet使用注意力机制处理指令,该机制以视觉和深度输入为条件,在执行导航任务时专注于命令的相关部分。深度强化学习(RL)是一种稀疏奖励,它同时学习状态表示、注意力函数和控制策略。我们评估我们的代理上的数据集的复杂的自然语言的方向,引导代理通过一个丰富的和现实的数据集的模拟家园。我们表明,FollowNet代理学习执行以前看不见的指令描述了类似的词汇,并成功地沿着训练过程中没有遇到的路径导航。该代理显示出比没有注意力机制的基线模型提高了30%,在新指令下的成功率为52%。
2018-05-16 cs.AI cs.CL cs.LG
Using Reinforcement Learning to Train Large Language Models to Explain Human Decisions
Princeton University(普林斯顿大学);The University of Hong Kong(香港大学);Georgia Institute of Technology(佐治亚理工学院)
本文利用强化学习训练大语言模型,使其能解释人类决策行为,实现预测与可解释性的双重目标。
2026-02-01 cs.AI cs.CL
Language-Guided Reinforcement Learning for Hard Attention in Few-Shot Learning
McGill University(麦吉尔大学);Mila - Quebec AI Institute(魁北克AI研究院)
本文提出LaHA框架,利用语言引导的深度强化学习解决少样本学习中的硬注意力发现难题,通过聚焦关键数据片段提升模型准确性与可解释性,并在基准数据集上验证了有效性。
2025-04-20 cs.AI cs.LG
Reward Generation via Large Vision-Language Model in Offline Reinforcement Learning
KAIST(韩国科学技术院)
针对离线强化学习中设计奖励信号成本高的问题,提出基于大型视觉语言模型的奖励生成方法RG-VLM,无需人类参与即可从离线数据生成奖励,能提升长时任务泛化能力和稀疏奖励下的性能。
2025-04-03 cs.AI cs.LG
Toward Collaborative Reinforcement Learning Agents that Communicate Through Text-Based Natural Language
Stellenbosch University(斯泰伦博斯大学)
协作多代理设置中的代理之间的通信通常是隐式的或直接的数据流。本文认为基于文本的自然语言是一种新的形式的多个代理之间的通信训练强化学习。这可以被认为是迈向真正自主通信的第一步,而无需定义有限的指令集,以及人类和机器人之间的自然协作。灵感来自游戏的盲线索,我们提出了一个环境,其中一个代理使用自然语言的指令,以指导另一个通过迷宫。我们测试了强化学习代理通过离散单词级符号进行有效沟通的能力,并表明代理能够通过有限词汇量的自然语言进行充分沟通。虽然沟通并不总是完美的英语,但代理商仍然能够在迷宫中导航。我们实现了0.85的BLEU分数,这比随机生成的序列提高了0.61,同时保持了100%的迷宫完成率。这是使用我们的参考集的随机基线性能的3.5倍。
2021-07-21 cs.CL cs.LG
Natural Language Specification of Reinforcement Learning Policies through Differentiable Decision Trees
Georgia Institute of Technology(佐治亚理工学院)
本文提出一种人机协作框架,通过自然语言规范生成词汇决策树以热启动强化学习策略,在避免额外探索成本的同时实现了>80%的翻译准确率并匹配了基线性能。
2023-05-20 cs.AI cs.CL cs.LG
Learning Natural Language Constraints for Safe Reinforcement Learning of Language Agents
CSIRO’s Data61(联邦科学与工业研究组织数据61);UNSW Sydney(新南威尔士大学悉尼分校)
提出一种安全语言对齐框架,通过从正负演示中学习自然语言约束并形式化为CMDP,提升LLMs在领域偏移和对抗输入下的安全泛化能力。
2025-04-04 cs.AI cs.CL
Optimal Control with Natural Images: Efficient Reinforcement Learning using Overcomplete Sparse Codes
University of New England(新英格兰大学)
本文通过过完备稀疏编码实现自然图像的高效最优控制,证明强化学习在无需深度学习的情况下可有效解决复杂控制任务。
2026-05-05 cs.AI cs.LG cs.SY
Hierarchical reinforcement learning with natural language subgoals
DeepMind(深度思维)
本文提出利用人类自然语言数据软监督子目标空间,以改进3D具身环境中长程任务的分层强化学习,实验表明其性能优于行为克隆和从零开始的分层强化学习方法。
2023-09-20 cs.CL cs.LG