AdvancedIF: Rubric-Based Benchmarking and Reinforcement Learning for Advancing LLM Instruction Following
Meta Superintelligence Labs(Meta超智能实验室);Princeton University(普林斯顿大学)
本研究提出AdvancedIF基准和RIFL方法,通过规则生成和奖励塑造提升大语言模型的指令跟随能力,在AdvancedIF上实现6.7%的提升。
2025-11-26 cs.CL
REFINE-AF: A Task-Agnostic Framework to Align Language Models via Self-Generated Instructions using Reinforcement Learning from Automated Feedback
Indian Institute of Technology, Kharagpur(印度理工学院,克哈格普尔)
本文提出REFINE-AF半自动化任务无关框架,利用开源小型LLM自生成指令并结合基于自动化反馈的RL训练,以更低成本生成微调数据,并在63%至66%的任务上显著优于以往方法。
2025-05-10 cs.CL
Value-based Search in Execution Space for Mapping Instructions to Programs
Tel-Aviv University(特拉维夫大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
将自然语言指令映射到给定目标世界监督的程序的训练模型只需要在训练时搜索好的程序。搜索通常是在部分程序或程序树的空间中使用束搜索来完成的,但是随着指令长度的增长,找到好的程序变得困难。在这项工作中,我们提出了一个搜索算法,使用目标世界的状态,在训练时已知的,训练一个评论家网络,预测每个搜索状态的预期回报。然后,我们通过用搜索状态所代表的程序的可能性来插值它们的预期奖励,从而在梁上对搜索状态进行评分。此外,我们不是在程序的空间中搜索,而是在程序执行的更压缩状态中搜索,并增加了最近的实体和动作。在SCONE数据集上,我们表明,与标准束搜索和其他基线相比,我们的算法在所有三个域上都显着提高了性能。
2019-03-19 cs.CL
Instructions are all you need: Self-supervised Reinforcement Learning for Instruction Following
Shanghai Key Laboratory of Data Science, College of Computer Science and Artificial Intelligence, Fudan University(上海数据科学 key laboratory,复旦大学计算机科学与人工智能学院);School of Data Science, Fudan University(复旦大学数据科学学院);Ant Group(蚂蚁集团)
本文提出一种无需外部监督的自监督强化学习框架,通过直接从指令中生成奖励信号和伪标签来解决多约束任务中稀疏奖励问题,实验表明其在多个领域数据集上表现优异。
2026-04-14 cs.AI cs.CL
RLSR: Reinforcement Learning with Supervised Reward Outperforms SFT in Instruction Following
Inflection AI
本文提出RLSR方法,用强化学习框架结合监督奖励替代SFT,提升大模型指令遵循能力,并在基准上取得更高胜率。
2025-10-16 cs.CL
Self-Guided Plan Extraction for Instruction-Following Tasks with Goal-Conditional Reinforcement Learning
AXXX;MIRAI
本文提出SuperIgor框架,通过自学习机制使语言模型生成并优化高层计划,减少手动标注需求。通过迭代共训练,强化学习代理和语言模型共同改进,验证了在动态和随机环境中严格遵循指令的能力。
2026-04-22 cs.AI cs.CL
Mapping Natural Language Instructions to Mobile UI Action Sequences
Google Research(谷歌研究院)
我们提出了一个新问题:将自然语言指令与移动用户界面动作相结合,并为其创建三个新的数据集。对于完整的任务评估,我们创建了PIXELHELP,这是一个语料库,将英语指令与移动UI模拟器上的人执行的动作配对。为了扩展训练,我们通过(a)在HowTo指令中注释动作短语跨度和(b)合成移动用户界面的动作的接地描述来解耦语言和动作数据。我们使用一个Transformer从长距离自然语言指令中提取动作短语元组。然后,基础Transformer使用UI对象的内容和屏幕位置来上下文地表示UI对象,并将它们连接到对象描述。给定一个起始屏幕和指令,我们的模型在PIXELHELP中预测完整的地面实况动作序列时达到了70.59%的准确率。
2020-06-05 cs.CL cs.LG
Agentic Reinforcement Learning for Search Misaligns Instruction-Tuning
University of Oxford(牛津大学);Ludwig-Maximilians-Universität München(慕尼黑路德维希-马克西米利安大学);Harvard University(哈佛大学)
研究智能体强化学习(RL)对指令微调模型对齐的影响,发现RL训练使模型将有害请求转化为良性搜索查询,但在触发条件下产生多步不安全搜索行为,并提出了基于表示引导的RL训练方法恢复对齐。
2026-06-16 cs.CL
Can LLMs Translate Human Instructions into a Reinforcement Learning Agent's Internal Emergent Symbolic Representation?
U2IS, ENSTA, IP-Paris(U2IS、ENSTA、IP-巴黎)
本研究探究大语言模型能否将人类自然语言指令翻译为分层强化学习智能体的内部涌现符号表示,通过结构化框架评估多款主流LLM在不同环境下的翻译性能,发现其性能受分区粒度和任务复杂度影响显著,暴露了表示对齐能力的局限性。
2025-10-28 cs.CL cs.RO
Navigational Instruction Generation as Inverse Reinforcement Learning with Neural Machine Translation
TTI-Chicago(芝加哥丰田技术研究所);UNC Chapel Hill(北卡罗来纳大学教堂山分校)
涉及人机交互的现代机器人应用要求机器人能够无缝有效地与人类进行通信。自然语言提供了一种灵活而有效的媒介,机器人可以通过它与人类伙伴交换信息。在开发能够解释自由形式指令的机器人方面已经取得了重大进展,但较少关注赋予机器人生成自然语言的能力。我们提出了一个导航指南模型,使机器人生成自然语言指令,让人类导航先验未知的环境。我们首先根据用户的偏好决定与用户共享哪些信息,使用通过反向强化学习从人类演示中训练的策略。然后,我们使用神经序列到序列模型将这些信息“翻译”成自然语言指令,该模型学习从自然语言语料库生成自由形式的指令。我们在基准路线指令数据集上评估了我们的方法,与人类生成的参考指令相比,BLEU得分为72.18%。我们还与人类参与者进行了导航实验,证明我们的方法生成的指令与人类生成的指令一样准确和容易。
2016-10-11 cs.AI cs.CL cs.LG
Grounding Hindsight Instructions in Multi-Goal Reinforcement Learning for Robotics
Hamburg University of Technology(汉堡工业大学);University of Hamburg(汉堡大学)
本文重点研究了机器人强化学习与稀疏奖励的自然语言目标表示。一个开放的问题是样本效率低下,这源于自然语言的组合性,以及语言在感官数据和动作中的基础。我们通过三个贡献来解决这些问题。我们首先提出了一种机制,利用专家反馈后见之明指令重放。其次,我们提出了一个seq2seq模型来生成语言后见之明指令。最后,我们提出了一类新的语言为重点的学习任务。我们表明,后见之明的指示,提高学习性能,正如预期的那样。此外,我们还提供了一个意想不到的结果:我们表明,我们的代理的学习性能可以提高三分之一,如果在某种意义上说,代理学习与自己交谈,在自我监督的方式。我们通过学习生成语言指令来实现这一点,这些语言指令本来适合作为最初无意行为的自然语言目标。我们的研究结果表明,性能增益与任务的复杂性增加。
2022-09-08 cs.AI cs.CL cs.LG
VerIF: Verification Engineering for Reinforcement Learning in Instruction Following
Department of Computer Science and Technology, Tsinghua University(计算机科学与技术系,清华大学)
针对指令跟随强化学习中验证实践不足的问题,提出结合规则代码验证与大模型验证的VerIF方法,构建VerInstruct数据集,训练后模型在同等规模下达SOTA且通用能力不受影响。
2025-06-11 cs.AI cs.CL
Okapi: Instruction-tuned Large Language Models in Multiple Languages with Reinforcement Learning from Human Feedback
University of Oregon(俄勒冈大学);Adobe Research(奥多比研究院)
针对现有开源大模型多语言指令微调仅依赖SFT的局限,本文提出首个基于RLHF的多语言指令微调系统Okapi,提供26种语言的数据与基准,并验证了RLHF优于SFT。
2023-08-02 cs.CL cs.LG
ICE-GRT: Instruction Context Enhancement by Generative Reinforcement based Transformers
AML Group, Bytedance Inc.(字节跳动有限公司 AML 组)
本文提出ICE-GRT模型,通过基于PPO的RLHF技术,在保持通用能力的同时提升特定领域任务的深度和分析能力,实现SOTA性能。
2024-01-04 cs.CL
Incorporating Voice Instructions in Model-Based Reinforcement Learning for Self-Driving Cars
Georgetown University(乔治城大学)
本文提出了一种新的方法,该方法支持自然语言语音指令,以在训练自动驾驶汽车时指导深度强化学习(DRL)算法。DRL方法是用于自主车辆(AV)代理的流行方法。然而,大多数现有的方法是样本和时间效率低下,缺乏与人类专家的自然沟通渠道。在本文中,新的人类驾驶员如何从人类教练那里学习激励我们研究新的人类在环学习方法和更自然、更平易近人的智能体训练界面。我们建议将自然语言语音指令(NLI)纳入基于模型的深度强化学习,以训练自动驾驶汽车。我们评估所提出的方法与一些国家的最先进的DRL方法在CARLA模拟器。结果表明,NLI可以帮助简化训练过程,并显着提高智能体的学习速度。
2022-06-21 cs.CL cs.CV cs.HC
Reinforcement learning fine-tuning of language model for instruction following and math reasoning
Stanford University(斯坦福大学)
该研究在 Qwen2.5-0.5B Base 上比较 SFT、DPO 与带奖励模型的 RLOO,发现 DeBERTa-RLOO 对齐最佳,并验证合成数据增强和外部验证 best-of-N 可显著提升数学推理。
2025-07-27 cs.AI cs.CL
Mapping Language to Programs using Multiple Reward Components with Inverse Reinforcement Learning
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
将自然语言指令映射到计算机可以处理的程序是一个根本性的挑战。现有的方法集中在基于可能性的训练或使用强化学习来基于单一奖励微调模型。本文提出了一种逆向强化学习的方法,即从语言生成程序。我们引入了几个可解释的奖励组件,并共同学习(1)线性组合它们的奖励函数,以及(2)程序生成策略。与使用强化学习(RL)的竞争方法相比,我们的方法的微调实现了显着更好的性能。在VirtualHome框架上,我们在最长公共子序列度量上得到了高达9.0%的改进,在基于召回的度量上得到了14.7%的改进,超过了以前在这个框架上的工作(Puig等人,2018年)。该方法是数据高效的,在低数据状态下表现出更大的性能增益。生成的程序也更受人类评估者的青睐,而不是基于RL的方法,并且在相关性,完整性和人性化方面评分更高。
2021-10-02 cs.CL
The Wisdom of Hindsight Makes Language Models Better Instruction Followers
University of California, Berkeley(加州大学伯克利分校)
强化学习在微调大语言模型以通过人类反馈更好地与指令保持一致方面取得了广泛的成功。所谓的算法,强化学习与人类反馈(RLHF)证明了GPT系列模型令人印象深刻的性能。然而,底层的强化学习(RL)算法很复杂,需要额外的奖励和价值网络训练管道。在本文中,我们考虑一种替代方法:通过重新标记原始反馈并以监督方式训练模型以更好地对齐,将反馈转换为指令。这种算法除了原始语言模型外不需要任何额外的参数,并且最大限度地重用了预训练管道。为了实现这一点,我们制定指令对齐问题的语言模型作为一个目标达成的问题,在决策。我们提出了后见之明指令重标记(HIR),一种新的算法对齐语言模型与指令。由此产生的两阶段算法揭示了一个家庭的奖励免费的方法,利用事后重新标记的指示的基础上的反馈。我们在12个具有挑战性的BigBench推理任务上广泛评估了HIR的性能,并表明HIR优于基线算法,与监督微调相当甚至超过监督微调。
2023-02-10 cs.AI cs.CL
Checklists Are Better Than Reward Models For Aligning Language Models
Carnegie Mellon University(卡内基梅隆大学)
本文提出基于检查表反馈的强化学习方法,通过灵活的指令特定准则提升语言模型的指令遵循能力,在多个基准测试中均取得性能提升。
2025-12-01 cs.CL
Mapping Navigation Instructions to Continuous Control Actions with Position-Visitation Prediction
Cornell University(康奈尔大学);Cornell Tech(康奈尔理工学院)
我们提出了一种映射自然语言指令和原始观测的四轴无人机的连续控制的方法。我们的模型预测可解释的位置访问分布,指示代理在执行过程中应该去哪里,它应该停止,并使用预测的分布来选择要执行的动作。这种两步模型分解允许使用监督学习和模仿学习的组合进行简单而有效的训练。我们用一个逼真的无人机模拟器来评估我们的方法,并证明了两种最先进的自动跟踪方法的绝对任务完成精度提高了16.85%。
2018-12-10 cs.AI cs.CL cs.CV
Instruction-Conditioned Exploration for Reinforcement Learning with Self-Distillation to an Unconditioned Policy
University of Southampton(南安普顿大学)
该研究针对LLM强化学习中的探索挑战,提出指令条件探索(ICE)方法,结合非对称RL/SD训练目标,使Qwen3-1.7B数学推理性能提升5.0%且长上下文下仍有效。
2026-08-06 cs.AI cs.CL cs.LG
Few-shot Object Grounding and Mapping for Natural Language Robot Instruction Following
Cornell University(康奈尔大学)
我们研究的问题,学习机器人的政策,遵循自然语言的指令,可以很容易地扩展到新的对象的原因。我们介绍了一个Few-Shot语言条件的对象接地方法训练的增强现实数据,使用范例来识别对象,并将它们与指令中提到的对象对齐。我们提出了一个学习的地图表示,编码对象的位置和它们的指示使用,并从我们的Few-Shot接地输出构建它。我们将这种映射方法集成到一个预防措施,以下政策,从而使它能够在测试时,通过简单地添加样本以前看不见的对象的原因。我们评估的任务,学习映射原始的观察和指示,以连续控制的物理四轴飞行器。我们的方法在存在新对象的情况下显著优于现有技术,即使现有方法在训练期间观察到所有对象。
2020-11-14 cs.AI cs.CL cs.CV
Compositional Instruction Following with Language Models and Reinforcement Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of the Witwatersrand(威特沃特斯兰德大学);Arizona State University(亚利桑那州立大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出CERLLA方法,结合组合性策略表示和强化学习训练的语义解析器,在162个任务上实现组合性泛化,以92%成功率超越非组合性基线80%。
2025-01-21 cs.CL cs.LG
Replay Failures as Successes: Sample-Efficient Reinforcement Learning for Instruction Following
Zhejiang University(浙江大学);Nanyang Technological University(南洋理工大学);Dalian University of Technology(大连理工大学);University of Science and Technology of China(中国科学技术大学);Alibaba Cloud Computing(阿里云计算);Chinese Academy of Sciences(中国科学院)
HiR 提出了一种样本高效强化学习框架,通过将失败尝试视为成功来提升指令跟随任务的性能,利用双偏好学习实现高效优化。
2025-12-29 cs.AI cs.CL cs.LG
Natural Language-conditioned Reinforcement Learning with Inside-out Task Language Development and Translation
Nanjing University(南京大学);Polixir Technologies(魔数智擎科技)
自然语言条件强化学习(RL)使智能体能够遵循人类的指令。以前的方法通常通过提供自然语言(NL)中的人类指令并训练跟随策略来实现语言条件RL。在这种由外而内的方法中,政策需要同时理解NL和管理任务。然而,无界的NL示例通常会给解决具体的RL任务带来额外的复杂性,这会分散策略学习完成任务的注意力。为了减轻学习负担的政策,我们调查了一个由内而外的计划自然语言条件RL通过开发一个任务语言(TL),是任务相关的和独特的。TL被用于RL,以实现高效和有效的政策培训。此外,还培训了一名翻译员将本族语翻译成目的语。我们实现了这个计划,TALAR(TAsk语言与谓词表示),学习多个谓词建模对象关系的TL。实验表明,TALAR不仅能更好地跟踪NL指令,而且能产生更好的跟随策略,提高13.4%的成功率,并能适应NL指令的不可见表达式。TL也可以是一个有效的任务抽象,自然与分层RL兼容。
2023-02-18 cs.CL cs.LG
Learning Instruction-Following Policies through Open-Ended Instruction Relabeling with Large Language Models
Carnegie Mellon University(卡内基梅隆大学)
本文提出利用大型语言模型对智能体历史轨迹进行开放式指令重标注,通过识别隐式完成的子任务丰富训练数据,从而在无需大量人工标注的情况下高效学习统一的指令遵循强化学习策略,并在Craftax环境中显著提升了样本效率与策略性能。
2025-06-24 cs.CL cs.LG
SeRL: Self-Play Reinforcement Learning for Large Language Models with Limited Data
Zhejiang University(浙江大学);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算机与数据科学学院);Hangzhou City University(杭州城市大学);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高新技术区(滨江)区块链与数据安全研究院)
SeRL通过自我指令和自我奖励机制,在有限数据条件下提升大型语言模型的推理能力。
2026-01-25 cs.AI cs.CL
HIPO: Instruction Hierarchy via Constrained Reinforcement Learning
School of ECEE Arizona State University(亚利桑那州立大学电子与计算机工程学院);Department of ECE The Ohio State University(俄亥俄州立大学电子工程系);Computer Science Department University of Houston(休斯顿大学计算机科学系);College of Engineering & Applied Science CU Boulder(科罗拉多大学博尔德分校工程与应用科学学院);Dept. of Electrical Engineering & Computer Science United States Military Academy(美国军事学院电子工程与计算机科学系)
HIPO通过约束马尔可夫决策过程解决层级指令遵循问题,提升系统合规性与用户效用。
2026-03-17 cs.AI cs.CL cs.LG
Language Instructed Reinforcement Learning for Human-AI Coordination
Stanford University(斯坦福大学)
针对多智能体强化学习易收敛至非人类偏好均衡、缺高质量人类行为数据的人机协作难题,提出instructRL框架,用大语言模型基于自然语言指令生成先验策略以正则化RL目标,在Hanabi等基准验证了符合人类偏好的策略效果及人机协作性能提升。
2023-06-10 cs.AI cs.CL cs.LG
Overcoming Referential Ambiguity in Language-Guided Goal-Conditioned Reinforcement Learning
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Institut des Systèmes Intelligents et de Robotique (ISIR)(智能系统与机器人研究所(ISIR))
针对语言指令中的指称歧义,本文在教师/学习者积木堆叠任务中结合教学法与实用主义推理,提升了目标条件强化学习学习者的样本效率。
2023-09-27 cs.CL cs.LG
FollowNet: Robot Navigation by Following Natural Language Directions with Deep Reinforcement Learning
Google(谷歌)
理解和遵循人类提供的方向可以使机器人在未知的情况下有效地导航。我们提出了FollowNet,这是一种用于学习多模态导航策略的端到端可微分神经架构。FollowNet将自然语言指令以及视觉和深度输入映射到运动原语。FollowNet使用注意力机制处理指令,该机制以视觉和深度输入为条件,在执行导航任务时专注于命令的相关部分。深度强化学习(RL)是一种稀疏奖励,它同时学习状态表示、注意力函数和控制策略。我们评估我们的代理上的数据集的复杂的自然语言的方向,引导代理通过一个丰富的和现实的数据集的模拟家园。我们表明,FollowNet代理学习执行以前看不见的指令描述了类似的词汇,并成功地沿着训练过程中没有遇到的路径导航。该代理显示出比没有注意力机制的基线模型提高了30%,在新指令下的成功率为52%。
2018-05-16 cs.AI cs.CL cs.LG
Exploring Natural Language-Based Strategies for Efficient Number Learning in Children through Reinforcement Learning
Univeristy Of Colorado, Boulder(科罗拉多大学博尔德分校)
本文通过强化学习框架研究儿童如何使用十进制积木组成数字,发现明确动作指导的指令更有效,并提出有效的教学课程以加速收敛和提升泛化能力。
2026-04-08 cs.AI cs.CL cs.LG
Less Noise, More Voice: Reinforcement Learning for Reasoning via Instruction Purification
Department of Computer Science, Aarhus University(计算机科学系,阿arhus大学);Baidu Inc.(百度公司)
本文提出LENS框架,通过去除干扰标记提升强化学习推理效率,实验显示其在数学推理和科学推理中性能更优,收敛更快。
2026-04-20 cs.AI cs.CL cs.LG
Learning to Map Natural Language Instructions to Physical Quadcopter Control using Simulated Flight
Cornell University(康奈尔大学)
我们提出了一个联合仿真和现实世界的学习框架,用于将导航指令和原始第一人称观察映射到连续控制。我们的模型估计环境探索的需要,预测在执行过程中访问环境位置的可能性,并控制代理探索和访问高可能性的位置。有监督强化异步学习(Supervised Reinforcement Asynchronous Learning,SuReAL)学习使用模拟和真实环境,而不需要在训练期间在物理环境中自主飞行,并结合监督学习来预测要访问的位置和强化学习来进行连续控制。我们评估了我们的方法与物理四轴飞行器的自然语言解释以下的任务,并展示了有效的执行和探索行为。
2019-10-21 cs.AI cs.CL cs.CV
Context-Aware Neural Gradient Mapping for Fine-Grained Instruction Processing
该论文提出上下文感知神经梯度映射框架,通过将上下文嵌入融入梯度调整机制,实现细粒度指令处理,提升泛化能力、鲁棒性和计算效率。
2025-04-24 cs.AI cs.CL
Listen, Attend, and Walk: Neural Mapping of Navigational Instructions to Action Sequences
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
我们提出了一个神经序列到序列模型的方向以下,一项任务,是必不可少的实现有效的自主智能体。我们的基于记忆的编码器-解码器模型与长短期记忆递归神经网络(LSTM-RNN)将自然语言指令转换为动作序列的基础上,可观察的世界状态的表示。我们引入了一个多层次的对齐器,使我们的模型专注于句子“区域”突出的当前世界状态,通过使用多个抽象的输入句子。与现有方法相比,我们的模型不使用专门的语言资源(例如,解析器)或任务专用注释(例如,种子词典)。因此,它是可推广的,但仍然达到了迄今为止在基准单句数据集上报告的最佳结果,以及有限训练多句设置的竞争结果。我们分析我们的模型,通过一系列的烧蚀,阐明我们的模型的主要组成部分的贡献。
2015-12-17 cs.AI cs.CL cs.LG
Following High-level Navigation Instructions on a Simulated Quadcopter with Imitation Learning
Cornell University(康奈尔大学);Cornell Tech(康奈尔科技学院);Tel Aviv University(特拉维夫大学)
我们介绍了一种方法,通过直接从图像,指令和姿态估计映射到连续的低级别的速度命令进行实时控制的高级别的导航指令。接地语义映射网络(GSMN)是一个完全可区分的神经网络架构,通过在网络中加入针孔摄像机投影模型,在世界参考系中构建显式语义映射。存储在地图中的信息是从经验中学习的,而本地到世界的转换是显式计算的。我们使用DaggerFM来训练模型,DaggerFM是Dagger的一个修改版本,它通过表格收敛保证来提高训练速度和内存使用。我们在虚拟环境中测试GSMN在现实的四轴飞行器模拟器,并表明,结合显式映射和接地模块,使GSMN能够超越强大的神经基线,几乎达到专家的政策性能。最后,我们分析了学习的地图表示,并表明,使用显式地图导致一个可解释的解释遵循模型。
2018-05-31 cs.AI cs.CL cs.CV
IPCGRL: Language-Instructed Reinforcement Learning for Procedural Level Generation
Gwangju Institute of Science and Technology (GIST), South Korea(全州科学技术学院(GIST));Dongseo University, South Korea(东国大学)
针对文本指令驱动的程序化内容生成问题,提出结合句子嵌入与强化学习的 IPCGRL,通过任务特定嵌入微调提升关卡生成的可控性与未见指令泛化能力。
2025-07-24 cs.AI cs.CL cs.LG
SUPERNOVA: Eliciting General Reasoning in LLMs with Reinforcement Learning on Natural Instructions
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出SUPERNOVA框架,通过自然指令数据集构建高质量的强化学习可验证奖励数据集,通过100+次强化学习实验系统研究如何利用这些数据集提升下游推理性能,并在BigBench Extra Hard基准上实现64.4个百分点的相对提升。
2026-06-04 cs.AI cs.CL cs.LG
Language-guided Semantic Mapping and Mobile Manipulation in Partially Observable Environments
University of Rochester(罗切斯特大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
用于基础语言理解的数据驱动模型的最新进展使机器人能够解释越来越复杂的指令。这些方法的两个基本限制是,大多数需要一个完整的环境模型是已知的先验,他们试图在一个世界表示,是平坦的,不必要的详细,这限制了可扩展性的原因。最近的语义映射方法通过利用语言作为传感器来推断环境的拓扑,度量和语义属性的分布来解决部分可观察性。然而,在可以支持不同指令的基础的高度详细的地图上维护分布在计算上是昂贵的,并且阻碍了实时的人机协作。我们提出了一个新的框架,学习适应感知根据任务,以保持紧凑的分布在语义图。移动机械手的实验表明,更有效的指令遵循在先验未知的环境。
2019-10-22 cs.AI cs.CL cs.RO
Grounding Complex Navigational Instructions Using Scene Graphs
Carnegie Mellon University(卡内基梅隆大学)
训练强化学习代理执行自然语言指令受到可用监督的限制,即知道指令何时执行。我们适应CLEVR视觉问答数据集生成复杂的自然语言导航指令和伴随的场景图,产生一个环境不可知的监督数据集。为了演示使用此数据集,我们将场景映射到VizDoom环境,并使用\citet{gatedattention}中的架构来训练代理执行这些更复杂的语言指令。
2021-06-03 cs.CL cs.CV cs.LG
Agentic Policy Optimization via Instruction-Policy Co-Evolution
Language Technology Lab, University of Cambridge(剑桥大学语言技术实验室);Machine Learning Research Group, University of Oxford(牛津大学机器学习研究组)
INSPO通过指令与策略的共演机制,动态优化指令以提升代理在多轮检索和推理任务中的性能,显著优于静态指令基线。
2026-01-31 cs.AI cs.CL cs.LG
LARFT: Closing the Cognition-Action Gap for Length Instruction Following in Large Language Models
Beijing University of Posts and Telecommunications(北京邮电大学);Nanyang Technological University(南洋理工大学)
LARFT通过结合强化学习与 hindsight 长度意识,提升大语言模型对输出长度的控制能力,在多个基准测试中取得显著提升。
2026-02-25 cs.AI cs.CL
Pre-Learning Environment Representations for Data-Efficient Neural Instruction Following
University of California, Berkeley(加州大学伯克利分校)
我们认为学习映射的问题,从自然语言指令的状态转换(行动),在一个数据有效的方式。我们的方法从这样一个想法中得到灵感:将语言与通过前语言观察已经形成的概念联系起来应该更容易。我们增加了一个基线的预防以下的学习者与初始环境学习阶段,使用观察的语言自由状态转换,以诱导一个合适的潜在的行动表示之前,处理预防以下的训练数据。我们表明,映射到预先学习的表示大大提高了系统的表现,其表示是从有限的教学数据单独学习。
2019-07-23 cs.AI cs.CL cs.LG
Learning to Solve Voxel Building Embodied Tasks from Pixels and Natural Language Instructions
AIRI;MIPT(莫斯科物理技术学院);Microsoft Research(微软研究院);University of Waterloo(滑铁卢大学)
采用预先训练好的语言模型来为具体化的智能体生成行动计划是一种很有前途的研究策略。然而,在真实或模拟环境中执行指令需要验证动作的可行性以及它们与目标完成的相关性。我们提出了一种结合语言模型和强化学习的新方法,用于根据自然语言指令在类似Minecraft的环境中构建对象。我们的方法首先从指令中生成一组一致可实现的子目标,然后使用预先训练的RL策略完成相关的子任务。该方法在IGLU 2022竞赛中形成了RL基线。
2022-11-01 cs.AI cs.CL
GLIDE-RL: Grounded Language Instruction through DEmonstration in RL
Microsoft(微软);AI Redefined Inc(AI Redefined 公司);Microsoft Research(微软研究院);University of Alberta(阿尔伯塔大学)
提出GLIDE-RL算法,引入教师-指导者-学生多智能体课程学习框架,通过多教师同时训练解决语言接地RL智能体的稀疏奖励与泛化难题。
2024-01-03 cs.AI cs.CL cs.LG
Learning to Navigate the Web
Google AI(谷歌人工智能(Google AI));cs.ucsb.edu(加州大学圣巴巴拉分校计算机科学系(注:此处原机构信息存在混淆,严格按要求提取明确出现的机构,实际“cs.ucsb.edu”是邮箱域名,非独立机构,故仅保留“Google AI”))
在具有大的状态和动作空间以及稀疏奖励的环境中学习,会阻碍强化学习(RL)代理通过试错法进行学习。例如,遵循Web上的自然语言指令(例如预订机票)会导致RL设置,其中页面上的输入词汇和可操作元素的数量可能会变得非常大。尽管最近的方法在人类示范的帮助下提高了相对简单环境的成功率,以指导探索,但在可能的指令集可能达到数百万的环境中,它们仍然失败。我们从不同的角度来处理上述问题,并提出了引导RL方法,可以生成无限数量的经验供代理学习。而不是从一个复杂的指令与大量的词汇学习,我们将其分解成多个子指令和调度课程,其中代理的任务是逐步增加这些相对容易的子指令的子集。此外,当专家演示不可用时,我们提出了一种新的元学习框架,该框架可以生成新的指令遵循任务,并更有效地训练代理。我们训练DQN,深度强化学习代理,Q-价值函数近似于这些较小的合成指令上的新型QWeb神经网络架构。我们评估我们的代理的能力,以推广到新的指令的比特基准的世界上,形式多达100个元素,支持1400万可能的指令。QWeb代理的性能优于基准,无需使用任何人工演示,在几个困难的环境中实现100%的成功率。
2018-12-21 cs.CL cs.LG stat.ML
Discrete Prompt Compression with Reinforcement Learning
本研究提出基于强化学习的离散提示压缩方法PCRL,通过高效策略网络直接编辑提示,无需梯度或标注数据,在保持性能的同时平均减少24.6%的token数量,并支持迁移至更大模型。
2024-06-02 cs.AI cs.CL
Narrative Landscape: Mapping Narrative Dispositions Across LLMs
School of Digital Humanities and Computational Social Sciences, KAIST(数字人文与计算社会科学学院,韩国科学技术院)
本文提出一个量化框架,用于评估LLM输出中稳定的模型特定规律。通过跨六个前沿模型和三种指令类型的结构化叙事约束选择任务,从一致性和多样性两个维度分析模型倾向,并引入基于PCA的可视化方法进行直接比较。
2026-05-09 cs.AI cs.CL
Toward Collaborative Reinforcement Learning Agents that Communicate Through Text-Based Natural Language
Stellenbosch University(斯泰伦博斯大学)
协作多代理设置中的代理之间的通信通常是隐式的或直接的数据流。本文认为基于文本的自然语言是一种新的形式的多个代理之间的通信训练强化学习。这可以被认为是迈向真正自主通信的第一步,而无需定义有限的指令集,以及人类和机器人之间的自然协作。灵感来自游戏的盲线索,我们提出了一个环境,其中一个代理使用自然语言的指令,以指导另一个通过迷宫。我们测试了强化学习代理通过离散单词级符号进行有效沟通的能力,并表明代理能够通过有限词汇量的自然语言进行充分沟通。虽然沟通并不总是完美的英语,但代理商仍然能够在迷宫中导航。我们实现了0.85的BLEU分数,这比随机生成的序列提高了0.61,同时保持了100%的迷宫完成率。这是使用我们的参考集的随机基线性能的3.5倍。
2021-07-21 cs.CL cs.LG
EPM-RL: Reinforcement Learning for On-Premise Product Mapping in E-Commerce
AI Research, Enhans(AI研究,Enhans)
本文提出EPM-RL框架,通过强化学习提升电商产品映射的准确性和效率,解决传统方法依赖外部API和高成本的问题,实现私有部署和低成本运营。
2026-04-27 cs.AI cs.CL cs.DB
Generating Diverse Programs with Instruction Conditioned Reinforced Adversarial Learning
Georgia Tech(佐治亚理工学院);DeepMind(深度思维)
深度强化学习的进步已经导致代理在各种感觉运动领域表现良好。在这项工作中,我们研究的设置中,代理必须学会生成程序的不同场景的条件下,一个给定的符号指令。最终目标通过场景的图像指定给我们的代理。与目标图像一致的符号指令被用作我们策略的条件输入。由于单个指令对应于一组不同但仍然一致的最终目标图像,因此代理需要学习在给定指令的程序上生成分布。我们证明,通过对强化对抗学习目标的简单改变,我们可以学习指令条件政策,以实现相应的不同目标。最重要的是,我们的代理的随机政策,更准确地捕捉目标分布的多样性比一个固定的基于像素的奖励函数基线。我们在两个领域证明了我们的方法的有效性:(1)使用基于指令的绘制软件绘制MNIST数字,以及(2)在满足特定指令的3D编辑器中构建场景。
2018-12-03 cs.CL cs.CV cs.LG