Question Answering with Texts and Tables through Deep Reinforcement Learning
Escola Politécnica, Universidade de São Paulo(圣保罗大学理工学院);Novelo Data(诺韦洛数据公司)
针对需联合文本与表格的开放域多跳问答,本文提出用强化学习在每一步选择不同最先进检索/推理工具的架构,并在 OTT-QA 上达到与已有迭代系统相当的 F1 19.03。
2025-02-20 cs.CL
CONQRR: Conversational Query Rewriting for Retrieval with Reinforcement Learning
University of Washington(华盛顿大学);Google Research(谷歌研究院);Allen Institute for AI(艾伦人工智能研究所)
与标准检索任务相比,会话式问答(CQA)的段落检索在理解当前用户问题方面提出了新的挑战,因为每个问题都需要在对话上下文中进行解释。此外,重新训练诸如最初为非会话查询开发的搜索引擎之类的成熟检索器可能是昂贵的。为了方便他们的使用,我们开发了一个查询重写模型CONQRR,重写成一个独立的问题的上下文中的会话问题。它是用一种新的奖励函数训练的,可以直接使用强化学习优化检索,并且可以适应任何现成的检索器。CONQRR在最近的一个包含来自三个不同来源的对话的开放域CQA数据集上实现了最先进的结果,并且对两个不同的现成检索器有效。我们广泛的分析还表明,CONQRR的鲁棒性域外的对话,以及零查询重写监督。
2022-10-28 cs.CL
Reinforcement Learning for Conversational Question Answering over Knowledge Graph
本文提出用强化学习解决法律知识库对话式问答中输入问题含噪声、表达不明确导致难以定位答案的问题,并在多个真实数据集上验证了有效性。
2024-01-16 cs.AI cs.CL
Natural Language Generation Using Reinforcement Learning with External Rewards
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
我们提出了一种使用双向编码器-解码器的自然语言生成方法,该方法通过强化学习(RL)结合了外部奖励。我们使用注意力机制和最大互信息作为一个初始目标函数使用RL。使用两部分训练方案,我们训练外部奖励分析器来预测外部奖励,然后使用预测的奖励来最大化预期奖励(内部和外部)。我们评估两个标准的对话语料库-康奈尔电影对话语料库和Yelp餐厅评论语料库的系统。我们报告标准的评估指标,包括BLEU,ROUGE-L,和困惑,以及人类的评价,以验证我们的方法。
2019-11-26 cs.CL
Ask the Right Questions: Active Question Reformulation with Reinforcement Learning
Google(谷歌)
我们将提问(QA)定义为一个强化学习任务,我们称之为主动问答。我们提出了一个代理,坐在用户和一个黑盒QA系统之间,并学会重新制定的问题,以引出最好的答案。代理用初始问题的潜在的许多自然语言重新表述来探测系统,并聚集返回的证据以产生最佳答案。使用策略梯度对重构系统进行端到端训练以最大化答案质量。我们在SearchQA上进行评估,SearchQA是从Jeopardy!中提取的复杂问题的数据集。代理的性能优于最先进的基本模型,扮演环境和其他基准的角色。我们还分析了语言的代理人已经学会了,而与问答系统进行交互。我们发现,成功的问题重新表述看起来很不同于自然语言的释义。该代理能够发现非平凡的重构策略,类似于经典的信息检索技术,如术语重新加权(tf-idf)和词干。
2018-03-02 cs.AI cs.CL
Clarify or Answer: Reinforcement Learning for Agentic VQA with Context Under-specification
University of Washington(华盛顿大学);Allen Institute for AI(人工智能研究院)
CoA通过强化学习解决上下文不充分的视觉问答问题,通过生成聚焦问题澄清歧义,提升问答准确性。
2026-10-21 cs.CL
Enhancing Reinforcement Learning with Label-Sensitive Reward for Natural Language Understanding
Tencent(腾讯)
提出标签敏感奖励强化学习框架(RLLR),通过捕捉标签敏感语义特征,显著提升LLMs在NLU任务中的表现。
2024-05-30 cs.CL
A Coarse to Fine Question Answering System based on Reinforcement Learning
Samsung Research America(三星美国研究院)
本文提出了一种基于强化学习的由粗到细的问答系统,通过选择适当的动作,可以有效地处理不同长度的文档。该系统使用基于行动者-批评者的深度强化学习模型来设计,以实现多步骤问答。与以往的QA模型主要针对包含短文档或长文档的数据集相比,我们的多步粗到细模型吸收了多个系统模块的优点,可以处理短文档和长文档。因此,与当前最先进的模型相比,该系统获得了更好的准确性和更快的训练速度。我们在四个QA数据集上测试了我们的模型,WIKEREADING,WIKIREADING LONG,CNN和SQuAD,并使用最先进的模型,与基线相比,使用1.5倍-3.4倍的训练速度,证明了1.3 $\%$ -1.7 $\%$的准确性提高。
2021-06-01 cs.AI cs.CL
Few-Shot Complex Knowledge Base Question Answering via Meta Reinforcement Learning
Monash University(莫纳什大学);Southeast University-Monash University Joint Research Institute(东南大学-莫纳什大学联合研究院);Southeast University(东南大学)
复杂问答(CQA)涉及在知识库(KB)上回答复杂的自然语言问题。然而,当问题具有不同类型时,传统的神经程序归纳(NPI)方法表现出不均匀的性能,具有固有的不同特征,例如,难度级别。提出了一种Meta强化学习方法用于CQA中的程序归纳,以解决问题中潜在的分布偏差问题。我们的方法快速,有效地适应元学习程序员的新问题的基础上检索的最相似的问题,从训练数据。然后,元学习策略用于学习良好的编程策略,利用试验轨迹及其对支持集中类似问题的奖励。我们的方法在CQA数据集上实现了最先进的性能(Saha等人,2018年),同时在每个支持集中只使用5个试验轨迹来处理前5个检索到的问题,并对仅由1%的训练集构建的任务进行元训练。我们已经在https://github.com/DevinJake/MRL-CQA上发布了我们的代码。
2020-10-29 cs.AI cs.CL
ARES: Automated Rubric Synthesis for Scalable LLM Reinforcement Learning
University of Science and Technology of China(中国科学技术大学);Alibaba Group(阿里巴巴集团);National University of Singapore(新加坡国立大学)
提出ARES框架,从原始预训练文档自动生成问答对和实例级加权评分标准,用于可扩展的基于评分标准的强化学习,在多个开放任务上超越持续预训练、监督微调和二元奖励强化学习。
2026-05-25 cs.CL
Perceiving the World: Question-guided Reinforcement Learning for Text-based Games
University of Technology Sydney(悉尼科技大学);Eindhoven University of Technology(埃因霍温理工大学);King’s College London(伦敦国王学院);A*STAR Centre for Frontier AI Research(新加坡科技研究局前沿人工智能研究中心)
基于文本的游戏为研究自然语言处理提供了一种互动的方式。虽然深度强化学习在开发游戏代理方面表现出了有效性,但低样本效率和大的动作空间仍然是阻碍DRL在现实世界中应用的两个主要挑战。在本文中,我们通过引入世界感知模块来解决这些挑战,这些模块通过回答有关环境的问题来自动分解任务和修剪动作。然后,我们提出了一个两阶段的训练框架,以解耦语言学习强化学习,这进一步提高了样本效率。实验结果表明,该方法显著提高了性能和样本效率。此外,它还表现出对复合误差和有限的预训练数据的鲁棒性。
2022-04-21 cs.AI cs.CL
R3S: Refining and Recovering Reinforcement Signals for Multilingual Understanding and Reasoning
National Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室,南京大学);University of Tübingen(图宾根大学);China Mobile Communications Company Limited Research Institute(中国移动通信集团有限公司研究院)
TRIT通过整合翻译训练提升多语言长推理能力,在MMATH上超越基线7个百分点,提升答案正确性和语言一致性。
2026-08-11 cs.CL
GAPD: Gold-Action Policy Distillation for Agentic Reinforcement Learning in Knowledge Base Question Answering
University of Science and Technology of China(中国科学技术大学);NLPR, MAIS, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);ShanghaiTech University(上海科技大学);Ant Group(蚂蚁集团)
提出GAPD框架,通过中间锚点匹配将金动作序列与在线策略对齐,为基于强化学习的知识库问答提供密集的令牌级指导,在多个基准上取得最优结果。
2026-06-03 cs.CL
Reinforcement Learning from Reformulations in Conversational Question Answering over Knowledge Graphs
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
个人助理的兴起使得会话式问答(ConvQA)成为用户-系统交互的非常流行的机制。在知识图谱(KG)上进行ConvQA的最先进方法只能从流行基准测试中发现的清晰问答对中学习。然而,在现实中,这样的训练数据很难获得:用户很少会明确地将答案标记为正确或错误。在这项工作中,我们向更自然的学习范式迈出了一步-从嘈杂和隐含的反馈通过问题重新表述。重新表述可能是由不正确的系统响应触发的,而新的后续问题可能是前一轮答案的积极信号。我们提出了一个强化学习模型,称为征服,可以从会话流的问题和重构。CONQUER将应答过程建模为多个代理在KG上并行行走,其中行走由使用策略网络采样的动作确定。该策略网络将问题与会话上下文一起作为输入,并通过从重构可能性获得的噪声奖励进行训练。为了评估CONQUER,我们创建并发布了ConvRef,这是一个基准测试,包含大约11 k个自然对话,其中包含大约205 k个重构。实验表明,CONQUER成功地从嘈杂的奖励信号中学习回答会话问题,在最先进的基线上有显着改善。
2021-08-20 cs.CL cs.IR
A Review of Reinforcement Learning for Natural Language Processing, and Applications in Healthcare
University of Minnesota(明尼苏达大学);Amazon Web Services(亚马逊网络服务);Quanta Sciences(Quantum Sciences)
本文综述了强化学习在自然语言处理中的关键技术进展,并重点分析了其在医疗决策、对话系统、翻译和问答等医疗保健场景中的应用与伦理挑战。
2023-10-23 cs.CL
AdaptR1: Reinforcement Learning Based Adaptive Interleaved Thinking in Multi-hop Question Answering
Computer Science, Fudan University(复旦大学计算机科学系);Institute of Modern Languages and Linguistics, Fudan University(复旦大学现代语言与语言学研究院);Shanghai Innovation Institute(上海创新研究院);Soochow University(苏州大学)
提出AdaptR1框架,通过强化学习动态分配每步推理预算,减少多跳问答中的过度思考,在保持性能的同时显著降低推理成本。
2026-05-29 cs.CL
Language is Power: Representing States Using Natural Language in Reinforcement Learning
强化学习的最新进展已经显示出其解决复杂现实任务的潜力。然而,随着任务维度的增加,强化学习方法往往会遇到困难。为了克服这一点,我们探索的方法来表示嵌入在状态的语义信息。虽然先前的方法集中于原始形式的信息(例如,原始视觉输入),我们建议使用自然语言来表示状态。语言可以表示复杂的场景和概念,使其成为表示的有利候选者。在ViZDoom领域内的经验证据表明,基于自然语言的代理比基于视觉的代理更强大,收敛速度更快,性能更好,显示了使用自然语言表示进行强化学习的好处。
2020-02-05 cs.AI cs.CL cs.LG
SPELL: Self-Play Reinforcement Learning for Evolving Long-Context Language Models
Sun Yat-sen University(中山大学);Tongyi Lab, Alibaba Group(阿里云实验室);Shenzhen Loop Area Institute(深圳河套学院)
本文提出SPELL框架,通过自我扮演问答和验证角色实现长上下文推理的无监督优化,实验显示其在多个基准上优于传统微调方法。
2026-03-13 cs.CL
MM-Doc-R1: Training Agents for Long Document Visual Question Answering through Multi-turn Reinforcement Learning
Fudan University(复旦大学);Shanghai Qiji Zhifeng Co., Ltd(上海启智锋科技有限公司)
MM-Doc-R1通过多轮强化学习训练代理,利用相似性基于策略优化提升长文档视觉问答性能,实验表明其优于现有方法。
2026-04-15 cs.CL
LangMARL: Natural Language Multi-Agent Reinforcement Learning
Arizona State University(亚利桑那州立大学);Cisco Research(思科研究院);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
LangMARL通过引入语言空间中的信用分配和策略梯度进化,解决大语言模型在动态环境中自主协调策略演化的问题,提升样本效率、可解释性和泛化能力。
2026-04-01 cs.CL
GlobalRAG: Enhancing Global Reasoning in Multi-hop Question Answering via Reinforcement Learning
GlobalRAG通过强化学习框架提升多跳问答的全局推理能力,引入规划质量奖励和子目标完成奖励,结合渐进权重退火策略,有效解决多步推理中的全局规划和执行不一致问题。
2026-03-16 cs.AI cs.CL
Can Offline Reinforcement Learning Help Natural Language Understanding?
Westlake University(西湖大学)
预训练是学习内隐可转移知识的一种有用方法,它显示了在不同模式之间提供互补功能的好处。最近的研究主要集中在图像和文本等形式上,例如,研究表明,从图像中学习的视觉特征可以帮助基于视觉的语言理解。在本文中,我们考虑调查之间的潜在联系离线强化学习(RL)和语言建模(LM)。直觉,RL和LM在基于当前和先前状态预测下一个状态方面是相似的,这依赖于跨状态的本地和远程依赖性。为了验证这样的假设,我们使用Transformer预先训练了不同的离线RL任务,然后在各种语言相关的任务上评估这些模型。实验结果表明,与使用LM训练目标的模型相比,我们的RL预训练模型可以提供接近的性能,这表明这两种模式之间存在共同的有用特征。为了进一步探索潜在的关系,我们研究了一些因素,如马尔可夫性质和RL轨迹的序列性质。
2022-09-15 cs.CL
Adaptive Natural Language Generation for Task-oriented Dialogue via Reinforcement Learning
Nagoya University(名古屋大学)
当在现实世界的面向任务的对话系统中实现自然语言生成(NLG)组件时,不仅需要生成如在训练数据上学习的自然话语,而且需要生成适于对话环境的话语(例如,来自环境声音的噪声)和用户(例如,具有低水平理解能力的用户)。受语言生成任务的强化学习(RL)的最新进展的启发,我们提出了ANTOR,一种通过强化学习为面向任务的对话自适应自然语言生成的方法。在ANTOR中,一个自然语言理解(NLU)模块,它对应于用户对系统话语的理解,被纳入RL的目标函数。如果NLG的意图被正确地传达给理解系统话语的NLU,则NLG被给予积极的奖励。我们在MultiWOZ数据集上进行了实验,我们证实了ANTOR可以针对语音识别错误和不同词汇水平的用户生成自适应的话语。
2022-09-16 cs.AI cs.CL
ConRub-Med: Reinforcement Learning with Consensus Rubrics for Open-Ended Medical Question Answering
本研究提出ConRub-Med,通过三模型共识准则与三状态评分优化GRPO策略,在9个医学问答基准中6个排第一,HealthBench-Hard得分优于InfiMed-ORBIT。
2026-08-12 cs.CL
Text-to-SPARQL Generation with Reinforcement Learning: A GRPO-based Approach on DBLP
本文研究了在学术领域中,基于强化学习的零样本文本到SPARQL生成方法,通过GRPO算法在DBLP-QuAD上训练小型指令微调语言模型,并与监督学习的DoRA微调基线进行比较。
2026-09-14 cs.CL
Deep Reinforcement Learning with a Natural Language Action Space
University of Washington(华盛顿大学);Microsoft Research(微软研究院)
本文介绍了一种新的强化学习架构,该架构具有深度神经网络,旨在处理以自然语言为特征的状态和动作空间,如基于文本的游戏中所发现的。该架构被称为深度强化相关网络(DRRN),它用独立的嵌入向量表示动作和状态空间,并结合交互函数来近似强化学习中的Q函数。我们在两个流行的文本游戏上评估了DRRN,显示出优于其他深度Q学习架构的性能。对释义动作描述的实验表明,该模型是在提取意义,而不是简单地记忆文本字符串。
2016-06-08 cs.AI cs.CL cs.LG
The Hallucination Tax of Reinforcement Finetuning
University of Southern California(南加州大学)
本研究提出强化微调存在“幻觉税”副作用,构建SUM不可解数学数据集验证标准RFT会大幅降低模型拒答率,发现加入10%SUM数据可在极小准确率损失下恢复拒答能力并提升泛化性。
2025-05-20 cs.CL
Playing 20 Question Game with Policy-Based Reinforcement Learning
Peking University(北京大学);Microsoft Corporation(微软公司);Microsoft Development Co., Ltd(微软开发有限公司)
提出基于策略的强化学习方法,使提问者通过与用户持续交互学习最优问题选择策略,并利用奖励网络估计信息奖励,无需知识库且对噪声答案鲁棒。
2026-07-03 cs.AI cs.CL cs.HC
Reinforcement Learning Based Argument Component Detection
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
论证成分检测是论证挖掘中的一个重要子任务。ACD的目标是检测和分类自然语言文本中的不同论点成分。历史注释(HA)是注释人员在手动执行ACD任务时考虑的重要功能。然而,HA在很大程度上被现有的自动ACD技术所忽略。强化学习(RL)已被证明是在某些自然语言处理任务中使用HA的有效方法。在这项工作中,我们提出了一个基于RL的ACD技术,并评估其性能上两个良好的注释语料库。结果表明,在分类精度方面,HAS增强的RL优于普通RL最多17.85%,优于最先进的监督学习算法最多11.94%。
2017-02-21 cs.CL
NaRLE: Natural Language Models using Reinforcement Learning with Emotion Feedback
Microsoft(微软)
当前对话系统的研究主要集中在面向任务或开放域环境下的短对话上。在本文中,我们专注于在线改进基于任务的会话助理,主要是那些从事文档类型会话的助理(例如,电子邮件),其内容可能与助理的任务完全相关,也可能不完全相关。我们提出了“NARLE”一个深度强化学习(RL)框架,用于在线改进对话系统的自然语言理解(NLU)组件,而无需为客户数据收集人类标签。所提出的解决方案将用户情感与助理的动作相关联,并使用该情感来使用策略梯度改进NLU模型。对于两个意图分类问题,我们的经验表明,使用强化学习微调预训练的监督学习模型,提高性能高达43%。此外,我们证明了部分和噪声隐式反馈的方法的鲁棒性。
2021-10-05 cs.CL cs.LG
Natural Language Generation as Planning under Uncertainty Using Reinforcement Learning
School of Informatics(信息学院);University of Edinburgh(爱丁堡大学)
我们提出并评估了一个新的模型,自然语言生成(NLG)在口语对话系统,统计规划的基础上,从当前生成的上下文(例如,用户和表面实现)的嘈杂的反馈。我们研究了它在一个标准的NLG问题中的使用:如何向用户呈现信息(在这种情况下是一组搜索结果),考虑到话语长度,传达的信息量和认知负荷之间的复杂权衡。我们通过分析现有的MATCH数据来设置这些权衡。然后,我们使用强化学习(RL)训练NLG策略,该策略使其行为适应来自当前生成上下文的噪声反馈。将这一政策与这一领域以往工作中的几条基线进行了比较。学习策略的性能明显优于所有先前的方法。
2016-06-15 cs.AI cs.CL
Every Question Has Its Own Value: Reinforcement Learning with Explicit Human Values
提出RLEV方法,将人类价值信号纳入强化学习奖励函数,使LLM在价值加权准确性上优于仅正确性基线,并学习价值敏感的终止策略,且对噪声价值信号稳健。
2025-10-23 cs.CL cs.LG
Training LLMs with Reinforcement Learning for Intent-Aware Personalized Question Answering
University of Washington(华盛顿大学)
本文提出IAP框架,通过强化学习直接从单轮问题推断用户意图并生成意图感知的回答,实验表明其在LaMP-QA基准上优于所有基线,平均宏得分提升约7.5%。
2026-05-12 cs.AI cs.CL
Natural Language Reinforcement Learning
University College London(伦敦大学学院);University of Surrey(萨里大学);Shanghai Jiao Tong University(上海交通大学)
针对强化学习样本效率低和可解释性差等问题,提出自然语言强化学习(NLRL),结合大语言模型在自然语言空间重新定义RL核心概念,实验证明其有效且具可解释性。
2024-02-14 cs.AI cs.CL cs.LG
Increasing the Difficulty of Automatically Generated Questions via Reinforcement Learning with Synthetic Preference
University of Sheffield(谢菲尔德大学);University of Manchester(曼彻斯特大学)
本文提出一种利用合成偏好数据的人类反馈强化学习(RLHF)方法,通过PPO算法在SQuAD子集上提高文化遗产领域机器阅读理解问题的难度,并验证了其有效性。
2024-10-10 cs.AI cs.CL
Ranking suspected answers to natural language questions using predictive annotation
在本文中,我们描述了一个系统,排名可疑的答案自然语言的问题。我们使用一种新技术(预测注释)来处理语料库和查询,该技术在文本中添加短语,并带有标签,预测它们是某些类型问题的目标。给定一个自然语言问题,IR系统返回一组匹配的段落,然后根据本文描述的各种标准对这些段落进行分析和排名。我们提供了一个评估的技术的基础上,从TREC Q&A评估,我们的系统参与的结果。
2000-05-30 cs.CL
Guiding Reinforcement Learning Exploration Using Natural Language
University of Kentucky(肯塔基大学);Georgia Institute of Technology(佐治亚理工学院)
在这项工作中,我们提出了一种使用自然语言来帮助强化学习推广到看不见的环境的技术。这种技术使用神经机器翻译,特别是使用编码器-解码器网络,来学习自然语言行为描述和状态-动作信息之间的关联。然后,我们使用这个学习模型来指导代理探索,使用修改后的策略塑造版本,使其在看不见的环境中学习更有效。我们评估这种技术使用流行的街机游戏,青蛙,在理想和非理想条件下。该评估表明,我们修改后的策略成形算法提高了Q学习代理以及基线版本的策略成形。
2017-09-14 cs.AI cs.CL cs.LG
Graph Constrained Reinforcement Learning for Natural Language Action Spaces
Georgia Institute of Technology(佐治亚理工学院);Microsoft Research(微软研究院)
交互式小说游戏是基于文本的模拟,其中代理纯粹通过自然语言与世界交互。它们是研究如何扩展强化学习代理以应对组合大文本动作空间中的自然语言理解、部分可观察性和动作生成挑战的理想环境。我们提出了KG-A2 C,一个代理,建立一个动态的知识图谱,同时探索和生成使用基于模板的动作空间的行动。我们认为,知识图谱的双重用途,以原因有关的游戏状态和约束自然语言生成的组合大自然语言行动的可扩展性探索的关键。各种IF游戏的结果表明,KG-A2 C优于当前的IF代理,尽管动作空间大小呈指数级增长。
2020-01-23 cs.AI cs.CL cs.LG
Toward Collaborative Reinforcement Learning Agents that Communicate Through Text-Based Natural Language
Stellenbosch University(斯泰伦博斯大学)
协作多代理设置中的代理之间的通信通常是隐式的或直接的数据流。本文认为基于文本的自然语言是一种新的形式的多个代理之间的通信训练强化学习。这可以被认为是迈向真正自主通信的第一步,而无需定义有限的指令集,以及人类和机器人之间的自然协作。灵感来自游戏的盲线索,我们提出了一个环境,其中一个代理使用自然语言的指令,以指导另一个通过迷宫。我们测试了强化学习代理通过离散单词级符号进行有效沟通的能力,并表明代理能够通过有限词汇量的自然语言进行充分沟通。虽然沟通并不总是完美的英语,但代理商仍然能够在迷宫中导航。我们实现了0.85的BLEU分数,这比随机生成的序列提高了0.61,同时保持了100%的迷宫完成率。这是使用我们的参考集的随机基线性能的3.5倍。
2021-07-21 cs.CL cs.LG
Good, Better, Best: Textual Distractors Generation for Multiple-Choice Visual Question Answering via Reinforcement Learning
Arizona State University(亚利桑那州立大学);Emory University(埃默里大学)
近年来,多项选择问题越来越受到研究者和用户的关注。随着自动构建大规模多项选择VQA数据的需求不断增长,我们引入了一种新的任务,称为文本干扰生成VQA(DG-VQA),专注于生成具有挑战性但有意义的干扰,给出上下文图像,问题和正确答案。DG-VQA任务的目的是在没有地面实况训练样本的情况下生成干扰项,因为这些资源很少可用。为了解决DG-VQA无监督,我们提出了Gobbet,一个基于强化学习(RL)的框架,利用预先训练的VQA模型作为替代知识库,以指导分心物生成过程。在Gobbet中,预先训练的VQA模型作为RL设置中的环境,为输入的多模态查询提供反馈,而神经干扰素生成器作为代理采取相应的行动。我们建议使用现有的VQA模型的性能下降的指标的质量产生的干扰。另一方面,我们通过数据增强实验展示了生成的干扰项的实用性,因为当AI模型应用于不可预测的开放域场景或安全敏感的应用程序时,鲁棒性越来越重要。我们进一步进行手动案例研究的因素,为什么分心产生的Gobbet可以愚弄现有的模型。
2022-04-18 cs.CL cs.CV
Hierarchical reinforcement learning with natural language subgoals
DeepMind(深度思维)
本文提出利用人类自然语言数据软监督子目标空间,以改进3D具身环境中长程任务的分层强化学习,实验表明其性能优于行为克隆和从零开始的分层强化学习方法。
2023-09-20 cs.CL cs.LG
Natural Language-conditioned Reinforcement Learning with Inside-out Task Language Development and Translation
Nanjing University(南京大学);Polixir Technologies(魔数智擎科技)
自然语言条件强化学习(RL)使智能体能够遵循人类的指令。以前的方法通常通过提供自然语言(NL)中的人类指令并训练跟随策略来实现语言条件RL。在这种由外而内的方法中,政策需要同时理解NL和管理任务。然而,无界的NL示例通常会给解决具体的RL任务带来额外的复杂性,这会分散策略学习完成任务的注意力。为了减轻学习负担的政策,我们调查了一个由内而外的计划自然语言条件RL通过开发一个任务语言(TL),是任务相关的和独特的。TL被用于RL,以实现高效和有效的政策培训。此外,还培训了一名翻译员将本族语翻译成目的语。我们实现了这个计划,TALAR(TAsk语言与谓词表示),学习多个谓词建模对象关系的TL。实验表明,TALAR不仅能更好地跟踪NL指令,而且能产生更好的跟随策略,提高13.4%的成功率,并能适应NL指令的不可见表达式。TL也可以是一个有效的任务抽象,自然与分层RL兼容。
2023-02-18 cs.CL cs.LG
Safe Multi-agent Reinforcement Learning with Natural Language Constraints
King’s College London(伦敦国王学院);University of Liverpool(利物浦大学);Eindhoven University of Technology(埃因霍温理工大学);Carnegie Mellon University(卡内基梅隆大学)
提出SMALL方法,利用微调语言模型将自然语言约束转化为语义嵌入,集成到多智能体策略学习中,在LaMaSafe基准上实现相当奖励且显著减少约束违规。
2024-05-30 cs.CL cs.LG cs.MA
Adaptive Ability Decomposing for Unlocking Large Reasoning Model Effective Reinforcement Learning
Renmin University of China(中国人民大学)
本文提出A$^2$D方法,通过分解复杂问题提升RLVR效果,适用于多种强化学习算法。
2026-01-31 cs.AI cs.CL
Reinforcement learning for question answering in programming domain using public community scoring as a human feedback
ITMO University(ITMO大学);Huawei(华为)
本文提出用 Stack Overflow 社区评分作为人类反馈,结合两种奖励模型策略和 PPO 微调 GPT Neo 125M,使其编程问答性能提升接近 2.7B 版本,并揭示传统语言指标的不足。
2024-01-19 cs.AI cs.CL cs.HC
Is Feedback All You Need? Leveraging Natural Language Feedback in Goal-Conditioned Reinforcement Learning
University of Edinburgh(爱丁堡大学);Heriot-Watt University(赫瑞-瓦特大学)
本文扩展 BabyAI 自动生成自然语言反馈,并改造 Decision Transformer 利用该信号,证明其可替代或补充回报与目标描述,提升目标条件 RL 智能体的泛化能力。
2023-12-07 cs.AI cs.CL
ChatR1: Reinforcement Learning for Conversational Reasoning and Retrieval Augmented Question Answering
University of Amsterdam(阿姆斯特丹大学)
ChatR1通过强化学习实现对话问答中的推理与检索增强,通过意图感知奖励提升多轮对话性能,优于多个基准数据集。
2026-04-25 cs.CL cs.IR
Seq2SQL: Generating Structured Queries from Natural Language using Reinforcement Learning
Salesforce Research(Salesforce 研究院)
世界上大量的知识存储在关系数据库中。然而,由于缺乏对诸如SQL的查询语言的理解,用户从数据库检索事实的能力是有限的。我们提出了Seq2SQL,这是一种深度神经网络,用于将自然语言问题转换为相应的SQL查询。我们的模型利用SQL查询的结构来显着减少生成的查询的输出空间。此外,我们使用的回报,从在数据库的循环查询执行学习的政策,以产生无序的部分查询,我们表明是不太适合通过交叉熵损失优化。此外,我们还将发布WikiSQL,这是一个包含80654个手工注释的问题和SQL查询示例的数据集,分布在维基百科的24241个表中。该数据集是训练我们的模型所必需的,并且比可比数据集大一个数量级。通过将基于策略的强化学习与查询执行环境应用于WikiSQL,我们的模型Seq2SQL优于注意序列到序列模型,将执行准确率从35.9%提高到59.4%,逻辑形式准确率从23.4%提高到48.3%。
2017-11-09 cs.AI cs.CL
A Survey of Reinforcement Learning Informed by Natural Language
University of Oxford(牛津大学);Facebook AI Research(Facebook人工智能研究院);Massachusetts Institute of Technology(麻省理工学院);University College London(伦敦大学学院)
为了在现实世界的任务中取得成功,强化学习(RL)需要利用世界的组成、关系和层次结构,并学会将其转移到手头的任务中。语言表示学习的最新进展使得建立从文本语料库中获取世界知识并将这些知识整合到下游决策问题中的模型成为可能。因此,我们认为,现在是时候调查的自然语言理解到RL的紧密整合。我们调查了该领域的现状,包括指令遵循、文本游戏和从文本领域知识中学习的工作。最后,我们呼吁开发新的环境,以及进一步调查的潜在用途,最近的自然语言处理(NLP)技术,这样的任务。
2019-06-10 cs.AI cs.CL cs.LG
Playing Text-Adventure Games with Graph-Based Deep Reinforcement Learning
School of Interactive Computing(交互式计算学院);Georgia Institute of Technology(佐治亚理工学院)
基于文本的冒险游戏提供了一个在组合动作空间(如自然语言)的背景下探索强化学习的平台。我们提出了一个深度强化学习架构,将游戏状态表示为在探索过程中学习的知识图谱。此图用于修剪动作空间,从而实现更有效的探索。采取哪种行动的问题可以简化为一个问答任务,这是一种迁移学习的形式,可以预先训练我们架构的某些部分。在使用TextWorld框架的实验中,我们表明,我们提出的技术可以比基线替代品更快地学习控制策略。我们还在https://github.com/rajammanabrolu/KG-DQN上开源了我们的代码。
2019-03-25 cs.AI cs.CL cs.LG
A$^2$Search: Ambiguity-Aware Question Answering with Reinforcement Learning
City University of Hong Kong(香港城市大学);Alibaba Group(阿里巴巴集团);Tsinghua University(清华大学)
提出A$^2$Search,一种无需标注的端到端框架,利用轨迹采样和强化学习自动识别并处理开放域问答中的多答案歧义,在八个基准上取得最先进性能。
2025-10-09 cs.AI cs.CL
RingSQL: Schema-Independent Synthetic Data Generation for Text-to-SQL Reinforcement Learning
Northwestern University(西北大学);Purdue University(普渡大学)
RingSQL通过结合不依赖模式的模板和大语言模型生成,提升文本到SQL模型的准确性和多样性
2026-08-06 cs.CL cs.LG
Discourse Marker Augmented Network with Reinforcement Learning for Natural Language Inference
Zhejiang University(浙江大学);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院);Fabu Inc.(Fabu公司)
自然语言推理(NLI),又称文本蕴涵识别(RTE),是自然语言处理中最重要的问题之一。它需要推断两个给定句子之间的逻辑关系。虽然目前的方法主要集中在句子的交互结构,在本文中,我们建议从一些重要的话语标记转移知识,以提高NLI模型的质量。我们观察到人们通常使用诸如“so”或“but”之类的话语标记来表示两个句子之间的逻辑关系。这些词与句子的意义有着潜在的深层联系,因此可以用来帮助改善句子的表征。此外,我们使用强化学习来优化一个新的目标函数,并根据NLI数据集的属性定义奖励,以充分利用标签信息。实验表明,我们的方法达到了最先进的性能在几个大规模的数据集。
2019-07-23 cs.AI cs.CL cs.LG
Modeling natural language emergence with integral transform theory and reinforcement learning
Stanford University(斯坦福大学);Quiltomics
Zipf定律预测了语言交流系统中词序和频率之间的幂律关系,并且在各种自然语言处理应用中得到了广泛报道。然而,自然语言的出现通常被建模为说话者和听者利益之间的偏见的函数,这缺乏一个直接的方式有关的信息理论偏见Zipfian等级。偏见的功能也是对说话者和听话者之间交流努力的一种非直觉的解释。我们针对这些缺点,提出了一种新的积分变换和内核映射到相应的词的频率等级表示在任何任意的相变点,从而在一个直接的方式来链接沟通的努力(建模扬声器/听众的偏见),以特定的词汇使用(由字排名)。我们展示了我们的积分变换的实际效用,通过展示如何从偏置到秩的变化导致在图像分类任务中更高的准确性和性能,用于将单词标签分配给从CIFAR 10随机子采样的图像。我们将此任务建模为说话者和听话者之间的强化学习游戏,并比较了偏见和Zipfian单词等级对两个代理之间的沟通性能(和准确性)的相对影响。
2018-11-30 cs.AI cs.CL