Towards A Structured Overview of Use Cases for Natural Language Processing in the Legal Domain: A German Perspective
Technical University of Munich(慕尼黑工业大学)
本文基于系统性文献综述和德国法律实践,构建法律科技用例的结构化概览,识别七类NLP技术与22个法律用例的对应关系,并提炼出15个伦理、法律和社会方面(ELSA)问题。
2024-05-02 cs.CL cs.CY
An Overview and Discussion on Using Large Language Models for Implementation Generation of Solutions to Open-Ended Problems
Stony Brook University(石溪大学)
本文综述了利用大型语言模型为开放式问题自动生成解决方案实现的研究现状,涵盖模型提示、强化学习与检索增强生成等方法,并探讨了未来研究方向。
2025-01-03 cs.AI cs.CL
Text Style Transfer: An Introductory Overview
Charles University(查理大学);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
本文概述文本风格迁移任务,涵盖其挑战、方法、数据集、评估、子任务及应用,旨在增进对文本风格迁移背景和基本原理的理解。
2024-07-20 cs.CL
Reinforcement Learning Based Graph-to-Sequence Model for Natural Question Generation
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
自然问题生成(Natural Question Generation,QG)的目的是从文章和答案中生成问题。以往的QG工作要么(i)忽略隐藏在文本中的丰富结构信息,(ii)仅仅依赖于交叉熵损失,导致暴露偏差和训练/测试测量之间的不一致等问题,或者(iii)未能充分利用答案信息。为了解决这些局限性,在本文中,我们提出了一个基于强化学习(RL)的图到序列(Graph 2Seq)模型QG。我们的模型由一个Graph 2Seq生成器和一个新的基于双向门控图神经网络的编码器组成,以嵌入通道,以及一个混合评估器,其混合目标结合了交叉熵和RL损失,以确保生成语法和语义有效的文本。我们还引入了一个有效的深度对齐网络,用于在单词和上下文两个层面将答案信息纳入文章中。我们的模型是端到端可训练的,并实现了新的最先进的分数,在标准SQuAD基准测试中显著优于现有方法。
2020-08-27 cs.CL
A Review of Reinforcement Learning for Natural Language Processing, and Applications in Healthcare
University of Minnesota(明尼苏达大学);Amazon Web Services(亚马逊网络服务);Quanta Sciences(Quantum Sciences)
本文综述了强化学习在自然语言处理中的关键技术进展,并重点分析了其在医疗决策、对话系统、翻译和问答等医疗保健场景中的应用与伦理挑战。
2023-10-23 cs.CL
Language is Power: Representing States Using Natural Language in Reinforcement Learning
强化学习的最新进展已经显示出其解决复杂现实任务的潜力。然而,随着任务维度的增加,强化学习方法往往会遇到困难。为了克服这一点,我们探索的方法来表示嵌入在状态的语义信息。虽然先前的方法集中于原始形式的信息(例如,原始视觉输入),我们建议使用自然语言来表示状态。语言可以表示复杂的场景和概念,使其成为表示的有利候选者。在ViZDoom领域内的经验证据表明,基于自然语言的代理比基于视觉的代理更强大,收敛速度更快,性能更好,显示了使用自然语言表示进行强化学习的好处。
2020-02-05 cs.AI cs.CL cs.LG
LangMARL: Natural Language Multi-Agent Reinforcement Learning
Arizona State University(亚利桑那州立大学);Cisco Research(思科研究院);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
LangMARL通过引入语言空间中的信用分配和策略梯度进化,解决大语言模型在动态环境中自主协调策略演化的问题,提升样本效率、可解释性和泛化能力。
2026-04-01 cs.CL
Predictive Biases in Natural Language Processing Models: A Conceptual Framework and Overview
Stony Brook University(石溪大学);Bocconi University(博科尼大学)
越来越多的自然语言处理工作已经解决了偏差对预测结果的影响,引入了作用于标准NLP管道(数据和模型)不同部分的缓解技术。然而,这些工作是孤立进行的,没有一个统一的框架来组织外地的努力。这导致了重复的方法,并将不适当的重点放在偏见的影响上,而不是它们的起源。侧重于偏见症状而不是根本原因的研究可能会限制有效对策的制定。在本文中,我们提出了一个统一的概念:NLP的预测偏差框架。我们总结了NLP文献,并提出了NLP中预测偏差的一般数学定义以及概念框架,区分了偏差的四个主要来源:标签偏差,选择偏差,模型过度放大和语义偏差。我们讨论了过去的工作是如何对抗每一个偏见的起源。我们的框架用于指导NLP中预测偏差的介绍性概述,将现有工作整合到一个单一的结构中,并为未来的研究开辟道路。
2020-09-12 cs.AI cs.CL cs.LG
Adaptive Natural Language Generation for Task-oriented Dialogue via Reinforcement Learning
Nagoya University(名古屋大学)
当在现实世界的面向任务的对话系统中实现自然语言生成(NLG)组件时,不仅需要生成如在训练数据上学习的自然话语,而且需要生成适于对话环境的话语(例如,来自环境声音的噪声)和用户(例如,具有低水平理解能力的用户)。受语言生成任务的强化学习(RL)的最新进展的启发,我们提出了ANTOR,一种通过强化学习为面向任务的对话自适应自然语言生成的方法。在ANTOR中,一个自然语言理解(NLU)模块,它对应于用户对系统话语的理解,被纳入RL的目标函数。如果NLG的意图被正确地传达给理解系统话语的NLU,则NLG被给予积极的奖励。我们在MultiWOZ数据集上进行了实验,我们证实了ANTOR可以针对语音识别错误和不同词汇水平的用户生成自适应的话语。
2022-09-16 cs.AI cs.CL
Deep Reinforcement Learning with a Natural Language Action Space
University of Washington(华盛顿大学);Microsoft Research(微软研究院)
本文介绍了一种新的强化学习架构,该架构具有深度神经网络,旨在处理以自然语言为特征的状态和动作空间,如基于文本的游戏中所发现的。该架构被称为深度强化相关网络(DRRN),它用独立的嵌入向量表示动作和状态空间,并结合交互函数来近似强化学习中的Q函数。我们在两个流行的文本游戏上评估了DRRN,显示出优于其他深度Q学习架构的性能。对释义动作描述的实验表明,该模型是在提取意义,而不是简单地记忆文本字符串。
2016-06-08 cs.AI cs.CL cs.LG
The Cost of Training NLP Models: A Concise Overview
AI21 Labs(AI21实验室)
我们回顾了训练大规模语言模型的成本,以及这些成本的驱动因素。目标受众包括工程师和科学家预算他们的模型训练实验,以及非从业者试图使现代自然语言处理(NLP)的经济意义。
2020-04-19 cs.CL cs.LG cs.NE
NaRLE: Natural Language Models using Reinforcement Learning with Emotion Feedback
Microsoft(微软)
当前对话系统的研究主要集中在面向任务或开放域环境下的短对话上。在本文中,我们专注于在线改进基于任务的会话助理,主要是那些从事文档类型会话的助理(例如,电子邮件),其内容可能与助理的任务完全相关,也可能不完全相关。我们提出了“NARLE”一个深度强化学习(RL)框架,用于在线改进对话系统的自然语言理解(NLU)组件,而无需为客户数据收集人类标签。所提出的解决方案将用户情感与助理的动作相关联,并使用该情感来使用策略梯度改进NLU模型。对于两个意图分类问题,我们的经验表明,使用强化学习微调预训练的监督学习模型,提高性能高达43%。此外,我们证明了部分和噪声隐式反馈的方法的鲁棒性。
2021-10-05 cs.CL cs.LG
Natural Language Generation as Planning under Uncertainty Using Reinforcement Learning
School of Informatics(信息学院);University of Edinburgh(爱丁堡大学)
我们提出并评估了一个新的模型,自然语言生成(NLG)在口语对话系统,统计规划的基础上,从当前生成的上下文(例如,用户和表面实现)的嘈杂的反馈。我们研究了它在一个标准的NLG问题中的使用:如何向用户呈现信息(在这种情况下是一组搜索结果),考虑到话语长度,传达的信息量和认知负荷之间的复杂权衡。我们通过分析现有的MATCH数据来设置这些权衡。然后,我们使用强化学习(RL)训练NLG策略,该策略使其行为适应来自当前生成上下文的噪声反馈。将这一政策与这一领域以往工作中的几条基线进行了比较。学习策略的性能明显优于所有先前的方法。
2016-06-15 cs.AI cs.CL
An Overview of Hindi Speech Recognition
Einstein College of Engineering(爱因斯坦工程学院);G H Raisoni College of Engg.(G H Raisoni工程学院);Nagpur University(那格浦尔大学);PG Dept. of Computer Science(计算机科学研究生部);SGB Amravati University(SGB阿姆拉瓦蒂大学)
在这个信息技术时代,以方便的方式获取信息变得越来越重要。由于语音是人类交流的主要方式,人们自然希望能够与计算机进行口语对话。语音识别系统允许普通人对着计算机说话来检索信息。最好有一个本地语言的人机对话。印地语是印度最广泛使用的语言,是人机交互的自然主要人类语言候选者。印地语中有五对元音;一个成员比另一个长。本文概述了语音识别系统,包括语音是如何产生的,印地语音素的属性和特点。
2013-05-09 cs.CL cs.SD
Natural Language Reinforcement Learning
University College London(伦敦大学学院);University of Surrey(萨里大学);Shanghai Jiao Tong University(上海交通大学)
针对强化学习样本效率低和可解释性差等问题,提出自然语言强化学习(NLRL),结合大语言模型在自然语言空间重新定义RL核心概念,实验证明其有效且具可解释性。
2024-02-14 cs.AI cs.CL cs.LG
Guiding Reinforcement Learning Exploration Using Natural Language
University of Kentucky(肯塔基大学);Georgia Institute of Technology(佐治亚理工学院)
在这项工作中,我们提出了一种使用自然语言来帮助强化学习推广到看不见的环境的技术。这种技术使用神经机器翻译,特别是使用编码器-解码器网络,来学习自然语言行为描述和状态-动作信息之间的关联。然后,我们使用这个学习模型来指导代理探索,使用修改后的策略塑造版本,使其在看不见的环境中学习更有效。我们评估这种技术使用流行的街机游戏,青蛙,在理想和非理想条件下。该评估表明,我们修改后的策略成形算法提高了Q学习代理以及基线版本的策略成形。
2017-09-14 cs.AI cs.CL cs.LG
Graph Constrained Reinforcement Learning for Natural Language Action Spaces
Georgia Institute of Technology(佐治亚理工学院);Microsoft Research(微软研究院)
交互式小说游戏是基于文本的模拟,其中代理纯粹通过自然语言与世界交互。它们是研究如何扩展强化学习代理以应对组合大文本动作空间中的自然语言理解、部分可观察性和动作生成挑战的理想环境。我们提出了KG-A2 C,一个代理,建立一个动态的知识图谱,同时探索和生成使用基于模板的动作空间的行动。我们认为,知识图谱的双重用途,以原因有关的游戏状态和约束自然语言生成的组合大自然语言行动的可扩展性探索的关键。各种IF游戏的结果表明,KG-A2 C优于当前的IF代理,尽管动作空间大小呈指数级增长。
2020-01-23 cs.AI cs.CL cs.LG
Toward Collaborative Reinforcement Learning Agents that Communicate Through Text-Based Natural Language
Stellenbosch University(斯泰伦博斯大学)
协作多代理设置中的代理之间的通信通常是隐式的或直接的数据流。本文认为基于文本的自然语言是一种新的形式的多个代理之间的通信训练强化学习。这可以被认为是迈向真正自主通信的第一步,而无需定义有限的指令集,以及人类和机器人之间的自然协作。灵感来自游戏的盲线索,我们提出了一个环境,其中一个代理使用自然语言的指令,以指导另一个通过迷宫。我们测试了强化学习代理通过离散单词级符号进行有效沟通的能力,并表明代理能够通过有限词汇量的自然语言进行充分沟通。虽然沟通并不总是完美的英语,但代理商仍然能够在迷宫中导航。我们实现了0.85的BLEU分数,这比随机生成的序列提高了0.61,同时保持了100%的迷宫完成率。这是使用我们的参考集的随机基线性能的3.5倍。
2021-07-21 cs.CL cs.LG
Hierarchical reinforcement learning with natural language subgoals
DeepMind(深度思维)
本文提出利用人类自然语言数据软监督子目标空间,以改进3D具身环境中长程任务的分层强化学习,实验表明其性能优于行为克隆和从零开始的分层强化学习方法。
2023-09-20 cs.CL cs.LG
Natural Language-conditioned Reinforcement Learning with Inside-out Task Language Development and Translation
Nanjing University(南京大学);Polixir Technologies(魔数智擎科技)
自然语言条件强化学习(RL)使智能体能够遵循人类的指令。以前的方法通常通过提供自然语言(NL)中的人类指令并训练跟随策略来实现语言条件RL。在这种由外而内的方法中,政策需要同时理解NL和管理任务。然而,无界的NL示例通常会给解决具体的RL任务带来额外的复杂性,这会分散策略学习完成任务的注意力。为了减轻学习负担的政策,我们调查了一个由内而外的计划自然语言条件RL通过开发一个任务语言(TL),是任务相关的和独特的。TL被用于RL,以实现高效和有效的政策培训。此外,还培训了一名翻译员将本族语翻译成目的语。我们实现了这个计划,TALAR(TAsk语言与谓词表示),学习多个谓词建模对象关系的TL。实验表明,TALAR不仅能更好地跟踪NL指令,而且能产生更好的跟随策略,提高13.4%的成功率,并能适应NL指令的不可见表达式。TL也可以是一个有效的任务抽象,自然与分层RL兼容。
2023-02-18 cs.CL cs.LG
Natural Language Interfaces for Spatial and Temporal Databases: A Comprehensive Overview of Methods, Taxonomy, and Future Directions
Department of Computer Science, Marquette University, Milwaukee, Wisconsin, USA(计算机科学系,马凯特大学,密尔沃基,威斯康星州,美国)
本文综述了空间和时间数据库的自然语言接口研究,分析了现有方法的分类、数据集和评估指标,并指出现有研究中的趋势、差异和开放挑战,为未来研究方向提供指导。
2026-03-24 cs.AI cs.CL cs.DB
Safe Multi-agent Reinforcement Learning with Natural Language Constraints
King’s College London(伦敦国王学院);University of Liverpool(利物浦大学);Eindhoven University of Technology(埃因霍温理工大学);Carnegie Mellon University(卡内基梅隆大学)
提出SMALL方法,利用微调语言模型将自然语言约束转化为语义嵌入,集成到多智能体策略学习中,在LaMaSafe基准上实现相当奖励且显著减少约束违规。
2024-05-30 cs.CL cs.LG cs.MA
Is Feedback All You Need? Leveraging Natural Language Feedback in Goal-Conditioned Reinforcement Learning
University of Edinburgh(爱丁堡大学);Heriot-Watt University(赫瑞-瓦特大学)
本文扩展 BabyAI 自动生成自然语言反馈,并改造 Decision Transformer 利用该信号,证明其可替代或补充回报与目标描述,提升目标条件 RL 智能体的泛化能力。
2023-12-07 cs.AI cs.CL
A Survey of Reinforcement Learning Informed by Natural Language
University of Oxford(牛津大学);Facebook AI Research(Facebook人工智能研究院);Massachusetts Institute of Technology(麻省理工学院);University College London(伦敦大学学院)
为了在现实世界的任务中取得成功,强化学习(RL)需要利用世界的组成、关系和层次结构,并学会将其转移到手头的任务中。语言表示学习的最新进展使得建立从文本语料库中获取世界知识并将这些知识整合到下游决策问题中的模型成为可能。因此,我们认为,现在是时候调查的自然语言理解到RL的紧密整合。我们调查了该领域的现状,包括指令遵循、文本游戏和从文本领域知识中学习的工作。最后,我们呼吁开发新的环境,以及进一步调查的潜在用途,最近的自然语言处理(NLP)技术,这样的任务。
2019-06-10 cs.AI cs.CL cs.LG
Seq2SQL: Generating Structured Queries from Natural Language using Reinforcement Learning
Salesforce Research(Salesforce 研究院)
世界上大量的知识存储在关系数据库中。然而,由于缺乏对诸如SQL的查询语言的理解,用户从数据库检索事实的能力是有限的。我们提出了Seq2SQL,这是一种深度神经网络,用于将自然语言问题转换为相应的SQL查询。我们的模型利用SQL查询的结构来显着减少生成的查询的输出空间。此外,我们使用的回报,从在数据库的循环查询执行学习的政策,以产生无序的部分查询,我们表明是不太适合通过交叉熵损失优化。此外,我们还将发布WikiSQL,这是一个包含80654个手工注释的问题和SQL查询示例的数据集,分布在维基百科的24241个表中。该数据集是训练我们的模型所必需的,并且比可比数据集大一个数量级。通过将基于策略的强化学习与查询执行环境应用于WikiSQL,我们的模型Seq2SQL优于注意序列到序列模型,将执行准确率从35.9%提高到59.4%,逻辑形式准确率从23.4%提高到48.3%。
2017-11-09 cs.AI cs.CL
Discourse Marker Augmented Network with Reinforcement Learning for Natural Language Inference
Zhejiang University(浙江大学);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院);Fabu Inc.(Fabu公司)
自然语言推理(NLI),又称文本蕴涵识别(RTE),是自然语言处理中最重要的问题之一。它需要推断两个给定句子之间的逻辑关系。虽然目前的方法主要集中在句子的交互结构,在本文中,我们建议从一些重要的话语标记转移知识,以提高NLI模型的质量。我们观察到人们通常使用诸如“so”或“but”之类的话语标记来表示两个句子之间的逻辑关系。这些词与句子的意义有着潜在的深层联系,因此可以用来帮助改善句子的表征。此外,我们使用强化学习来优化一个新的目标函数,并根据NLI数据集的属性定义奖励,以充分利用标签信息。实验表明,我们的方法达到了最先进的性能在几个大规模的数据集。
2019-07-23 cs.AI cs.CL cs.LG
Inherently Explainable Reinforcement Learning in Natural Language
Georgia Institute of Technology(佐治亚理工学院);Allen Institute for AI(艾伦人工智能研究所)
我们专注于创建一个内在可解释的强化学习代理的任务-通过在执行任务时大声思考并分析整个轨迹以产生因果解释来产生即时本地解释的能力。这种分层可解释的强化学习代理(HEX-RL)在交互式小说中运行,基于文本的游戏环境中,代理使用文本自然语言感知和作用于世界。这些游戏通常被构造为具有长期依赖性的谜题或任务,其中代理必须完成一系列动作才能成功-提供理想的环境来测试代理解释其动作的能力。我们的代理被设计为将可解释性视为一等公民,使用提取的基于符号知识图谱的状态表示加上分层图注意力机制,该机制指向内部图表示中最影响动作选择的事实。实验表明,该代理提供了显着改善的解释强基线,由人类参与者一般不熟悉的环境,同时也匹配最先进的任务性能。
2022-10-06 cs.AI cs.CL cs.HC
Modeling natural language emergence with integral transform theory and reinforcement learning
Stanford University(斯坦福大学);Quiltomics
Zipf定律预测了语言交流系统中词序和频率之间的幂律关系,并且在各种自然语言处理应用中得到了广泛报道。然而,自然语言的出现通常被建模为说话者和听者利益之间的偏见的函数,这缺乏一个直接的方式有关的信息理论偏见Zipfian等级。偏见的功能也是对说话者和听话者之间交流努力的一种非直觉的解释。我们针对这些缺点,提出了一种新的积分变换和内核映射到相应的词的频率等级表示在任何任意的相变点,从而在一个直接的方式来链接沟通的努力(建模扬声器/听众的偏见),以特定的词汇使用(由字排名)。我们展示了我们的积分变换的实际效用,通过展示如何从偏置到秩的变化导致在图像分类任务中更高的准确性和性能,用于将单词标签分配给从CIFAR 10随机子采样的图像。我们将此任务建模为说话者和听话者之间的强化学习游戏,并比较了偏见和Zipfian单词等级对两个代理之间的沟通性能(和准确性)的相对影响。
2018-11-30 cs.AI cs.CL
Empowering NLG: Offline Reinforcement Learning for Informal Summarization in Online Domains
National Yang Ming Chiao Tung University(国立阳明交通大学)
本研究提出一种基于离线强化学习的自然语言生成方法,通过结合爬虫、强化学习和文本生成模块为在线内容生成非正式摘要,显著提升了回复质量与平均点赞得分,优化了客服效率与用户体验。
2023-06-17 cs.AI cs.CL
lilGym: Natural Language Visual Reasoning with Reinforcement Learning
Cornell University(康奈尔大学)
lilGym 是一个基于 2,661 条自然语言语句的视觉语言条件强化学习新基准,通过可执行 Python 程序实现精确奖励计算,实验表明现有方法性能有限,构成开放挑战。
2023-05-29 cs.AI cs.CL cs.LG
Reinforcement Learning and Bandits for Speech and Language Processing: Tutorial, Review and Outlook
Columbia University(哥伦比亚大学)
本文综述了 reinforcement learning 和 bandits 在语音和自然语言处理中的最新进展,探讨了如何利用其奖励驱动适应性等优势构建自适应、交互式且可扩展的模型来解决相关问题。
2023-10-19 cs.AI cs.CL cs.LG
Survey on reinforcement learning for language processing
本文综述了强化学习在自然语言处理任务中的应用,重点探讨对话系统中的方法、优势与局限,并提出未来研究方向。
2022-03-15 cs.AI cs.CL cs.LG
Exploring Natural Language-Based Strategies for Efficient Number Learning in Children through Reinforcement Learning
Univeristy Of Colorado, Boulder(科罗拉多大学博尔德分校)
本文通过强化学习框架研究儿童如何使用十进制积木组成数字,发现明确动作指导的指令更有效,并提出有效的教学课程以加速收敛和提升泛化能力。
2026-04-08 cs.AI cs.CL cs.LG
Natural Language Reinforcement Learning
University College London(伦敦大学学院);National University of Singapore(新加坡国立大学);Brown University(布朗大学);Shanghai Jiao Tong University(上海交通大学);University of Surrey(萨里大学);University of Bristol(布里斯托大学)
提出自然语言强化学习(NLRL)框架,通过语言价值函数(LVF)将价值重新定义为可解释的语言叙述,并扩展至策略、Bellman方程和策略迭代等核心组件,利用LLMs实现无监督环境交互的类RL训练,在多步智能体任务中验证了其有效性与促进深度理解及主动学习的潜力。
2025-05-28 cs.AI cs.CL cs.LG
Incorporating Voice Instructions in Model-Based Reinforcement Learning for Self-Driving Cars
Georgetown University(乔治城大学)
本文提出了一种新的方法,该方法支持自然语言语音指令,以在训练自动驾驶汽车时指导深度强化学习(DRL)算法。DRL方法是用于自主车辆(AV)代理的流行方法。然而,大多数现有的方法是样本和时间效率低下,缺乏与人类专家的自然沟通渠道。在本文中,新的人类驾驶员如何从人类教练那里学习激励我们研究新的人类在环学习方法和更自然、更平易近人的智能体训练界面。我们建议将自然语言语音指令(NLI)纳入基于模型的深度强化学习,以训练自动驾驶汽车。我们评估所提出的方法与一些国家的最先进的DRL方法在CARLA模拟器。结果表明,NLI可以帮助简化训练过程,并显着提高智能体的学习速度。
2022-06-21 cs.CL cs.CV cs.HC
FollowNet: Robot Navigation by Following Natural Language Directions with Deep Reinforcement Learning
Google(谷歌)
理解和遵循人类提供的方向可以使机器人在未知的情况下有效地导航。我们提出了FollowNet,这是一种用于学习多模态导航策略的端到端可微分神经架构。FollowNet将自然语言指令以及视觉和深度输入映射到运动原语。FollowNet使用注意力机制处理指令,该机制以视觉和深度输入为条件,在执行导航任务时专注于命令的相关部分。深度强化学习(RL)是一种稀疏奖励,它同时学习状态表示、注意力函数和控制策略。我们评估我们的代理上的数据集的复杂的自然语言的方向,引导代理通过一个丰富的和现实的数据集的模拟家园。我们表明,FollowNet代理学习执行以前看不见的指令描述了类似的词汇,并成功地沿着训练过程中没有遇到的路径导航。该代理显示出比没有注意力机制的基线模型提高了30%,在新指令下的成功率为52%。
2018-05-16 cs.AI cs.CL cs.LG
Natural Language Specification of Reinforcement Learning Policies through Differentiable Decision Trees
Georgia Institute of Technology(佐治亚理工学院)
本文提出一种人机协作框架,通过自然语言规范生成词汇决策树以热启动强化学习策略,在避免额外探索成本的同时实现了>80%的翻译准确率并匹配了基线性能。
2023-05-20 cs.AI cs.CL cs.LG
SQLNet: Generating Structured Queries From Natural Language Without Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学)
从自然语言合成SQL查询是一个长期存在的开放性问题,最近引起了人们的极大兴趣。为了解决这个问题,事实上的方法是采用序列到序列风格的模型。这种方法必然要求SQL查询被序列化。由于同一个SQL查询可能有多个等价的序列化,因此训练序列到序列风格的模型对其中一个的选择很敏感。这种现象被称为“秩序问题”。现有的最先进的方法依赖于强化学习,以奖励解码器时,它产生任何等效的串行化。然而,我们观察到强化学习的改进是有限的。在本文中,我们提出了一种新的方法,即,SQLNet,从根本上解决了这个问题,避免了序列到序列结构时的顺序无关紧要。特别是,我们采用了一个基于草图的方法,草图包含一个依赖图,使一个预测可以只考虑以前的预测,它依赖于。此外,我们提出了一个序列集模型以及列注意力机制合成的查询草图的基础上。通过结合所有这些新技术,我们表明,SQLNet可以在WikiSQL任务上超过现有技术9%至13%。
2017-11-13 cs.AI cs.CL cs.DB
Safe Reinforcement Learning with Natural Language Constraints
Princeton University(普林斯顿大学);Google Research(谷歌研究院)
虽然安全的强化学习(RL)在机器人或自动驾驶汽车等许多实际应用中具有很大的前景,但目前的方法需要以数学形式指定约束。这些规范需要领域专业知识,限制了安全RL的采用。在本文中,我们提出了学习解释自然语言的安全RL的约束。为此,我们首先介绍了HazardWorld,一个新的多任务基准,需要一个代理优化奖励,同时不违反自由形式的文本中指定的约束。然后,我们开发了一个代理的模块化架构,可以解释和坚持这样的文本约束,同时学习新的任务。我们的模型包括(1)一个约束解释器,它将文本约束编码为禁止状态的空间和时间表示,以及(2)一个策略网络,它使用这些表示来产生一个策略,在训练过程中实现最小的约束违反。在HazardWorld的不同领域中,我们表明,与现有方法相比,我们的方法实现了更高的奖励(高达11倍)和更少的约束违反(1.8倍)。然而,就绝对性能而言,HazardWorld仍然对智能体有效学习提出了重大挑战,激发了未来工作的需求。
2021-08-04 cs.AI cs.CL cs.LG
Navigational Instruction Generation as Inverse Reinforcement Learning with Neural Machine Translation
TTI-Chicago(芝加哥丰田技术研究所);UNC Chapel Hill(北卡罗来纳大学教堂山分校)
涉及人机交互的现代机器人应用要求机器人能够无缝有效地与人类进行通信。自然语言提供了一种灵活而有效的媒介,机器人可以通过它与人类伙伴交换信息。在开发能够解释自由形式指令的机器人方面已经取得了重大进展,但较少关注赋予机器人生成自然语言的能力。我们提出了一个导航指南模型,使机器人生成自然语言指令,让人类导航先验未知的环境。我们首先根据用户的偏好决定与用户共享哪些信息,使用通过反向强化学习从人类演示中训练的策略。然后,我们使用神经序列到序列模型将这些信息“翻译”成自然语言指令,该模型学习从自然语言语料库生成自由形式的指令。我们在基准路线指令数据集上评估了我们的方法,与人类生成的参考指令相比,BLEU得分为72.18%。我们还与人类参与者进行了导航实验,证明我们的方法生成的指令与人类生成的指令一样准确和容易。
2016-10-11 cs.AI cs.CL cs.LG
Grounding Natural Language Commands to StarCraft II Game States for Narration-Guided Reinforcement Learning
U.S. Army Research Laboratory(美国陆军研究实验室)
虽然深度强化学习技术已经使智能体能够成功地学习执行许多以前无法学习的任务,但这些技术仍然容易受到长期存在的{ \em奖励稀疏}问题的影响。这对于训练智能体玩星际争霸II这样的任务来说尤其如此,星际争霸II是一款实时战略游戏,只有在游戏结束时才会给予奖励,而游戏通常很长。虽然这个问题可以通过奖励塑造来解决,但这种方法通常需要具有专业知识的人类专家。通过自然语言叙事的更容易接近的范式,使奖励塑造的愿景的启发下,我们调查在多大程度上,我们可以通过接地这些叙事的具体目标的状态。我们提出了一种使用多输入深度神经网络的相互嵌入模型,该模型将一系列自然语言命令投影到与相应目标状态相同的高维表示空间中。我们表明,使用这个模型,我们可以学习一个嵌入空间与可分离的和不同的集群,准确地映射自然语言命令到相应的游戏状态。我们还讨论了这个模型如何允许使用叙述作为一个强大的形式的奖励塑造,以提高RL的性能和效率。
2019-04-24 cs.CL cs.LG cs.MM