Learning to Order Facts for Discourse Planning in Natural Language Generation
提出了一种基于机器学习的自然语言生成中的语篇规划方法。更具体地说,我们解决的问题,学习最自然的事实排序的话语计划为一个特定的域。我们讨论我们的方法,以及如何使用两种不同的机器学习算法实例化。在博物馆展品描述领域进行的定量评估表明,我们的方法比手动构建的排序规则执行显着更好。由于可以再培训,因此规划人员可以很容易地移植到其他类似的领域,而不需要语言技术专业知识。
2003-06-13 cs.CL
Harnessing Knowledge and Reasoning for Human-Like Natural Language Generation: A Brief Review
Fudan University(复旦大学)
自然语言生成技术的迅速发展和应用给文本自动生成领域带来了革命性的变化。然而,这些技术在生成真正合理和信息丰富的类人文本方面仍然受到限制。在本文中,我们探讨了NLG的重要性是由知识指导,以传达人类的推理,通过语言生成。提出了智能NLG系统的十个目标,并简要回顾了知识和推理引导的NLG技术的成就。最后,我们还展望了实现这些目标的未来方向和挑战。
2022-12-07 cs.CL
Natural Language Generation in Dialogue using Lexicalized and Delexicalized Data
Microsoft Maluuba(微软 Maluuba);AdeptMind
自然语言生成在口语对话系统中起着至关重要的作用。我们提出了一种新的方法,自然语言生成面向任务的对话,使用递归神经网络的编码器-解码器框架。与以前的工作相比,我们的模型同时使用词汇化和非词汇化组件,即对话行为的槽值对,槽和相应的值对齐在一起。这使得我们的模型可以从所有可用的数据中学习,包括槽值配对,而不是局限于去词汇化的槽。我们表明,这有助于我们的模型生成更自然的句子,具有更好的语法。我们通过转移从预训练的句子自动编码器学习的权重来进一步提高模型的性能。对我们表现最好的模型的人类评估表明,它生成的句子对用户来说更有吸引力。
2017-04-21 cs.CL
Natural Language Generation
Tilburg University(蒂尔堡大学);University of Manchester(曼彻斯特大学)
本文概述了自然语言生成(NLG)领域,探讨了其定义、与机器翻译和对话系统的关系,并指出大型语言模型的兴起使自然语言处理各子领域在生成与评估方法上趋于一致。
2025-11-02 cs.CL
Data-driven Natural Language Generation: Paving the Road to Success
Heriot-Watt University(赫瑞-瓦特大学)
我们认为,目前有两个主要的瓶颈,商业使用的统计机器学习方法的自然语言生成(NLG):(a)缺乏可靠的自动评估指标的NLG,(b)缺乏高质量的领域内语料库。我们解决第一个问题,通过彻底分析当前的评估指标,并激发需要一个新的,更可靠的指标。第二个问题是通过提出一个新的框架来开发和评估一个高质量的语料库NLG培训。
2017-06-28 cs.CL
ATGen: A Framework for Active Text Generation
Research Center of the Artificial Intelligence Institute, Innopolis University(人工智能研究所研究中心,因诺普利斯大学);HSE University(俄罗斯高等经济大学);T-Technologies(T-技术公司);Robotics Center(机器人中心);AIRI(AI研究机构);SB-AI-Lab(SB-AI实验室);Royal Holloway University of London(皇家霍洛威大学);MBZUAI(马克斯·普朗克人工智能研究所)
本文提出ATGen框架,将主动学习与自然语言生成任务结合,支持人类与LLM自动标注代理,简化AL策略的实施与基准测试,并显著降低标注努力和API调用成本。
2025-06-29 cs.AI cs.CL
Defining and Evaluating Fair Natural Language Generation
Harvard University(哈佛大学)
我们的工作集中在句子完成的自然语言生成(NLG)任务中出现的偏见。在本文中,我们介绍了NLG的公平性框架,其次是两个国家的最先进的语言模型的性别偏见的评估。我们的分析提供了一个理论公式的偏见,在NLG和现有的语言生成模式嵌入性别偏见的实证证据。
2020-07-28 cs.CL cs.LG
A Hybrid Natural Language Generation System Integrating Rules and Deep Learning Algorithms
University of Aberdeen(阿伯丁大学);The University of Sydney(悉尼大学)
本文提出了一种增强的自然语言生成系统,结合了基于规则的方法和现代深度学习算法的优点,提高其性能的程度,生成的文本内容能够表现出灵活的人类写作风格和内容逻辑是高度可控的。本文还提出了一种新的方法HMCU来全面、准确地衡量自然语言处理的性能。
2020-06-17 cs.AI cs.CL
Conditioned Natural Language Generation using only Unconditioned Language Model: An Exploration
MIT(麻省理工学院)
基于转换器的语言模型已经被证明对于自然语言生成(NLG)非常强大。然而,以某些用户输入(如主题或属性)为条件的文本生成是不平凡的。过去的方法依赖于修改原始的LM架构,重新训练的LM语料库与属性标签,或单独训练的“指导模型”,以指导文本生成解码。我们认为,上述方法是不必要的,和原来的无条件LM是足够的条件NLG。我们通过自动化和人工评估的样本的流畅性和多样性来评估我们的方法。
2020-11-14 cs.CL cs.LG
Keeping Notes: Conditional Natural Language Generation with a Scratchpad Mechanism
Cornell University(康奈尔大学);Facebook(脸书);Sentropy Technologies(Sentropy科技公司)
我们介绍了Slogchpad机制,一种新的除了序列到序列(seq 2seq)神经网络架构,并证明其有效性,提高整体流畅性的seq 2seq模型的自然语言生成任务。通过使解码器在每个时间步长写入所有编码器输出层,Sockchpad可以将编码器用作“暂存器”存储器,以跟踪到目前为止已经生成的内容,从而指导未来的生成。我们在三个经过充分研究的自然语言生成任务-机器翻译,问题生成和文本摘要-的背景下评估Slogchpad,并在每个任务的标准数据集上获得最先进或可比较的性能。以人类判断(问题生成)、注意力可视化(MT)和样本输出(摘要)形式进行的定性评估进一步证明了Soccchpad生成流畅和富有表现力的输出的能力。
2019-06-13 cs.CL cs.LG
Applying Explanation-based Learning to Control and Speeding-up Natural Language Generation
本文提出了一种子语法自动提取方法,以控制和加速自然语言生成NLG。该方法基于基于推理的学习(EBL)。所提出的用于NLG的新方法的主要优点在于,可以大大降低NLG期间语法决策过程的复杂性,因为EBL方法支持NLG系统对语言的特定使用的适应。
1997-12-08 cmp-lg cs.CL
Approximate N-Gram Markov Model for Natural Language Generation
本文提出了一个近似的n-gram马尔可夫模型的袋子生成。使用具有距离的有向词关联对来近似(n-1)-gram和n-gram训练表。该模型具有词关联模型的参数,又兼有词关联模型和马尔可夫模型的优点。生成包的训练知识也可以应用于机器翻译设计中的词汇选择。
1994-08-24 cmp-lg cs.CL
Natural Language Generation Using Link Grammar for General Conversational Intelligence
Saratoga High School(萨拉托加高中);SingularityNET Foundation(奇点网络基金会);Aigents(Aigents公司);Novosibirsk State University(新西伯利亚国立大学)
许多当前的人工通用智能(AGI)和自然语言处理(NLP)架构不具备通用会话智能-也就是说,它们要么不处理语言,要么无法在没有手动劳动密集型方法(如基于模板的定制)的情况下以类似于人类语言的形式传达知识。在本文中,我们提出了一种使用Link Grammar数据库自动生成语法有效句子的新技术。这种自然语言生成方法远远优于当前最先进的基线,并且可以作为原型AGI问答管道中的最终组件,可以理解地处理自然语言材料。
2021-04-19 cs.AI cs.CL
PCFG-based Natural Language Interface Improves Generalization for Controlled Text Generation
Johns Hopkins University(约翰斯·霍普金斯大学);MIT(麻省理工学院);University of Washington(华盛顿大学)
现有的工作控制文本生成(CTG)假设一个控制接口的分类属性。在这项工作中,我们提出了一个自然语言(NL)的接口,我们工艺PCFG嵌入控制属性到自然语言命令,并提出了现有的CTG模型,以命令作为输入的变体。在我们的实验中,我们设计了定制的设置来测试模型的泛化能力。我们发现我们的基于PCFG的命令生成方法是有效的处理看不见的命令相比,固定设置的模板,我们提出的NL模型可以有效地推广到看不见的属性,NL接口启用的新功能,以及看不见的属性组合。有趣的是,我们发现,简单的条件生成方法,增强了我们提出的NL接口,是一个强大的基线,在这些具有挑战性的设置。
2022-10-14 cs.CL cs.LG
Some apparently disjoint aims and requirements for grammar development environments: the case of natural language generation
用于分析和生成的语法开发环境(GDE)还没有走到一起。尽管面向分析的GDE(如ALEP)可能包括一些句子生成的可能性,但所建议的开发技术和资源类型显然不是实际的大规模自然语言生成工作所需的。事实上,没有使用“标准”(即,面向分析的)GDE在当前项目/应用中的目标是生成流畅、连贯的文本。这种不令人满意的情况需要一些分析和解释,本文试图作为一个例子,广泛的GDE的生成。分布式大规模语法开发,多语言,和资源维护提供的支持进行了讨论和对比面向分析的方法。
1997-11-19 cmp-lg cs.CL
ImaginE: An Imagination-Based Automatic Evaluation Metric for Natural Language Generation
UC Santa Barbara(加州大学圣巴巴拉分校);UC Santa Cruz(加州大学圣克鲁兹分校)
用于自然语言生成(NLG)的自动评估通常依赖于与文本引用的标记级或嵌入级比较。这与人类的语言处理不同,视觉想象通常会提高理解力。在这项工作中,我们提出了ImaginE,一个基于解释的自动评价指标的自然语言生成。借助最先进的文本到图像生成器StableDiffusion,我们自动生成一个图像作为文本片段的具体想象,并使用上下文嵌入计算想象相似度。跨几个文本生成任务的实验表明,添加机器生成的图像与我们的ImaginE显示了巨大的潜力,在引入多模态信息到NLG评估,并提高现有的自动度量的相关性与人类相似性判断在基于参考和无参考的评估方案。
2023-02-15 cs.AI cs.CL cs.CV
A Survey of Active Learning for Natural Language Processing
Carnegie Mellon University(卡内基梅隆大学)
本文综述了主动学习在自然语言处理中的应用。除了细粒度分类的查询策略,我们还研究了其他几个重要方面的应用AL自然语言处理问题。其中包括用于结构化预测任务的AL、注释成本、模型学习(特别是使用深度神经模型)以及启动和停止AL。最后,我们以相关主题和未来方向的讨论结束。
2023-02-03 cs.CL
Active Learning for Robust and Representative LLM Generation in Safety-Critical Scenarios
School of Computing and Information, University of Pittsburgh(匹兹堡大学计算与信息学院);Khoury College of Computer Science, Northeastern University(东北大学库尔计算机科学学院)
针对LLM生成安全数据时忽视罕见关键案例的分布偏差问题,提出结合主动学习与聚类的新框架引导LLM生成,构建了5.4K规模的安全违规数据集,提升了场景代表性及多模型分类性能。
2024-10-14 cs.CL
Unified Active Retrieval for Retrieval Augmented Generation
Shanghai AI Laboratory(上海人工智能实验室);Shanghai Collaborative Innovation Center of Intelligent Visual Computing(上海智能视觉计算协同创新中心);Fudan University(复旦大学)
本文提出统一主动检索(UAR),通过四个正交准则和即插即用分类任务,以可忽略的额外推理成本实现多方面的检索时机判断,并在四类用户指令上显著优于现有方法。
2024-10-03 cs.CL
NaviRAG: Towards Active Knowledge Navigation for Retrieval-Augmented Generation
Tsinghua University(清华大学);Nanjing University(南京大学);Northeastern University(东北大学)
NaviRAG通过主动知识导航框架提升检索增强生成的复杂任务处理能力,通过分层知识组织和动态信息检索提高检索准确率和生成性能。
2026-05-17 cs.CL
Investigating Multi-source Active Learning for Natural Language Inference
University of Amsterdam(阿姆斯特丹大学);Stanford University(斯坦福大学);University of Sheffield(谢菲尔德大学)
近年来,主动学习已成功地应用于一系列的NLP任务。然而,以前的工作通常假设训练和测试数据来自相同的分布。这是有问题的,因为在现实生活中,数据可能来自不同相关性和质量的几个来源。我们发现,四个流行的主动学习计划未能优于随机选择时,适用于由多个数据源组成的未标记池的任务上的自然语言推理。我们发现,基于不确定性的策略表现不佳,由于收购集体离群值,即,难以学习的实例,妨碍学习和概括。当离群值被移除时,发现策略可以恢复并优于随机基线。在进一步的分析中,我们发现集体离群值在不同来源之间的形式不同,并表明难以学习的数据并不总是绝对有害的。最后,我们利用数据集制图来引入难度分层测试,并发现不同的策略受到示例可学习性和难度的不同影响。
2023-02-14 cs.CL
Fine-tuning BERT for Low-Resource Natural Language Understanding via Active Learning
Institute for Applied Artificial Intelligence (IAAI)(应用人工智能研究所(IAAI));Hochschule der Medien Stuttgart(斯图加特媒体大学);Institute for Natural Language Processing (IMS)(自然语言处理研究所(IMS));University of Stuttgart(斯图加特大学)
最近,在下游利用预先训练的基于Transformer的语言模型,任务特定模型已经在自然语言理解任务中取得了先进的技术水平。然而,只有很少的研究探索了这种方法在低资源设置中的适用性,其中训练数据点少于1,000。在这项工作中,我们探索了BERT的微调方法-一个预先训练的基于Transformer的语言模型-通过利用基于池的主动学习来加快训练,同时保持标记新数据的成本不变。我们在GLUE数据集上的实验结果表明,当从未标记数据池中查询时,通过最大化模型的近似知识增益,模型性能具有优势。最后,我们展示并分析了在微调期间冻结语言模型的层以减少可训练参数的数量,使其更适合于低资源设置的好处。
2020-12-04 cs.CL
Pre-trained Language Model Based Active Learning for Sentence Matching
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Alibaba AI Labs(阿里巴巴人工智能实验室)
主动学习能够显著降低数据驱动技术的注释成本。然而,以往的自然语言处理的主动学习方法主要依赖于基于熵的不确定性准则,忽略了自然语言的特点。本文提出了一种基于预训练语言模型的主动学习句子匹配方法。与以往的主动学习不同,它可以提供语言标准来衡量实例,并帮助选择更有效的实例进行注释。实验表明,我们的方法可以实现更高的准确性与更少的标记训练实例。
2020-10-12 cs.CL
Active Retrieval Augmented Generation
Carnegie Mellon University(卡内基梅隆大学);Sea AI Lab(Sea人工智能实验室);Meta
提出主动检索增强生成方法FLARE,通过预测下一句预见未来内容并据此检索文档,在4个长文本生成任务上表现优越。
2023-10-22 cs.CL cs.LG
An Active Learning Framework for Inclusive Generation by Large Language Models
School of Computing and Information, University of Pittsburgh(匹兹堡大学计算与信息学院);Khoury College of Computer Science, Northeastern University(东北大学科里计算机学院)
提出一种结合聚类与知识蒸馏的主动学习框架,首次实现生成任务的有效主动学习,在反叙事和风格迁移中提升模型性能2%-10%,增强多样性与鲁棒性。
2024-12-14 cs.CL
Active Layer-Contrastive Decoding Reduces Hallucination in Large Language Model Generation
Purdue University(普渡大学);University of California, Davis(加州大学戴维斯分校)
提出主动层对比解码(ActLCD),通过强化学习策略在生成过程中动态决定何时应用对比层,在五个基准上超越现有方法,有效缓解大语言模型的长上下文幻觉问题。
2025-09-15 cs.AI cs.CL cs.LG
Active Learning for New Domains in Natural Language Understanding
Alexa Machine Learning, Amazon.com(亚马逊Alexa机器学习团队(Amazon Alexa Machine Learning),亚马逊公司(Amazon.com))
我们探索主动学习(AL),以提高自然语言理解(NLU)系统中新领域的准确性。我们提出了一种算法,称为多数-CRF,使用分类模型的合奏,以指导相关的话语的选择,以及一个序列标记模型,以帮助优先信息的例子。三个领域的实验表明,多数CRF实现了6.6%-9%的相对出错率减少随机抽样与相同的注释预算相比,统计上显着的改善相比,其他AL方法。此外,六个新领域的人类在环AL案例研究显示,现有NLU系统的性能提高了4.6%-9%。
2019-03-30 cs.AI cs.CL
Deep Active Learning for Dialogue Generation
University of Waterloo(滑铁卢大学);Huawei Technologies(华为技术有限公司)
我们提出了一个在线的,端到端的,神经生成会话模型的开放域对话。它使用离线两阶段监督学习和在线人在回路主动学习的独特组合进行训练。虽然大多数现有的研究提出了离线监督或手工制作的奖励功能,在线强化,我们设计了一种新的交互式学习机制的基础上汉明多样的束搜索响应生成和一个字符的用户反馈,在每一步。实验表明,我们的模型内在地促进了语义相关和有趣的反应的生成,并可用于训练代理定制的人物角色,情绪和会话风格。
2017-06-16 cs.AI cs.CL cs.NE
Towards Active Synthetic Data Generation for Finetuning Language Models
Microsoft(微软)
本文提出通过主动学习方法生成合成数据以提升语言模型微调效果,验证了简单筛选标准在数学和逻辑推理任务中的有效性。
2026-02-09 cs.CL cs.LG
MCoNaLa: A Benchmark for Code Generation from Multiple Natural Languages
Carnegie Mellon University(卡内基梅隆大学);Princeton University(普林斯顿大学);Inspired Cognition(Inspired Cognition公司)
虽然最近在自然语言和程序设计语言的交叉点上出现了新兴的应用程序,例如代码生成和代码摘要,但这些应用程序通常以英语为中心。这就给不精通英语的程序开发人员造成了障碍。为了减轻这种差距,在跨语言的技术发展,我们提出了一个多语言数据集,MCoNaLa,基准代码生成从自然语言命令扩展到英语之外。从英语代码/自然语言挑战(CoNaLa)数据集的方法建模,我们用三种语言注释了总共896个NL代码对:西班牙语,日语和俄语。我们提出了一个定量的性能评估的MCoNaLa数据集的测试与国家的最先进的代码生成系统。虽然这三种语言的困难各不相同,但所有系统都明显落后于英语系统,这揭示了使代码生成适应新语言的挑战。
2023-02-07 cs.CL
Active Learning Over Multiple Domains in Natural Language Tasks
Apple(苹果公司);MIT(麻省理工学院);Berkeley(加州大学伯克利分校)
主动学习的研究传统上假设目标数据和源数据来自单一领域。然而,在实际应用中,从业者通常需要使用多个分布外数据源进行主动学习,其中先验地不清楚哪些数据源将帮助或损害目标域。我们调查了各种各样的技术在主动学习(AL),域偏移检测(DS),和多域采样,以检查这个具有挑战性的设置为问答和情感分析。我们要问:(1)什么样的方法对这项任务有效?以及,(2)所选的例子和域的哪些属性实现了强结果?在来自4个方法家族的18个采集函数中,我们发现H-Divergence方法,特别是我们提出的变体DAL-E,产生了有效的结果,平均比随机基线提高了2-3%。我们还显示了一个不同的分配域的重要性,以及现有的方法域和例子选择的改进空间。我们的研究结果产生了第一个全面的分析现有的和新的方法,从业者面临多领域的主动学习自然语言任务。
2022-02-08 cs.CL cs.LG
Active entailment encoding for explanation tree construction using parsimonious generation of hard negatives
The University of Manchester(曼彻斯特大学);CRUK Manchester Institute(英国癌症研究中心曼彻斯特研究所);Idiap Research Institute(Idiap研究所)
在开放域文本问答的背景下,蕴涵树被提出来模拟解释生成的人类推理过程。然而,在实践中,手动构建这些解释树证明是一个费力的过程,需要积极的人类参与。考虑到捕获从问题到答案或从主张到前提的推理线的复杂性,问题出现在如何帮助用户有效地构建多层次蕴涵树给定一个大的可用事实集。在本文中,我们将蕴涵树的构建框架化为一系列主动前提选择步骤,即,对于解释树中的每个中间结点,专家需要从大的候选列表中注释前提事实的肯定和否定示例。然后,我们迭代地微调预训练的Transformer模型,得到积极的和严格控制的消极样本,旨在平衡语义关系和解释蕴涵关系的编码。实验评估证实了可衡量的效率增益的主动微调方法,以促进蕴涵树的建设:高达20%的改善,在解释性的前提选择相比,对几个替代品。
2022-08-02 cs.AI cs.CL
ActiveUltraFeedback: Efficient Preference Data Generation using Active Learning
University of Freiburg(弗赖堡大学)
提出ActiveUltraFeedback主动学习流水线,通过不确定性估计和两种新采样方法(DRTS和DeltaUCB)动态选择最具信息量的响应对,以最少六分之一的标注数据实现与静态基线相当或更优的下游性能。
2026-06-01 cs.AI cs.CL cs.LG
Deep Bayesian Active Learning for Natural Language Processing: Results of a Large-Scale Empirical Study
Carnegie Mellon University(卡内基梅隆大学)
最近的几篇论文研究了主动学习(AL),以减轻深度学习对自然语言处理的数据依赖。然而,AL的适用性,以现实世界的问题仍然是一个悬而未决的问题。虽然在监督学习中,实践者可以尝试许多不同的方法,在选择模型之前对每个方法进行验证,但AL没有这样的奢侈。在一次AL运行过程中,代理注释其数据集,耗尽其标记预算。因此,给定一个新的任务,主动学习者没有机会比较模型和习得功能。本文提供了深度主动学习的大规模实证研究,解决了多个任务,每个任务都有多个数据集,多个模型和一整套采集功能。我们发现,在所有设置中,贝叶斯主动学习的分歧,使用不确定性估计提供的辍学或贝叶斯Backprop显着提高了i.i.d.通常优于经典的不确定性抽样。
2018-09-24 cs.CL cs.LG stat.ML
Combining Data Generation and Active Learning for Low-Resource Question Answering
University of Stuttgart(斯图加特大学);IBM Research Zurich(IBM研究院苏黎世分部);Centre for AI, Zurich University of Applied Sciences(苏黎世应用科技大学人工智能中心)
针对低资源问答标注数据不足的问题,提出结合问答生成式数据增强与主动学习的新方法,通过实验验证该方法可降低标注成本、提升特定领域问答性能,并明确了标注阶段对效果的影响。
2024-09-13 cs.AI cs.CL
Using Natural Language Processing to Screen Patients with Active Heart Failure: An Exploration for Hospital-wide Surveillance
Northwestern University Feinberg School of Medicine(西北大学范伯格医学院)
在本文中,我们提出了两种不同的方法,基于规则的方法和基于机器学习的方法,通过分析电子健康记录(EHR)自动识别活动性心力衰竭病例。对于基于规则的方法,我们从临床笔记中提取心血管数据元素,并使用心力衰竭专家提供的规则根据患者的心力衰竭状况将患者匹配到不同的颜色。准确率为69.4%,F1评分为0.729。对于机器学习方法,以临床笔记的二元组作为特征,我们尝试了四种不同的模型,而具有线性核的SVM以87.5%的准确率和0.86 F1-Score实现了最佳性能。此外,从四种不同模型之间的分类比较,我们认为,线性模型更适合这个问题。一旦我们将机器学习和基于规则的算法结合起来,我们将通过提高输出的准确性和可解释性来实现医院范围内对活动性心力衰竭的监测。
2016-09-06 cs.CL cs.CY
ALICE: Active Learning with Contrastive Natural Language Explanations
Stanford University(斯坦福大学);University of California, Davis(加州大学戴维斯分校)
训练监督神经网络分类器通常需要许多带注释的训练样本。收集和注释大量的数据点是昂贵的,有时甚至是不可行的。传统的标注过程使用低带宽的人机通信接口:分类标签,每个标签只提供几个比特的信息。我们提出了主动学习与对比解释(ALICE),一个专家在环训练框架,利用对比自然语言解释,以提高学习中的数据效率。ALICE学会首先使用主动学习来选择信息量最大的标签类对,以从专家那里引出对比性的自然语言解释。然后使用语义解析器从这些解释中提取知识。最后,它通过动态改变学习模型的结构来整合提取的知识。我们应用ALICE在两个视觉识别任务,鸟类物种分类和社会关系分类。我们发现,通过结合对比解释,我们的模型优于用多40-100%的训练数据训练的基线模型。我们发现,增加1个解释导致与增加13-30个标记的训练数据点类似的性能增益。
2020-09-22 cs.CL cs.CV cs.HC
Naturalness Evaluation of Natural Language Generation in Task-oriented Dialogues using BERT
Mercedes-Benz AG(梅赛德斯-奔驰股份公司);Ulm University(乌尔姆大学)
本文提出了一种自动评价对话系统中自然语言生成自然度的方法。虽然这个任务以前是通过昂贵和耗时的人工渲染,我们提出了这个新的任务生成的语言的自动自然度评估。通过微调的BERT模型,我们提出的自然度评价方法显示出强大的结果,并优于基线:支持向量机,双向LSTM,和BLEURT。此外,通过对质量和信息量较高的语言知识进行迁移学习,提高了自然度模型的训练速度和评价性能。
2021-11-26 cs.AI cs.CL
Acquiring Word-Meaning Mappings for Natural Language Interfaces
University of Utah(犹他大学);University of Texas(德克萨斯大学)
本文重点介绍了一个系统,WOLFIE(WORD学习从解释的例子),获得一个语义词汇从语料库的句子配对的语义表示。所学习的词汇由短语和意义表征组成。WOLFIE是一个集成系统的一部分,该系统学习将句子转换为逻辑数据库查询等表示。实验结果表明,WOLFIE的能力,学习有用的词汇的数据库接口在四个不同的自然语言。WOLFIE学习的词汇的有用性相比,通过类似的系统,与有利的结果WOLFIE收购。第二组实验展示了WOLFIE扩展到更大和更困难的语料库的能力,尽管是人工生成的。在自然语言获取中,很难收集监督学习所需的注释数据;然而,未注释的数据是相当丰富的。主动学习方法尝试仅选择信息量最大的示例进行注释和训练,因此在自然语言应用中可能非常有用。然而,迄今为止,大多数主动学习的结果只考虑了标准分类任务。为了在保持准确性的同时减少注释工作,我们将主动学习应用于语义词典。我们表明,主动学习可以显着减少所需的注释示例的数量,以达到给定的性能水平。
2011-06-22 cs.AI cs.CL
From Selection to Generation: A Survey of LLM-based Active Learning
University of California San Diego(加州大学圣地亚哥分校);University of Wisconsin Madison(威斯康星大学麦迪逊分校);Carnegie Mellon University(卡内基梅隆大学);University of Rochester(罗切斯特大学);Adobe Research(Adobe研究);Dolby Labs(杜比实验室);Cisco AI Research(思科人工智能研究);University of Oregon(俄勒冈大学);University of Southern California(南加州大学);Pennsylvania State University(宾夕法尼亚州立大学);Dartmouth College(达特茅斯学院)
本文综述了基于大语言模型的主动学习技术,提出分类法并分析LLM在数据选择、生成和标注中的作用及其对LLM学习范式的影响,同时指出挑战与未来方向。
2025-05-31 cs.CL cs.LG
Few-Shot Natural Language Inference Generation with PDD: Prompt and Dynamic Demonstration
Shanghai Jiao Tong University(上海交通大学)
自然语言推理生成任务是在给定文本前提和两者之间的逻辑关系的情况下生成文本假设。该任务可用于实际的数据增强和可控文本生成。在本文中,我们提出了语言模型与提示和动态演示(LM-PDD)来解决这个问题,在Few-Shot设置。该框架在资源较少的情况下优于标准的微调模型,在SNLI和MNLI数据集上取得了平均8%的绝对改进,在13个自然语言分类任务上的结果也表明,该动态演示方法具有良好的泛化能力。
2022-05-21 cs.AI cs.CL
Adaptive Natural Language Generation for Task-oriented Dialogue via Reinforcement Learning
Nagoya University(名古屋大学)
当在现实世界的面向任务的对话系统中实现自然语言生成(NLG)组件时,不仅需要生成如在训练数据上学习的自然话语,而且需要生成适于对话环境的话语(例如,来自环境声音的噪声)和用户(例如,具有低水平理解能力的用户)。受语言生成任务的强化学习(RL)的最新进展的启发,我们提出了ANTOR,一种通过强化学习为面向任务的对话自适应自然语言生成的方法。在ANTOR中,一个自然语言理解(NLU)模块,它对应于用户对系统话语的理解,被纳入RL的目标函数。如果NLG的意图被正确地传达给理解系统话语的NLU,则NLG被给予积极的奖励。我们在MultiWOZ数据集上进行了实验,我们证实了ANTOR可以针对语音识别错误和不同词汇水平的用户生成自适应的话语。
2022-09-16 cs.AI cs.CL
Improving Classifier Robustness through Active Generation of Pairwise Counterfactuals
Google Research(谷歌研究院)
提出利用反事实生成模型从不确定区域主动采样生成反事实,并用成对分类器自动标注,仅需10%人工标注即可显著提升分类器鲁棒性并降低错误率。
2023-05-22 cs.CL cs.LG
6VecLM: Language Modeling in Vector Space for IPv6 Target Generation
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
快速IPv6扫描在网络测量领域具有挑战性,因为它需要探索整个IPv6地址空间,但受到当前计算能力的限制。研究人员提出通过算法分析活动种子集来获得可能的活动目标候选集进行探测。然而,IPv6地址缺乏语义信息,包含众多的寻址方案,导致设计有效的算法的困难。在本文中,我们介绍了我们的方法6VecLM探索实现这样的目标生成算法。该架构可以将地址映射到一个向量空间来解释语义关系,并使用一个Transformer网络来构建IPv6语言模型来预测地址序列。实验结果表明,该方法可以对地址空间进行语义分类。与传统的语言模型相比,通过增加新的生成方法,我们的模型具有可控的词创新能力。这项工作通过达到更多的质量候选集,在两个活动地址数据集上优于最先进的目标生成算法。
2020-08-05 cs.CL cs.LG cs.NI