FaithCAMERA: Construction of a Faithful Dataset for Ad Text Generation
Cyberagent. Inc.(赛博agent公司)
针对现有ATG评估数据集CAMERA参考文案忠实性不足的问题,研究者优化其参考文案构建了保证忠实性的FaithCAMERA数据集,实验发现移除含不实实体的训练数据对实体和句子层面指标影响不同,指出ATG研究需兼顾训练数据规模与忠实性。
2024-10-04 cs.CL
Triples-to-Text Generation with Reinforcement Learning Based Graph-augmented Neural Networks
Tongji University(同济大学);JD.COM Silicon Valley Research Center(京东硅谷研究中心);Central China Normal University(华中师范大学);Squirrel AI Learning(松鼠AI学习)
考虑到RDF三元组的集合,RDF到文本生成任务旨在生成文本描述。大多数先前的方法使用序列到序列模型或使用基于图的模型来编码RDF三元组并生成文本序列来解决此任务。然而,这些方法无法清楚地建模RDF三元组之间和内部的局部和全局结构信息。此外,以往的方法还面临着不可忽视的问题,即生成的文本的忠实度低,这严重影响了这些模型的整体性能。为了解决这些问题,我们提出了一个模型,结合两个新的图增强结构神经编码器,共同学习输入RDF三元组中的局部和全局结构信息。为了进一步提高文本的可信度,我们创新性地引入了一种基于信息抽取(IE)的强化学习(RL)奖励。我们首先使用预训练的IE模型从生成的文本中提取三元组,并将提取的三元组的正确数量视为额外的RL奖励。在两个基准数据集上的实验结果表明,我们提出的模型优于最先进的基线,额外的强化学习奖励确实有助于提高生成文本的忠实性。
2022-03-23 cs.AI cs.CL
Triples-to-isiXhosa (T2X): Addressing the Challenges of Low-Resource Agglutinative Data-to-Text Generation
University of Cape Town(开普敦大学)
该研究针对低资源黏着语isiXhosa的数据到文本生成难题,构建了T2X数据集与对应评估框架,提出子词分段指针生成器架构,同时发现微调机器翻译模型效果最优,为低资源黏着语数据到文本生成研究提供了新基准与方法参考。
2024-03-12 cs.CL
Zero-resource Hallucination Detection for Text Generation via Graph-based Contextual Knowledge Triples Modeling
College of Computer, National University of Defense Technology(国防科技大学计算机学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
本文提出基于图的上下文感知(GCA)幻觉检测方法,通过三元组分割、图依赖建模与逆向验证,在零资源下提升文本生成幻觉检测效果,优于所有基线。
2025-03-07 cs.AI cs.CL
Comparing informativeness of an NLG chatbot vs graphical app in diet-information domain
University of Aberdeen(阿伯丁大学)
图表和表格等数据的可视化表示对于读者来说可能很难理解。以前的工作表明,将可视化与文本相结合可以改善静态环境中的见解交流,但对交互式的了解甚少。在这项工作中,我们提出了一个NLG聊天机器人,处理自然语言查询,并通过图表和文本的组合提供见解。我们将其应用于营养,一个领域的沟通质量是至关重要的。通过众包评估,我们将聊天机器人的信息量与传统的静态饮食应用程序进行了比较。我们发现,对话上下文显着提高了用户对各种任务中饮食数据的理解,并且用户认为聊天机器人比传统应用程序更有用且使用更快。
2022-07-02 cs.AI cs.CL
Generating Long and Informative Reviews with Aspect-Aware Coarse-to-Fine Decoding
Renmin University of China(中国人民大学);Boss Zhipin(BOSS直聘)
生成长而信息丰富的评论文本是一项具有挑战性的自然语言生成任务。以往的工作主要集中在词级生成,忽略了自然语言的主题和句法特征的重要性。在本文中,我们提出了一种新的审查生成模型,通过表征精心设计的方面感知的粗到细的生成过程。首先,我们对方面转换进行建模,以捕获整个内容流。然后,为了生成句子,将使用方面感知解码器预测方面感知草图。最后,另一个解码器通过生成相应的单词来填充语义槽。我们的方法是能够联合利用方面语义,语法草图,和上下文信息。大量的实验结果证明了该模型的有效性。
2021-04-19 cs.CL
WikiIns: A High-Quality Dataset for Controlled Text Editing by Natural Language Instruction
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Center for Data Science, Peking University(北京大学数据科学中心);The MOE Key Laboratory of Computational Linguistics, Peking University(北京大学计算语言学教育部重点实验室);Schools of Electronic Engineering and Computer Science, Peking University(北京大学电子工程与计算机科学学院)
针对现有受控文本编辑数据集指令信息不足的问题,研究者构建并发布了高质量数据集WikiIns,包含多类标注数据及自动生成的大规模银标训练集,并开展了相关分析以助力文本编辑研究。
2023-10-08 cs.CL
Neural Network-Based Abstract Generation for Opinions and Arguments
Google DeepMind(谷歌DeepMind)
我们研究的问题,产生的抽象摘要固执己见的文本。我们提出了一个基于注意力的神经网络模型,能够从多个文本单元中吸收信息,构建信息丰富,简洁,流畅的摘要。设计了一种基于重要性的采样方法,允许编码器从输入的重要子集中整合信息。自动评估表明,我们的系统优于国家的最先进的抽象和提取摘要系统上两个新收集的数据集的电影评论和论点。我们的系统摘要在人类评估中也被评为信息量更大,语法更合理。
2016-06-09 cs.CL
BARTScore: Evaluating Generated Text as Text Generation
Carnegie Mellon University(卡内基梅隆大学)
各种各样的NLP应用,如机器翻译、摘要和对话,都涉及文本生成。这些应用程序面临的一个主要挑战是如何评估这些生成的文本是否真正流畅,准确或有效。在这项工作中,我们将生成文本的评估概念化为文本生成问题,使用预先训练的序列到序列模型进行建模。一般的想法是,当生成的文本更好时,被训练用于将生成的文本转换为参考输出或源文本的模型将获得更高的分数。我们使用BART(一种基于编码器-解码器的预训练模型)实现了这一想法,并提出了一种具有许多变体的度量BARTScore,这些变体可以以无监督的方式灵活地应用于从不同角度(例如信息量,流畅性或真实性)评估文本。BARTScore概念简单,经验有效。它可以在22个测试设置中的16个中超越现有的最高评分指标,涵盖16个数据集的评估(例如,机器翻译,文本摘要)和7个不同的视角(例如,信息性、真实性)。计算BARTScore的代码可以在https://github.com/neulab/BARTScore上找到,我们还在ExplainaBoard平台上的http://explainaboard.nlpedia.ai/leaderboard/task-meval/上发布了一个交互式的元评估排行榜,它允许我们交互式地了解每个指标的优势,劣势和互补性。
2021-10-27 cs.CL
Small-world networks for summarization of biomedical articles
Medical University of Vienna(维也纳医科大学)
近年来,已经开发了许多方法来识别文本文档的重要部分。摘要工具可以利用这些方法从大量的文本信息中提取摘要。然而,识别文本文档中代表中心思想的概念,并提取最能传达这些概念的信息量最大的句子仍然是摘要方法中的两个关键任务。在本文中,我们介绍了一种基于图的方法来解决这两个挑战的背景下,生物医学文本摘要。我们表明,如何总结可以发现有意义的概念,在生物医学文本文档中使用亥姆霍兹原理。摘要器将有意义的概念视为主要主题,并基于句子共享的主题构建图。摘要器可以通过提取具有较高程度值的句子来生成信息丰富的摘要。我们评估的性能,我们的方法总结的生物医学文章使用召回为导向的替代Gisting评价(ROUGE)工具包。结果表明,程度可以是一个有用的中心性措施,以确定重要的句子,在这种类型的基于图的建模。我们的方法可以提高生物医学文本摘要的性能相比,一些国家的最先进的和公开可用的摘要。结合基于概念的建模策略和基于图形的句子提取方法,我们的摘要器可以产生比较方法中信息量最高的摘要。这项研究工作可以被看作是一个起点,小世界网络的研究在生物医学文本摘要。
2019-03-07 cs.CL cs.IR
Posterior-GAN: Towards Informative and Coherent Response Generation with Posterior Generative Adversarial Network
School of Computer Science & Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院);Data Science Lab, JD.com(京东数据科学实验室)
神经会话模型通过考虑对话历史来学习生成响应。这些模型通常在具有最大似然估计目标的查询-响应对上进行优化。然而,查询-响应元组是自然松耦合的,并且存在可以响应于给定查询的多个响应,这导致会话模型学习负担沉重。此外,当模型面对无意义的反应训练实例时,一般的迟钝反应问题甚至会恶化。直觉上,一个高质量的响应不仅响应给定的查询,而且还链接到未来的会话,在本文中,我们利用查询-响应-未来的话轮三元组,以诱导生成的响应,考虑给定的上下文和未来的会话。为了便于这些三元组的建模,我们进一步提出了一种新的基于编码器-解码器的生成对抗学习框架,后向生成对抗网络(Posterior-GAN),它由一个前向和一个后向生成网络组成,通过两个互补的评估视角来协同鼓励生成的响应是信息丰富和连贯的。实验结果表明,我们的方法有效地提高了自动和人工评价的信息量和一致性,这验证了考虑两个评估角度的优势。
2020-03-04 cs.CL
Generating Informative Conclusions for Argumentative Texts
Leipzig University(莱比锡大学);Paderborn University(帕德博恩大学)
议论文的目的是支持某一结论。然而,他们往往被省略,期待读者推断他们。虽然在阅读单个文本时是适当的,但这种修辞手段在浏览许多文本时限制了可访问性(例如,在搜索引擎上或在社交媒体上)。在这些情况下,一个明确的结论是一个很好的候选摘要的论点。如果结论是信息性的,强调文本中的具体概念,这一点尤其正确。本文介绍了生成信息性结论的任务:首先,编制了Webis-ConcluGen-21,一个包含136,996个议论文及其结论样本的大规模语料库。其次,两种范式的结论生成的研究;一个提取,其他抽象的性质。后者利用论证知识,通过控制代码和微调的BART模型的语料库的几个子集,增加数据。第三,洞察我们的语料库的任务,两代范式之间的差异,信息量和简洁性之间的权衡,以及编码的争论性知识的影响的适用性提供。语料库、代码和训练模型都是公开的。
2021-06-02 cs.CL
Textbook to triples: Creating knowledge graph in the form of triples from AI TextBook
知识图谱是一种基本的、趋势性的技术,在实体识别、搜索或问答中有着广泛的应用。在自然语言处理中,有很多方法用于执行命名实体识别的任务;然而,很少有方法可以为特定于域的文本提供三元组。在本文中,已经努力朝着开发一个系统,可以转换成三元组,可以用来可视化为一个知识图谱和用于进一步的应用程序的文本从给定的教科书。初步评估和评价结果令人鼓舞,F1评分为82%。
2021-11-20 cs.CL
Étude de l'informativité des transcriptions : une approche basée sur le résumé automatique
Université d’Avignon et des Pays de Vaucluse(阿维尼翁与沃克吕兹地区大学);École Polytechnique de Montréal(蒙特利尔综合理工学院)
本文提出了一种新的方法来评估来自自动语音识别系统的译文的信息量。该方法基于信息量的概念,重点研究了在这些文本上进行自动摘要的框架。首先对各种自动文摘的信息量进行了估计,然后探讨了自动文摘克服信息损失的能力。为了做到这一点,我们使用一个自动摘要评估协议没有参考(基于信息内容),计算不同的文本表示的概率分布之间的分歧:手动和自动transmittance和他们的摘要。经过一系列的评估,这种分析使我们能够判断转录的信息量方面的质量,并评估自动文本摘要的能力,以补偿在转录阶段提出的问题。
2018-09-04 cs.CL
DiSCoL: Toward Engaging Dialogue Systems through Conversational Line Guided Response Generation
Information Sciences Institute, University of Southern California(南加州大学信息科学研究所);Columbia University(哥伦比亚大学);University of California Los Angeles(加州大学洛杉矶分校)
与用户进行有吸引力和信息量的对话是开放域对话系统的最终目标。基于transformer的语言模型及其在对话系统中的应用的最新进展已经成功地产生了流畅的和类似人类的响应。然而,他们仍然缺乏对生成过程的控制,以生成内容丰富的响应并实现引人入胜的对话。为了实现这一目标,我们提出了\textbf{DiSCoL}(\textbf{Di}通过\textbf{Co}功能性\textbf{L}行引导反应生成的\textbf{S}系统)。DiSCoL是一个开放领域的对话系统,利用会话线(简称\textbf{convlines})作为可控和信息内容规划元素,以指导生成模型产生引人入胜和信息丰富的响应。DiSCoL管道中的两个主要模块是条件生成器,用于1)预测对话上下文的相关和信息性convlines,以及2)根据预测的convlines生成高质量的响应。用户还可以将返回的convlines更改为\textit{control},使对话的方向朝向他们更感兴趣的主题。通过自动和人工评估,我们证明了convlines在产生引人入胜的对话中的效率。
2021-02-03 cs.CL
Classifying informative and imaginative prose using complex networks
Institute of Mathematics and Computer Science(数学与计算机科学学院)
近年来,统计学方法被广泛应用于掌握语言的许多特性。这种技术的应用已经允许改进若干语言应用,其包括机器翻译、自动摘要和文档分类。在后者中,许多方法强调文本的语义内容,如词袋语言模型。这一做法确实取得了合理的业绩。然而,一些潜在的特征,如文本的结构组织,只在少数研究中使用。在这种情况下,我们探讨如何从文本结构分析的功能,可以有效地采用在分类任务。更具体地说,我们进行了监督分类,旨在区分信息丰富的想象力的文件。使用网络模型,描述功能词的局部拓扑/动力学特性,我们实现了高达95%的准确率,这是远远高于类似的网络方法。特征相关性的系统分析表明,对称性和可访问性测量是最突出的网络测量。我们的研究结果表明,这些测量可以用于相关的语言应用程序,因为它们在表征文本中起着补充作用。
2015-07-28 cs.CL
Distributional Modeling on a Diet: One-shot Word Learning from Text Only
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们测试了分布模型是否可以只从文本中一次性学习定义属性。使用贝叶斯模型,我们发现,第一次学习的总体结构在已知的数据中,在文本上下文和属性中,有助于一次性学习,并且个别上下文项可以是高度信息化的。我们的实验表明,我们的模型可以从一个单一的曝光时,给出了一个信息的话语学习属性。
2017-10-13 cs.CL
Knowledge Representation via Joint Learning of Sequential Text and Knowledge Graphs
Tsinghua University(清华大学)
文本信息被认为是知识表示学习的重要补充。从纯文本中构造知识表示面临两个主要挑战:(1)如何充分利用纯文本中实体的顺序上下文进行知识学习。(2)如何动态地为KRL选择对应实体的信息句。在本文中,我们提出了顺序文本体现知识表示学习建立知识表示从多个句子。给定一个实体的每一个参考句子,我们首先利用循环神经网络与池或长短期记忆网络编码的句子相对于实体的语义信息。然后,我们进一步设计了一个注意力模型来衡量每个句子的信息量,并建立基于文本的实体表示。我们评估我们的方法上的两个任务,包括三重分类和链接预测。实验结果表明,我们的方法优于其他基线上的两个任务,这表明我们的方法是能够选择信息的句子和编码的文本信息很好地到知识表示。
2016-09-22 cs.CL
Extending Text Informativeness Measures to Passage Interestingness Evaluation (Language Model vs. Word Embedding)
Université d’Avignon et des Pays de Vaucluse(阿维尼翁大学);École Polytechnique de Montréal(蒙特利尔高等理工学院)
用于评估自动文本摘要的标准信息性度量主要依赖于自动摘要和参考摘要之间的n-gram重叠。这些度量不同于它们使用的度量(余弦,ROUGE,Kullback-Leibler,对数相似性等)。以及他们考虑的术语包(单个词、词n-gram、实体、nuggets等)。最近的词嵌入方法提供了一个连续的替代离散的方法的基础上的存在/不存在的文本单元。信息量的措施已扩展到焦点信息检索评价涉及用户的信息需求表示的短查询。特别是对于CLEF-INEX推文上下文化的任务,推文内容被认为是查询。在本文中,我们定义的概念,概括的信息性,即信息需求是多样的,形式化为一个未知的一组隐式的查询。然后,我们研究国家的最先进的信息量的措施,以应付这种泛化的能力。最近,我们表明,在这个新的框架,标准的词嵌入优于离散措施,只有在uni-gram,但bi-gram似乎是一个关键点的兴趣评估。最后,我们证明了CLEF-INEX推文语境化2012对数相似性度量提供了最佳结果。
2020-04-14 cs.CL cs.IR
InFact: Informativeness Alignment for Improved LLM Factuality
Hasso Plattner Institute University of Potsdam(霍普夫纳研究所波茨坦大学);Dept. of Computer Science Aalborg University(计算机科学系奥尔堡大学)
针对大语言模型生成事实正确但信息量不足文本的问题,提出信息量对齐机制,利用事实性基准优化答案的正确性与信息量,同时提升模型事实性。
2025-05-26 cs.AI cs.CL
Neural Wikipedian: Generating Textual Summaries from Knowledge Base Triples
University of Southampton(南安普顿大学);Université de Lyon(里昂大学);CNRS(法国国家科学研究中心);UJM-Saint-Étienne(圣艾蒂安大学);Laboratoire Hubert Curien(于贝尔·屈里安实验室)
本文研究利用神经网络从DBpedia和Wikidata三元组自动生成自然语言摘要,通过将三元组编码为固定向量并条件生成文本,在维基百科对齐语料上验证了方法的有效性。
2017-11-01 cs.CL
CXP949 at WNUT-2020 Task 2: Extracting Informative COVID-19 Tweets -- RoBERTa Ensembles and The Continued Relevance of Handcrafted Features
University of Birmingham(伯明翰大学);School of Computer Science(计算机科学学院)
本文介绍了我们对嘈杂用户生成文本研讨会任务2的提交。我们探索通过使用语料库级别信息和手工制作的功能的集成实现来提高预训练的基于transformer的语言模型的性能,该模型针对文本分类进行了微调。我们测试了包括上述功能的有效性,以适应集中在预训练数据范围之外的特定主题上的噪声数据集的挑战。我们表明,包含额外的功能可以提高分类结果,并实现了2点内的最佳表现的团队的分数。
2020-10-15 cs.CL
Human-like informative conversations: Better acknowledgements using conditional mutual information
Stanford University(斯坦福大学)
这项工作旨在构建一个对话代理,可以像人类一样自然地将新的事实内容编织到对话中。我们从会话分析的语言学原理中汲取见解,并从Switchboard Dialog Act语料库中注释人与人的会话,以研究人类的确认,过渡,细节选择和呈现策略。当当前的聊天机器人(明确提供了新的事实内容)将事实引入对话时,它们生成的响应不承认先前的回合。这是因为模型在两种背景下训练-新的事实内容和会话历史-生成非特定w.r.t.的响应。其中一个语境,通常是会话历史。我们发现,特异性w.r.t.通过逐点条件互信息($\text{pcmi}_h$)比通过逐点互信息($\text{pmi}$)的已建立的使用更好地捕获会话历史。我们提出的方法,融合PCMI,权衡$\text{pmi}$为$\text{pcmi}_h$,是首选的人的整体质量超过最大PMI基线60%的时间。人类评估者在74%的时间内也能更好地判断具有较高$\text{pcmi}_h$的应答。结果表明,模仿人类会话特征(在这种情况下确认)的系统提高了整体质量,并更广泛地说明了语言原则在改善对话代理中的效用。
2021-04-16 cs.CL
ERNIE: Enhanced Language Representation with Informative Entities
Tsinghua University(清华大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
在大规模语料库上预训练的神经语言表示模型(如BERT)可以很好地从纯文本中捕获丰富的语义模式,并进行微调,以持续提高各种NLP任务的性能。然而,现有的预训练语言模型很少考虑纳入知识图谱(KG),这可以提供丰富的结构化知识事实,以更好的语言理解。我们认为,知识库中的信息实体可以增强语言表征与外部知识。在本文中,我们利用大规模的文本语料库和知识库训练一个增强的语言表示模型(ERNIE),它可以充分利用词汇,句法和知识信息的同时。实验结果表明,ERNIE在各种知识驱动的任务上取得了显著的改进,同时在其他常见的NLP任务上与最先进的模型BERT相当。本文的源代码可以从https://github.com/thunlp/ERNIE获得。
2019-06-04 cs.CL
Knowledge-graph based Proactive Dialogue Generation with Improved Meta-Learning
Xi'an Jiaotong University(西安交通大学)
基于知识图谱的对话系统可以缩小知识候选,以用于使用先验信息来生成信息丰富的和多样的响应,例如,三重属性或图形路径。然而,大多数现有的知识图谱(KG)覆盖了不完整的特定领域知识。为了克服这一缺点,我们提出了一个基于知识图谱的主动对话生成模型(KgDg)的三个组成部分,改进的模型不可知的Meta学习算法(MAML),知识三元组嵌入的知识选择,知识感知的主动响应生成器。对于知识三元组的嵌入和选择,我们将其表述为一个句子嵌入的问题,以更好地捕捉语义信息。我们改进的MAML算法能够从有限数量的知识图谱中学习一般特征,这也可以快速适应具有未知知识三元组的对话生成。在知识感知对话数据集(DuConv)上进行了大量的实验。结果表明,KgDg适应快速和良好的知识图谱为基础的对话生成,并优于国家的最先进的基线。
2020-04-19 cs.CL
Structure-Augmented Text Representation Learning for Efficient Knowledge Graph Completion
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院);International Center of Future Science, Jilin University(吉林大学未来科学国际中心)
人工组织的知识图谱为各种自然语言处理任务提供了关键的支持信息,但这些图谱通常是不完整的,促使自动完成它们。流行图嵌入方法,例如,transE,通过将图元素表示为密集嵌入并捕获它们与空间距离的三级关系来学习结构化知识。然而,它们很难推广到训练中从未访问过的元素,并且本质上容易受到图不完整性的影响。相反,文本编码方法,例如,KG-BERT,诉诸图三元组的文本和三层上下文表示。它们具有足够的可推广性,并且对不完整性具有鲁棒性,特别是当与预先训练的编码器相结合时。但有两个主要的缺点限制了性能:(1)由于推理中所有可能的三元组的评分成本高,开销大;(2)文本编码器中缺乏结构化知识。在本文中,我们遵循文本编码范式,旨在通过使用图嵌入技术来增强它来减轻其缺点-这两种范式的互补混合。具体来说,我们将每个三元组划分为两个不对称的部分,如基于映射的图嵌入方法,并通过暹罗风格的文本编码器将这两个部分编码为上下文表示。建立在表示,我们的模型采用确定性分类器和空间测量表示和结构学习分别。此外,我们开发了一个自适应集成方案,以进一步提高性能,将三重评分从现有的图嵌入模型。在实验中,我们在三个基准测试和一个链接预测的zero-shot数据集上实现了最先进的性能,与文本编码方法相比,推理成本降低了1-2个数量级。
2021-02-24 cs.CL
Seq2RDF: An end-to-end application for deriving Triples from Natural Language Text
Rensselaer Polytechnic Institute(伦斯勒理工学院)
我们提出了一个端到端的方法,采取非结构化的文本输入,并生成符合给定的词汇表的结构化输出。受神经机器翻译最近成功的启发,我们将给定知识图中的三元组视为独立的图形语言,并提出了一个编码器-解码器框架,该框架具有利用知识图谱嵌入的注意力机制。我们的模型使用选定的知识图谱词汇学习从自然语言文本到主语-谓语-宾语形式的三重表示的映射。三个不同的数据集上的实验表明,我们实现了竞争力的F1-措施的基线使用我们简单而有效的方法。演示视频包括在内。
2018-08-08 cs.AI cs.CL
Extracting Relational Triples Based on Graph Recursive Neural Network via Dynamic Feedback Forest Algorithm
针对关系三元组抽取中子任务整合难的问题,提出将任务转化为图标注问题并结合动态反馈森林算法的GRNN方法,有效提升抽取效果。
2023-08-22 cs.CL
Triple M: A Practical Text-to-speech Synthesis System With Multi-guidance Attention And Multi-band Multi-time LPCNet
Tencent(腾讯)
在这项工作中,一个强大的和高效的文本到语音(TTS)合成系统命名为三重M提出了大规模的在线应用。三重M的关键组成部分是:1)序列到序列模型采用了一种新的多指导注意力转移互补的优势,从指导注意力机制的基本注意力机制没有域内的性能损失和在线服务修改。与单一注意力机制相比,多引导注意不仅给长句合成带来了更好的自然度,而且单词出错率降低了26.8%。2)提出了一种新的高效多带多时声码器框架,将计算复杂性从2.8 GFLOP降低到1.0 GFLOP,并在单个CPU上将LPCNet的速度提高了2.75倍。
2021-04-07 cs.CL eess.AS
Triple-to-Text: Converting RDF Triples into High-Quality Natural Languages via Optimizing an Inverse KL Divergence
Shanghai Jiao Tong University(上海交通大学);Noah’s Ark Lab, Huawei Technologies(华为技术有限公司诺亚方舟实验室)
知识库是信息结构化表示的主要形式之一。知识库通常由描述实体及其关系的资源描述框架(RDF)三元组组成。生成知识库的自然语言描述是自然语言处理中的一个重要任务,它被表述为一个条件语言生成任务,并使用序列到序列框架来处理。现有的训练语言模型的方法大多采用最大似然估计法,这往往会产生糟糕的句子。在本文中,我们认为,这样的问题的最大似然估计是内在的,这通常是不可撤销的,通过改变网络结构。因此,我们提出了一种新的三重文本(T2 T)框架,该框架近似优化了真实句子和生成句子的分布之间的逆Kullback-Leibler(KL)分歧。由于逆KL对虚假样本施加了很大的惩罚,所提出的方法可以显着降低生成低质量句子的概率。我们在三个真实世界数据集上的实验表明,T2 T可以生成更高质量的句子,并在几个评估指标上优于基线模型。
2019-05-25 cs.AI cs.CL
Parser Extraction of Triples in Unstructured Text
Wipro Limited(威普罗有限公司)
网络包含大量非结构化文本的存储库。我们调查的机会,建立一个知识图谱从这些文本源。我们生成了一组三元组,可用于知识收集和集成。我们定义了一个语言编译器的架构,使用OpenNLP解析器处理主谓宾三元组。我们实现了一个深度优先的搜索遍历的POS标记的语法树附加谓词和对象的信息。解析器能够更高精度和更高召回率地提取跨连接边界的句法关系。我们能够提取ReVerb正确提取的2-2.5倍。这些抽取被用于各种语义Web应用和问答中。我们验证了在CtrudeWeb数据集上提取50,000个三元组。
2018-11-06 cs.AI cs.CL cs.LG
Beyond Triplet: Leveraging the Most Data for Multimodal Machine Translation
ByteDance(字节跳动)
针对多模态翻译数据稀缺和基准受限问题,提出2/3-Triplet框架利用大规模非三元组数据,并构建EMMT电商多模态数据集,显著提升现实场景翻译性能。
2023-09-03 cs.CL
CoBA: Counterbias Text Augmentation for Mitigating Various Spurious Correlations via Semantic Triples
DATUMO;AITRICS;Brainventures;Graduate School of Advanced Imaging Sciences, Multimedia and Film, Chung-Ang University(Chung-Ang大学高级影像科学、多媒体与电影研究生院);Department of Artificial Intelligence, Chung-Ang University(Chung-Ang大学人工智能系)
CoBA通过语义三元组层面的反偏增强,有效缓解多种虚假相关性,提升模型鲁棒性和任务性能。
2025-11-20 cs.AI cs.CL
Dense Relational Captioning: Triple-Stream Networks for Relationship-Based Captioning
KAIST(韩国科学技术院);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
我们在这项工作中的目标是训练一个图像描述模型,生成更密集和信息量更大的字幕。我们介绍“关系字幕”,一种新的图像描述任务,其目的是生成多个字幕相对于图像中的对象之间的关系信息。关系字幕是一个框架,是在多样性和信息量的优势,导致图像理解的基础上的关系。词性(POS,即主语-宾语-谓语类别)标签可以分配给每个英语单词。我们利用POS作为先验来指导标题中的正确单词序列。为此,我们提出了一个多任务三流网络(MTTSNet),它由三个经常性的单位为各自的POS和共同执行POS预测和字幕。我们展示了更多样化和更丰富的表示所提出的模型对几个基线和竞争的方法。
2019-09-22 cs.CL cs.CV
Textual Entailment for Effective Triple Validation in Object Prediction
针对基于提示的语言模型事实检索不稳定、易产生幻觉的问题,提出用文本蕴含验证完形填空提取的事实,可提升不同训练机制下的预测效果,还适用于验证知识图谱、文本段落等其他来源的候选事实。
2024-01-29 cs.AI cs.CL cs.DL
DCA: Diversified Co-Attention towards Informative Live Video Commenting
Peking University(北京大学);Huazhong University of Science and Technology(华中科技大学);Beijing University of Aeronautics and Astronautics(北京航空航天大学)
我们专注于自动实时视频评论(ALVC)的任务,其目的是生成实时视频评论与视频帧和其他观众的评论作为输入。这项任务的一个主要挑战是如何正确利用视频和文本所携带的丰富多样的信息。在本文中,我们的目标是收集多样化的信息,从视频和文本的信息丰富的评论生成。为了实现这一目标,我们提出了一个多样化的共同注意力(DCA)模型。我们的模型通过度量学习从多个角度构建视频帧和周围评论之间的双向交互,以收集多样化和信息丰富的评论生成上下文。我们还提出了一个有效的参数正交化技术,以避免从不同的角度学习的信息过度重叠。结果表明,我们的方法优于现有的方法在ALVC任务,实现新的国家的最先进的结果。
2020-08-08 cs.CL cs.CV cs.LG
"Listen, Understand and Translate": Triple Supervision Decouples End-to-end Speech-to-text Translation
ByteDance AI Lab(字节跳动人工智能实验室)
端到端语音到文本翻译(ST)获取源语言的音频并以目标语言输出文本。现有的方法受到并行语料库数量的限制。我们能否建立一个系统来充分利用平行ST语料库中的信号?人类的理解系统由听觉感知和认知加工两部分组成,这给我们的启示是:在本文中,我们提出了Listen-Understand-Translate(LUT),这是一个具有三重监督信号的统一框架,可以解耦端到端的语音到文本翻译任务。LUT能够引导声学编码器从听觉输入中提取尽可能多的信息。此外,LUT利用预训练的BERT模型来强制上层编码器产生尽可能多的语义信息,而不需要额外的数据。我们在一组不同的语音翻译基准上进行实验,包括Librispeech英语-法语,IWITOS英语-德语和TED英语-汉语。我们的结果表明LUT实现了最先进的性能,优于以前的方法。该代码可在https://github.com/dqqcasia/st上获得。
2021-04-05 cs.CL eess.AS
Unsupervised Robust Cross-Lingual Entity Alignment via Neighbor Triple Matching with Entity and Relation Texts
Yonsei University(延世大学);Korea University(高丽大学)
针对跨语言实体对齐中获取标签困难及现有无监督方法的局限,本文提出ERAlign,通过邻居三元组匹配联合实体和关系文本语义,实现无监督鲁棒对齐,提升精度并增强对噪声的抵抗能力。
2025-02-12 cs.AI cs.CL
Aligning Biomedical Texts and Knowledge Graphs: A Systematic Comparison of Lightweight Alignment Strategies
University of Mannheim(曼海姆大学)
本研究提出统一框架系统比较生物医学文本与KG的轻量对齐策略,构建CTD-Align语料库,发现三元组组合和训练方向影响最大,线性投影效果最优,为二者桥接提供实用基础。
2026-08-25 cs.CL cs.IR
Bridging Text and Knowledge with Multi-Prototype Embedding for Few-Shot Relational Triple Extraction
Zhejiang University(浙江大学);AZFT Joint Lab for Knowledge Engine(AZFT知识引擎联合实验室);Alibaba Group(阿里巴巴集团)
目前的监督关系三元组提取方法需要大量的标记数据,因此在Few-Shot设置中性能较差。然而,人们可以通过学习一些实例来掌握新知识。为此,我们采取的第一步,研究Few-Shot关系三元组提取,这还没有得到很好的理解。与以前的单任务Few-Shot问题不同,关系三元组提取更具挑战性,因为实体和关系具有隐式相关性。本文提出了一种新的多原型嵌入网络模型,用于联合提取关系三元组的组成,即实体对和对应关系。具体而言,我们设计了一个混合原型学习机制,桥梁文本和知识的实体和关系。因此,实体和关系之间的隐式相关性被注入。此外,我们还提出了一个原型感知的正则化来学习更多有代表性的原型。实验结果表明,该方法可以提高Few-Shot三重提取的性能。
2020-10-30 cs.AI cs.CL cs.DB
Zero-Shot Information Extraction as a Unified Text-to-Triple Translation
UC Berkeley(加州大学伯克利分校);Tsinghua University(清华大学)
我们将一套信息抽取任务转换为文本到三重翻译框架。我们不是依靠特定于任务的数据集和模型来解决每个任务,而是将任务形式化为特定于任务的输入文本和输出三元组之间的转换。通过获取特定于任务的输入,我们通过利用预先训练的语言模型具有的关于任务的潜在知识来实现任务不可知的翻译。我们进一步证明,预测哪些关系信息对应于哪些输入文本的简单预训练任务是产生特定于任务的输出的有效方法。这使得我们的框架能够zero-shot转移到下游任务。我们研究了这个框架在开放信息抽取(OIE 2016,NYT,WEB,PENN),关系分类(FewRel和TACRED)和事实探测(Google-RE和T-REx)上的zero-shot性能。该模型可以很好地转移到大多数任务中,并且通常与完全监督的方法竞争,而不需要任何特定于任务的训练。例如,我们显著优于有监督的开放信息抽取的F1得分,而无需使用其训练集。
2021-09-23 cs.AI cs.CL cs.LG
Triples and Knowledge-Infused Embeddings for Clustering and Classification of Scientific Documents
Home Lab, Galway, Ireland(爱尔兰加里维尔家庭实验室)
本文研究三元组知识是否提升科学论文的聚类和分类性能,通过四种文档表示方法评估了四种嵌入模型,发现纯摘要表现最佳,三元组添加未必有益,结果为知识增强模型的应用提供了指导。
2026-04-20 cs.AI cs.CL cs.DL
Commonsense Knowledge Mining from Term Definitions
Rensselaer Polytechnic Institute(伦斯勒理工学院)
常识知识已被证明有益于各种应用领域,包括问答和自然语言理解。以前的工作探索了从文本中自动收集常识知识三元组,以增加当前常识知识图谱的覆盖率。我们研究了一些机器学习方法来挖掘常识知识三元组使用字典术语定义作为输入,并提供了一些初步的评估结果。我们从提取候选三元组使用部分的语音标记模式从文本中,然后比较现有的三重评分模型的性能。我们的实验表明,术语定义包含一些有效的和新的常识知识三元组的一些语义关系,也表明了一些挑战,使用现有的三重评分模型。
2021-02-01 cs.AI cs.CL
Eliciting Informative Text Evaluations with Large Language Models
Peking University(北京大学);University of Michigan(密歇根大学)
本文提出GPPM和GSPPM两种机制,利用大语言模型作为预测器将同伴预测机制扩展到文本评价场景,并通过理论分析和Yelp、ICLR数据集实验验证其能激励真实高质量反馈并有效区分不同质量的评论。
2024-09-02 cs.AI cs.CL cs.GT
Triplètoile: Extraction of Knowledge from Microblogging Text
University of Cagliari(卡利亚里大学);European Commission, Joint Research Centre (DG JRC)(欧洲委员会联合研究中心);Laboratoire d’Informatique de Paris Nord, Sorbonne Paris Nord University(巴黎北信息学实验室,巴黎北索邦大学);GESIS Leibniz Institute for the Social Sciences(莱布尼茨社会科学研究所(GESIS));Knowledge Media Institute, The Open University(开放大学知识媒体研究所);University of Milano Bicocca(米兰比可卡大学)
本文提出一种增强的信息提取流程,利用依存句法分析和词嵌入层次聚类进行无监督关系分类,从社交媒体微博客帖子中提取开放域实体知识图谱,精确度超95%且优于类似流程。
2024-08-27 cs.CE cs.CL cs.IR
CritiqueLLM: Towards an Informative Critique Generation Model for Evaluation of Large Language Model Generation
Tsinghua University(清华大学);Zhipu AI(智谱AI)
本文提出Eval-Instruct方法,通过伪参考和多路径提示生成信息丰富型批评数据,微调得到CritiqueLLM模型,在评估性能上超越ChatGPT和开源基线,接近GPT-4,并能作为反馈提升生成质量。
2024-06-26 cs.AI cs.CL
Multimodal Foundation Models Exploit Text to Make Medical Image Predictions
Harvard Medical School(哈佛医学院);Brigham and Women's Hospital(布莱根妇女医院);Beth Israel Deaconess Medical Center(贝斯以色列女执事医疗中心)
本文通过1014个多模态医学病例评估多个多模态基础模型,发现其医学图像预测主要依赖利用文本而非图像,且文本中的错误暗示会显著降低分类性能,揭示了多模态AI在医学诊断中的关键局限。
2024-11-25 cs.AI cs.CL cs.CV
Towards Structured Knowledge: Advancing Triple Extraction from Regional Trade Agreements using Large Language Models
University of Bayreuth, Bayreuth, Germany(拜罗伊特大学)
本研究利用大型语言模型(如Llama 3.1)从区域贸易协定文本中抽取主语-谓语-宾语三元组,通过零样本、单样本和少样本提示技术评估性能,以构建经济贸易知识图谱。
2025-09-29 cs.CE cs.CL cs.IR