Triple-to-Text: Converting RDF Triples into High-Quality Natural Languages via Optimizing an Inverse KL Divergence
Shanghai Jiao Tong University(上海交通大学);Noah’s Ark Lab, Huawei Technologies(华为技术有限公司诺亚方舟实验室)
知识库是信息结构化表示的主要形式之一。知识库通常由描述实体及其关系的资源描述框架(RDF)三元组组成。生成知识库的自然语言描述是自然语言处理中的一个重要任务,它被表述为一个条件语言生成任务,并使用序列到序列框架来处理。现有的训练语言模型的方法大多采用最大似然估计法,这往往会产生糟糕的句子。在本文中,我们认为,这样的问题的最大似然估计是内在的,这通常是不可撤销的,通过改变网络结构。因此,我们提出了一种新的三重文本(T2 T)框架,该框架近似优化了真实句子和生成句子的分布之间的逆Kullback-Leibler(KL)分歧。由于逆KL对虚假样本施加了很大的惩罚,所提出的方法可以显着降低生成低质量句子的概率。我们在三个真实世界数据集上的实验表明,T2 T可以生成更高质量的句子,并在几个评估指标上优于基线模型。
2019-05-25 cs.AI cs.CL
CoBA: Counterbias Text Augmentation for Mitigating Various Spurious Correlations via Semantic Triples
DATUMO;AITRICS;Brainventures;Graduate School of Advanced Imaging Sciences, Multimedia and Film, Chung-Ang University(Chung-Ang大学高级影像科学、多媒体与电影研究生院);Department of Artificial Intelligence, Chung-Ang University(Chung-Ang大学人工智能系)
CoBA通过语义三元组层面的反偏增强,有效缓解多种虚假相关性,提升模型鲁棒性和任务性能。
2025-11-20 cs.AI cs.CL
Parser Extraction of Triples in Unstructured Text
Wipro Limited(威普罗有限公司)
网络包含大量非结构化文本的存储库。我们调查的机会,建立一个知识图谱从这些文本源。我们生成了一组三元组,可用于知识收集和集成。我们定义了一个语言编译器的架构,使用OpenNLP解析器处理主谓宾三元组。我们实现了一个深度优先的搜索遍历的POS标记的语法树附加谓词和对象的信息。解析器能够更高精度和更高召回率地提取跨连接边界的句法关系。我们能够提取ReVerb正确提取的2-2.5倍。这些抽取被用于各种语义Web应用和问答中。我们验证了在CtrudeWeb数据集上提取50,000个三元组。
2018-11-06 cs.AI cs.CL cs.LG
Informative Text Generation from Knowledge Triples
University of Cambridge(剑桥大学);University of Pennsylvania(宾夕法尼亚大学);The Chinese University of Hong Kong(香港中文大学)
随着编码器-解码器体系结构的发展,研究人员能够研究更广泛类型数据的文本生成任务。其中,知识库到文本的目标是将一组知识三元组转换成人类可读的句子。在原始设置中,任务假设输入三元组和文本在具体知识/信息的角度上完全对齐。在本文中,我们扩展了这种设置,并探索如何促进训练模型生成更多信息的文本,即包含更多关于三元组实体的信息,但不是由输入三元组传达的。为了解决这个问题,我们提出了一种新的记忆增强生成器,采用记忆网络来记忆在训练过程中学到的有用知识,并利用这些信息与输入三元组一起在操作或测试阶段生成文本。我们从WebNLG中为我们的新设置获得了一个数据集,并进行了大量的实验来研究我们模型的有效性,并揭示了该设置的内在特征。
2022-09-26 cs.CL
Commonsense Knowledge Mining from Term Definitions
Rensselaer Polytechnic Institute(伦斯勒理工学院)
常识知识已被证明有益于各种应用领域,包括问答和自然语言理解。以前的工作探索了从文本中自动收集常识知识三元组,以增加当前常识知识图谱的覆盖率。我们研究了一些机器学习方法来挖掘常识知识三元组使用字典术语定义作为输入,并提供了一些初步的评估结果。我们从提取候选三元组使用部分的语音标记模式从文本中,然后比较现有的三重评分模型的性能。我们的实验表明,术语定义包含一些有效的和新的常识知识三元组的一些语义关系,也表明了一些挑战,使用现有的三重评分模型。
2021-02-01 cs.AI cs.CL
Zero-Shot Information Extraction as a Unified Text-to-Triple Translation
UC Berkeley(加州大学伯克利分校);Tsinghua University(清华大学)
我们将一套信息抽取任务转换为文本到三重翻译框架。我们不是依靠特定于任务的数据集和模型来解决每个任务,而是将任务形式化为特定于任务的输入文本和输出三元组之间的转换。通过获取特定于任务的输入,我们通过利用预先训练的语言模型具有的关于任务的潜在知识来实现任务不可知的翻译。我们进一步证明,预测哪些关系信息对应于哪些输入文本的简单预训练任务是产生特定于任务的输出的有效方法。这使得我们的框架能够zero-shot转移到下游任务。我们研究了这个框架在开放信息抽取(OIE 2016,NYT,WEB,PENN),关系分类(FewRel和TACRED)和事实探测(Google-RE和T-REx)上的zero-shot性能。该模型可以很好地转移到大多数任务中,并且通常与完全监督的方法竞争,而不需要任何特定于任务的训练。例如,我们显著优于有监督的开放信息抽取的F1得分,而无需使用其训练集。
2021-09-23 cs.AI cs.CL cs.LG
Neural Wikipedian: Generating Textual Summaries from Knowledge Base Triples
University of Southampton(南安普顿大学);Université de Lyon(里昂大学);CNRS(法国国家科学研究中心);UJM-Saint-Étienne(圣艾蒂安大学);Laboratoire Hubert Curien(于贝尔·屈里安实验室)
本文研究利用神经网络从DBpedia和Wikidata三元组自动生成自然语言摘要,通过将三元组编码为固定向量并条件生成文本,在维基百科对齐语料上验证了方法的有效性。
2017-11-01 cs.CL
Bridging Text and Knowledge with Multi-Prototype Embedding for Few-Shot Relational Triple Extraction
Zhejiang University(浙江大学);AZFT Joint Lab for Knowledge Engine(AZFT知识引擎联合实验室);Alibaba Group(阿里巴巴集团)
目前的监督关系三元组提取方法需要大量的标记数据,因此在Few-Shot设置中性能较差。然而,人们可以通过学习一些实例来掌握新知识。为此,我们采取的第一步,研究Few-Shot关系三元组提取,这还没有得到很好的理解。与以前的单任务Few-Shot问题不同,关系三元组提取更具挑战性,因为实体和关系具有隐式相关性。本文提出了一种新的多原型嵌入网络模型,用于联合提取关系三元组的组成,即实体对和对应关系。具体而言,我们设计了一个混合原型学习机制,桥梁文本和知识的实体和关系。因此,实体和关系之间的隐式相关性被注入。此外,我们还提出了一个原型感知的正则化来学习更多有代表性的原型。实验结果表明,该方法可以提高Few-Shot三重提取的性能。
2020-10-30 cs.AI cs.CL cs.DB
Triple M: A Practical Text-to-speech Synthesis System With Multi-guidance Attention And Multi-band Multi-time LPCNet
Tencent(腾讯)
在这项工作中,一个强大的和高效的文本到语音(TTS)合成系统命名为三重M提出了大规模的在线应用。三重M的关键组成部分是:1)序列到序列模型采用了一种新的多指导注意力转移互补的优势,从指导注意力机制的基本注意力机制没有域内的性能损失和在线服务修改。与单一注意力机制相比,多引导注意不仅给长句合成带来了更好的自然度,而且单词出错率降低了26.8%。2)提出了一种新的高效多带多时声码器框架,将计算复杂性从2.8 GFLOP降低到1.0 GFLOP,并在单个CPU上将LPCNet的速度提高了2.75倍。
2021-04-07 cs.CL eess.AS
MetricBERT: Text Representation Learning via Self-Supervised Triplet Training
Microsoft(微软);Tel-Aviv University(特拉维夫大学);The Open University(开放大学);Bar-Ilan University(巴伊兰大学)
我们提出了MetricBERT,一个基于BERT的模型,它学习在一个定义良好的相似性度量下嵌入文本,同时坚持“传统”的掩蔽语言任务。我们专注于学习建议相似性的下游任务,我们表明MetricBERT的性能优于最先进的替代品,有时甚至是相当大的幅度。我们对我们的方法及其不同的变体进行了广泛的评估,表明我们的训练目标比传统的对比损失,标准的余弦相似性目标和其他六个基线都非常有益。作为一个额外的贡献,我们发布了一个视频游戏描述的数据集,以及由领域专家制作的相似性注释的测试集。
2022-08-13 cs.CL
Biomedical Entity Linking with Triple-aware Pre-Training
HITEC e.V.(HITEC协会);Universität Hamburg(汉堡大学)
针对通用大语言模型在生物医学实体链接中存在的实体稀疏、缺乏实体间语义关联等问题,提出利用知识图谱合成语料预训练生成式大模型的新框架,但实验未证实加入同义词、描述或关系信息可提升性能。
2023-08-28 cs.AI cs.CL
Triple Modality Fusion: Aligning Visual, Textual, and Graph Data with Large Language Models for Multi-Behavior Recommendations
Walmart Global Tech(沃尔玛全球技术部门)
针对多行为推荐中单一数据源表征不足的问题,提出 TMF 框架,利用 LLM 对齐并融合视觉、文本与异构图三种模态,实验与消融验证了其推荐性能。
2025-02-16 cs.AI cs.CL cs.IR
Triples-to-isiXhosa (T2X): Addressing the Challenges of Low-Resource Agglutinative Data-to-Text Generation
University of Cape Town(开普敦大学)
该研究针对低资源黏着语isiXhosa的数据到文本生成难题,构建了T2X数据集与对应评估框架,提出子词分段指针生成器架构,同时发现微调机器翻译模型效果最优,为低资源黏着语数据到文本生成研究提供了新基准与方法参考。
2024-03-12 cs.CL
Structure-Augmented Text Representation Learning for Efficient Knowledge Graph Completion
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院);International Center of Future Science, Jilin University(吉林大学未来科学国际中心)
人工组织的知识图谱为各种自然语言处理任务提供了关键的支持信息,但这些图谱通常是不完整的,促使自动完成它们。流行图嵌入方法,例如,transE,通过将图元素表示为密集嵌入并捕获它们与空间距离的三级关系来学习结构化知识。然而,它们很难推广到训练中从未访问过的元素,并且本质上容易受到图不完整性的影响。相反,文本编码方法,例如,KG-BERT,诉诸图三元组的文本和三层上下文表示。它们具有足够的可推广性,并且对不完整性具有鲁棒性,特别是当与预先训练的编码器相结合时。但有两个主要的缺点限制了性能:(1)由于推理中所有可能的三元组的评分成本高,开销大;(2)文本编码器中缺乏结构化知识。在本文中,我们遵循文本编码范式,旨在通过使用图嵌入技术来增强它来减轻其缺点-这两种范式的互补混合。具体来说,我们将每个三元组划分为两个不对称的部分,如基于映射的图嵌入方法,并通过暹罗风格的文本编码器将这两个部分编码为上下文表示。建立在表示,我们的模型采用确定性分类器和空间测量表示和结构学习分别。此外,我们开发了一个自适应集成方案,以进一步提高性能,将三重评分从现有的图嵌入模型。在实验中,我们在三个基准测试和一个链接预测的zero-shot数据集上实现了最先进的性能,与文本编码方法相比,推理成本降低了1-2个数量级。
2021-02-24 cs.CL
"Listen, Understand and Translate": Triple Supervision Decouples End-to-end Speech-to-text Translation
ByteDance AI Lab(字节跳动人工智能实验室)
端到端语音到文本翻译(ST)获取源语言的音频并以目标语言输出文本。现有的方法受到并行语料库数量的限制。我们能否建立一个系统来充分利用平行ST语料库中的信号?人类的理解系统由听觉感知和认知加工两部分组成,这给我们的启示是:在本文中,我们提出了Listen-Understand-Translate(LUT),这是一个具有三重监督信号的统一框架,可以解耦端到端的语音到文本翻译任务。LUT能够引导声学编码器从听觉输入中提取尽可能多的信息。此外,LUT利用预训练的BERT模型来强制上层编码器产生尽可能多的语义信息,而不需要额外的数据。我们在一组不同的语音翻译基准上进行实验,包括Librispeech英语-法语,IWITOS英语-德语和TED英语-汉语。我们的结果表明LUT实现了最先进的性能,优于以前的方法。该代码可在https://github.com/dqqcasia/st上获得。
2021-04-05 cs.CL eess.AS
Aligning Biomedical Texts and Knowledge Graphs: A Systematic Comparison of Lightweight Alignment Strategies
University of Mannheim(曼海姆大学)
本研究提出统一框架系统比较生物医学文本与KG的轻量对齐策略,构建CTD-Align语料库,发现三元组组合和训练方向影响最大,线性投影效果最优,为二者桥接提供实用基础。
2026-08-25 cs.CL cs.IR
Extracting Relational Triples Based on Graph Recursive Neural Network via Dynamic Feedback Forest Algorithm
针对关系三元组抽取中子任务整合难的问题,提出将任务转化为图标注问题并结合动态反馈森林算法的GRNN方法,有效提升抽取效果。
2023-08-22 cs.CL
KGMEL: Knowledge Graph-Enhanced Multimodal Entity Linking
KAIST(韩国科学技术院);Hanyang University(翰林大学)
KGMEL利用知识图谱三元组增强多模态实体链接,通过生成、检索和重排序三阶段框架,在基准数据集上超越现有方法。
2025-04-21 cs.AI cs.CL cs.IR
StoryAnalogy: Deriving Story-level Analogies from Large Language Models to Unlock Analogical Understanding
The Hong Kong University of Science and Technology(香港科技大学);Westlake University(西湖大学);Amazon AWS AI(亚马逊AWS人工智能)
本文构建了首个大规模故事级类比语料库 StoryAnalogy,发现现有大模型在类比识别上表现不佳,但利用该数据微调模型可显著提升类比生成质量。
2023-10-23 cs.CL
Triplètoile: Extraction of Knowledge from Microblogging Text
University of Cagliari(卡利亚里大学);European Commission, Joint Research Centre (DG JRC)(欧洲委员会联合研究中心);Laboratoire d’Informatique de Paris Nord, Sorbonne Paris Nord University(巴黎北信息学实验室,巴黎北索邦大学);GESIS Leibniz Institute for the Social Sciences(莱布尼茨社会科学研究所(GESIS));Knowledge Media Institute, The Open University(开放大学知识媒体研究所);University of Milano Bicocca(米兰比可卡大学)
本文提出一种增强的信息提取流程,利用依存句法分析和词嵌入层次聚类进行无监督关系分类,从社交媒体微博客帖子中提取开放域实体知识图谱,精确度超95%且优于类似流程。
2024-08-27 cs.CE cs.CL cs.IR
90% F1 Score in Relational Triple Extraction: Is it Real ?
TCS Research(塔塔咨询服务研究院)
本文揭示了现有联合实体与关系抽取模型因忽略零三元组句子而在现实设置下F1分数显著下降的问题,并提出一种基于BERT分类器的两步建模方法以提升现实场景下的整体性能。
2023-10-27 cs.CL
Towards Structured Knowledge: Advancing Triple Extraction from Regional Trade Agreements using Large Language Models
University of Bayreuth, Bayreuth, Germany(拜罗伊特大学)
本研究利用大型语言模型(如Llama 3.1)从区域贸易协定文本中抽取主语-谓语-宾语三元组,通过零样本、单样本和少样本提示技术评估性能,以构建经济贸易知识图谱。
2025-09-29 cs.CE cs.CL cs.IR
Leveraging Semantic Triples for Private Document Generation with Local Differential Privacy Guarantees
Technical University of Munich School of Computation, Information and Technology Department of Computer Science(慕尼黑技术大学计算、信息与技术学院计算机科学系)
本文提出 DP-ST 方法,利用语义三元组在本地差分隐私保证下进行邻域感知的私有文档生成,通过分而治之范式并结合大语言模型后处理,在较低隐私预算下实现连贯且兼顾隐私与效用的文本生成。
2025-08-28 cs.CL
Text as Statistical Mechanics Object
Escuela Politécnica Superior, Universidad Autónoma de Madrid(马德里自治大学高等理工学院);UNED(西班牙国立远程教育大学);The Abdus Salam International Center for Theoretical Physics(阿卜杜斯·萨拉姆国际理论物理中心)
在这篇文章中,我们提出了一个基于统计力学方法的人类书面文本模型,通过推导出的势能为不同部分的文本使用大型文本语料库。我们已经检查了结果的数值,发现比热参数有效地分离封闭类的文字中使用的特定条款。
2008-10-19 cs.CL physics.soc-ph
ProVe: A Pipeline for Automated Provenance Verification of Knowledge Graphs against Textual Sources
King’s College London(伦敦国王学院)
知识图谱是以语义三元组的形式从多个领域和来源收集数据的信息库,作为现代网络环境中各种关键应用程序的结构化数据源,从维基百科信息框到搜索引擎。这些图表主要作为信息的第二来源,并依赖于记录良好和可核实的出处,以确保其可信度和可用性。然而,他们系统地评估和确保这种来源的质量的能力,最重要的是它是否正确地支持图的信息,主要依赖于不随大小而扩展的手动过程。ProVe旨在弥补这一点,包括一个流水线的方法,自动验证是否知识图谱三元组是从其记录出处提取的文本支持。ProVe旨在帮助信息管理员,包括四个主要步骤,涉及基于规则的方法和机器学习模型:文本提取,三重语言化,句子选择和声明验证。ProVe在Wikidata数据集上进行了评估,在检测来源支持的二进制分类任务上取得了令人鼓舞的整体结果和出色的性能,在文本丰富的源上具有87.5%的准确率和82.9%的F1宏。本文中使用的评估数据和脚本可在GitHub和Figshare上获得。
2022-10-26 cs.CL
Reassessing Graph Linearization for Sequence-to-sequence AMR Parsing: On the Advantages and Limitations of Triple-Based Encoding
Univ. Grenoble Alpes, CNRS, Grenoble INP, LIG(格拉诺布尔大学、CNRS、格拉诺布尔INP、LIG);Emvista(Emvista公司)
针对序列到序列 AMR 解析中图线性化问题,本文比较三元组编码与 Penman 编码,指出三元组虽适合图表示,但在嵌套结构表达上仍需改进。
2025-05-13 cs.CL
A Comparative Analysis of Conversational Large Language Models in Knowledge-Based Text Generation
Technical University of Munich(慕尼黑工业大学);King’s College London(伦敦国王学院)
本研究针对对话式大语言模型易产生幻觉等问题,对比4款不同规模模型在不同提示技术下基于语义三元组生成文本的表现,发现少样本提示等技术可显著提升其三元组表述能力,小模型提升效果更明显。
2024-02-02 cs.CL
TripletCLIP: Improving Compositional Reasoning of CLIP via Synthetic Vision-Language Negatives
Arizona State University(亚利桑那州立大学);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
TripletCLIP通过合成困难负样本对,增强CLIP的组合推理能力,在SugarCrepe上提升超9%,并改进零样本分类与检索。
2024-11-04 cs.CL cs.CV
Information-theoretical analysis of the statistical dependencies among three variables: Applications to written language
Centro Atómico Bariloche(巴里洛切原子中心);Instituto Balseiro(巴尔塞罗研究所)
我们开发了研究三个变量之间的统计依赖关系所需的信息理论概念。其中一些依赖关系是纯粹的三重相互作用,从某种意义上说,它们不能用成对相关性的组合来解释。我们推导出三重依赖的界限,并描述了三个二元变量的联合概率分布的形状与高三重相互作用。该分析还允许我们量化变量对之间的互信息中的冗余量,并评估两个变量之间的信息是否由第三个变量介导。这些概念适用于书面文本的分析。我们发现,一个给定的单词被发现在一个特定的位置内的文本的概率不仅调制的存在或不存在的其他附近的话,但也,对存在或不存在的附近的单词对。我们确定的话包围的关键语义概念的文本,高成对和三重相互作用的三元组的话,和调解其他词之间的成对相互作用的话。
2015-07-30 cs.CL physics.data-an physics.soc-ph