Centrality Meets Centroid: A Graph-based Approach for Unsupervised Document Summarization
近年来,无监督文档摘要由于其简单性和数据独立性而重新获得了大量关注。在本文中,我们提出了一个基于图的无监督方法提取文档摘要。而不是排名的句子的显着性和提取句子一个接一个,我们的方法工作在一个总结的水平,利用图中心和质心。我们首先从句子图中提取基于中心性的摘要候选作为子图,然后通过匹配到质心来从摘要候选中选择。我们在两个基准摘要数据集上进行了广泛的实验,结果表明,与最先进的基线相比,我们的模型是有效的。
2021-04-22 cs.CL
Text-to-Battery Recipe: A language modeling-based protocol for automatic battery recipe extraction and retrieval
Korea Institute of Science and Technology(韩国科学技术研究院);Korea University of Science and Technology(韩国科学技术大学)
本研究提出基于语言建模的T2BR协议,自动从文献中提取端到端电池配方,通过筛选2174篇论文和提取30个实体,生成165个LiFePO4电池配方,加速电池材料文献综述与设计创新。
2024-07-22 cond-mat.mtrl-sci cs.CL
R-VGAE: Relational-variational Graph Autoencoder for Unsupervised Prerequisite Chain Learning
Yale University(耶鲁大学);Tata Consultancy Services Limited (TCS)(塔塔咨询服务有限公司(TCS))
概念前提链学习的任务是自动判断概念对之间是否存在前提关系。在本文中,我们将概念之间的学习先决条件关系框架为无监督任务,在训练过程中无法访问标记的概念对。我们提出了一个模型,称为矩阵-变分图自动编码器(R-VGAE),以预测概念和资源节点组成的图中的概念关系。结果表明,我们的无监督方法优于基于图的半监督方法和其他基线方法高达9.77%和10.47%的先决条件关系预测精度和F1得分。值得注意的是,我们的方法是第一个基于图的模型,它试图利用深度学习表示来完成无监督的先决条件学习任务。我们还扩展了现有的语料库,其中共有1,717个英语自然语言处理(NLP)相关的讲座幻灯片文件和手动概念对注释超过322个主题。
2020-04-22 cs.CL
UltRAG: a Universal Simple Scalable Recipe for Knowledge Graph RAG
Graphcore Research(Graphcore 研究院)
本文提出UltRAG框架,通过神经查询执行模块提升知识图谱问答性能,无需重新训练LLM,在大规模知识图谱上实现高效问答。
2026-09-30 cs.CL cs.IR cs.LG
Biased TextRank: Unsupervised Graph-Based Content Extraction
University of Michigan(密歇根大学)
我们引入了Biased TextRank,这是一种基于图形的内容提取方法,其灵感来自流行的TextRank算法,该算法根据文本对语言处理任务的重要性以及与输入“焦点”的相关性对文本跨度进行排名。“Biased TextRank通过修改TextRank执行中的随机重新启动来实现文本的集中内容提取。基于图节点与任务焦点的相关性来分配随机重启概率。我们提出了两个应用程序的偏见TextRank:集中的摘要和解释提取,并表明我们的算法导致两个不同的数据集上的显着ROUGE-N得分利润率提高性能。与其前身非常相似,Biased TextRank是无监督的,易于实现,并且比当前最先进的自然语言处理方法更快,更轻。
2020-11-02 cs.CL
Unsupervised Knowledge Graph Construction and Event-centric Knowledge Infusion for Scientific NLI
Ocean University of China(中国海洋大学);University of Technology Sydney(悉尼科技大学);Australian AI Institute(澳大利亚人工智能研究所)
随着自然语言推理技术的发展,对自然语言推理的需求越来越多地体现在对科技文本的处理上。现有的方法依赖于缺乏特定领域知识的预训练模型(PTM)。为了解决这个问题,我们引入了一个科学知识图谱推广PTM到科学领域。然而,现有的知识图谱构建方法存在一些缺点,即,昂贵的标记数据,无法应用于其他领域,推理时间长,难以扩展到大型语料库。因此,我们提出了一种无监督的知识图谱构建方法,以建立一个科学的知识图谱(SKG)没有任何标记的数据。此外,为了减轻SKG的噪声效应,更好地补充句子中的知识,本文提出了一种以事件为中心的知识注入方法,将外部知识融入到句子中的细粒度语义单元--事件中。实验结果表明,该方法达到了最先进的性能和SKG的有效性和可靠性。
2022-10-28 cs.CL
Towards an Action-Centric Ontology for Cooking Procedures Using Temporal Graphs
Ashoka University(阿什oka大学)
针对烹饪流程形式化的复杂性与模糊性问题,提出一种可扩展领域特定语言将食谱表示为有向行动图,可精准建模复杂烹饪工作流,经英式早餐食谱评估验证了表达力,为构建烹饪领域行动中心本体、实现烹饪流程的机器理解与自动化奠定基础。
2025-09-04 cs.AI cs.CL
Unsupervised Cross-Domain Prerequisite Chain Learning using Variational Graph Autoencoders
Yale University(耶鲁大学)
学习先决条件链是有效获取已知和未知领域知识的一项重要任务。例如,一个人可能是自然语言处理(NLP)领域的专家,但想要确定在不熟悉的计算机视觉领域(CV)中学习新概念的最佳顺序。这两个领域都有一些共同的概念,例如机器学习基础知识和深度学习模型。在本文中,我们提出了无监督的跨域概念先决条件链学习使用优化的变分图自动编码器。我们的模型学习将概念先决条件关系从信息丰富的域(源域)转移到信息贫乏的域(目标域),大大超过了其他基线模型。此外,我们通过引入两个新的领域来扩展现有的数据集:CV和生物信息学(BIO)。附加说明的数据和资源以及代码将公开提供。
2021-05-27 cs.CL
Unsupervised Keyphrase Extraction with Multipartite Graphs
LS2N, Université de Nantes(LS2N,南特大学)
我们提出了一个无监督的关键词提取模型,编码主题信息的多部图结构。我们的模型表示关键词候选人和主题在一个单一的图,并利用它们相互加强的关系,以提高候选人的排名。我们进一步引入了一种新的机制,将关键词选择偏好的模型。在三个广泛使用的数据集上进行的实验表明,与最先进的基于图的模型相比,该模型有了显着的改进。
2018-04-16 cs.CL cs.IR
Unsupervised Abstractive Dialogue Summarization with Word Graphs and POV Conversion
ActionPower
我们利用多句压缩图推进了无监督抽象对话摘要的最新技术。从有理有据的假设词图,我们提出了简单但可靠的路径重新排序和主题分割计划。我们的方法的鲁棒性在多个领域的数据集上得到了证明,包括会议,采访,电影剧本和日常对话。我们还确定了用深度学习来增强我们基于经验的系统的可能途径。我们开源了我们的代码,为未来研究无监督对话摘要提供了一个强大的,可重复的基线。
2022-05-26 cs.AI cs.CL
INFINITY: A Simple Yet Effective Unsupervised Framework for Graph-Text Mutual Conversion
Shanghai Jiao Tong University(上海交通大学)
图到图(G2 T)生成和图到图(T2 G)三元组抽取是知识图谱构建和应用的两个基本任务。现有的无监督方法是合适的候选人,共同学习这两个任务,由于他们避免使用图形-文本并行数据。然而,它们由多个模块组成,并且在训练过程中仍然需要实体信息和关系类型。为此,我们提出了INFINITY,一种简单而有效的无监督方法,不需要外部注释工具或额外的并行信息。它首次实现了完全无监督的图文相互转换。具体来说,INFINITY将G2 T和T2 G视为双向序列生成任务,只微调一个预训练的seq 2seq模型。然后设计了一种新的基于反向翻译的框架来自动生成连续的合成并行数据。为了从源文本中获得具有结构信息的合理图序列,INFINITY通过利用奖励增强最大似然的优势,采用基于奖励的训练损失。作为一个完全无监督的框架,INFINITY经过经验验证,在G2 T和T2 G任务中表现优于最先进的基线。
2022-09-22 cs.AI cs.CL
Bipartite Graph Pre-training for Unsupervised Extractive Summarization with Graph Convolutional Auto-Encoders
Zhongguancun Laboratory(中关村实验室);Beihang University(北京航空航天大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出一种基于句子-词二部图的图预训练自编码器,显式建模句内区分性与句间连贯性特征,以获得更优句子表示,从而提升无监督抽取式摘要性能并超越BERT/RoBERTa表示。
2023-10-29 cs.AI cs.CL
An Unsupervised Joint System for Text Generation from Knowledge Graphs and Semantic Parsing
LMU Munich(慕尼黑大学);Siemens AG(西门子股份公司)
知识图谱(KG)可以从一个领域到另一个领域有很大的不同。因此,图到文本生成和文本到图知识提取(语义解析)的监督方法总是会受到特定于域的并行图-文本数据的短缺的影响;同时,由于实体和关系中很少或根本没有重叠,调整在不同域上训练的模型通常是不可能的。这种情况需要一种方法,该方法(1)不需要大量的注释数据,因此(2)不需要依赖于领域自适应技术来在不同的领域中很好地工作。为此,我们提出了第一种方法,从KG无监督文本生成,并同时显示它可以用于无监督语义解析。我们评估我们的方法WebNLG v2.1和一个新的基准利用场景图从Visual基因组。我们的系统优于两个文本$\leftrightarrow$图形转换任务的强基线,而无需从一个数据集到另一个数据集进行任何手动调整。在其他实验中,我们研究了使用不同的无监督目标的影响。
2020-11-17 cs.AI cs.CL
Graph-based hierarchical record clustering for unsupervised entity resolution
University of Arkansas at Little Rock(阿肯色大学小石城分校)
本文研究了无监督实体分辨中的匹配记录聚类问题。我们建立在一个国家的最先进的概率框架命名的数据清洗机(DWM)。我们引入了一个基于图形的分层2步记录聚类方法(GDWM),首先确定大的,连接的组件,或者,我们称之为软集群在匹配的记录对使用基于图形的传递闭包算法中使用的DWM。其次是打破了发现的软集群到更精确的实体集群,在层次化的方式,使用一个适应的基于图的模块化优化方法。我们的方法提供了几个优势,在原来的实施的DWM,主要是一个显着的速度加快,提高精度,并整体增加F1分数。我们使用多个合成数据集上的实验来证明我们的方法的有效性。我们的研究结果还提供了证据的效用,图论为基础的算法,尽管它们的稀疏性在文献中的无监督实体决议。
2021-12-12 cs.CL cs.DB
50 Ways to Bake a Cookie: Mapping the Landscape of Procedural Texts
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
网络上充满了各种各样任务的指导,从给汽车换油到烤苹果派。然而,由于内容是独立创建的,因此单个任务可能有数千个相应的过程文本。这使得用户很难看到更大的画面,并理解可以完成任务的多种方式。在这项工作中,我们提出了一个无监督学习的方法总结成一个直观的图形表示多个程序的文本,让用户可以轻松地探索共性和差异。我们展示了我们的方法上的食谱,程序文本的一个突出的例子。用户研究表明,我们的表示是直观和连贯的,它有可能帮助用户完成几项感官构建任务,包括为新手厨师调整食谱,并找到创造性的方法来调味。
2022-10-31 cs.AI cs.CL
GraphTMT: Unsupervised Graph-based Topic Modeling from Video Transcripts
Technical University of Munich(慕尼黑工业大学);Imperial College London(伦敦帝国理工学院);University of Augsburg(奥格斯堡大学)
为了展现每天上传到社交媒体平台的大量多媒体数据,需要有效的主题建模技术。现有的工作倾向于将主题模型应用于书面文本数据集。在本文中,我们提出了一个主题提取器的视频成绩单。通过基于图的聚类利用神经词嵌入,我们的目标是提高可用性和语义一致性。与大多数主题模型不同,这种方法在不知道主题的真实数量的情况下工作,当不能或不应该做出这样的假设时,这一点很重要。在现实生活中的多模态数据集MuSe-CaR上的实验结果表明,我们的方法GraphTMT提取了连贯和有意义的主题,并优于基线方法。此外,我们成功地证明了我们的方法在流行的Citysearch语料库的适用性。
2021-10-28 cs.CL cs.MM
CycleGT: Unsupervised Graph-to-Text and Text-to-Graph Generation via Cycle Training
Fudan University(复旦大学);Amazon Shanghai AI Lab(亚马逊上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学)
知识图谱和自然语言处理交叉的两个重要任务是图到文本(G2 T)和文本到图(T2 G)转换。由于数据汇集的难度和高成本,这两个领域可用的监督数据通常在数万量级,例如预处理后的WebNLG~2017数据集为18 K,远远少于机器翻译等其他任务的数百万数据。因此,G2 T和T2 G的深度学习模型在很大程度上受到缺乏训练数据的影响。我们提出了CycleGT,这是一种无监督的训练方法,可以从完全非并行的图形和文本数据中引导,并在两种形式之间迭代反向转换。在WebNLG数据集上的实验表明,我们在相同数量的数据上训练的无监督模型的性能与几个完全监督模型相当。在非并行GenWiki数据集上的进一步实验验证了我们的方法在无监督基线中表现最好。这验证了我们的框架是克服G2 T和T2 G领域数据稀缺问题的有效方法。我们的代码可在https://github.com/QipengGuo/CycleGT上获得。
2020-12-09 cs.AI cs.CL cs.LG
Embedding Words in Non-Vector Space with Unsupervised Graph Learning
Yandex;National Research University Higher School of Economics(俄罗斯国立高等经济研究大学);Moscow Institute of Physics and Technology(莫斯科物理技术学院);University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学)
它已经成为将单词表示为向量空间元素的事实标准(word2vec,GloVe)。虽然这种方法很方便,但它对语言来说是不自然的:单词形成一个具有潜在层次结构的图形,而这种结构必须通过词嵌入来揭示和编码。我们介绍GraphGlove:端到端学习的无监督图形单词表示。在我们的设置中,每个单词是加权图中的一个节点,单词之间的距离是对应节点之间的最短路径距离。我们采用了一种最近的方法,以可微加权图的形式学习数据的表示,并使用它来修改GloVe训练算法。我们表明,我们的基于图形的表示大大优于基于矢量的方法在单词相似性和类比任务。我们的分析表明,学习图的结构是分层的,类似于WordNet,几何是高度非平凡的,并包含不同的局部拓扑结构的子图。
2020-10-06 cs.CL cs.LG
Epicure: Navigating the Emergent Geometry of Food Ingredient Embeddings
本文提出Epicure,一种基于三兄弟skip-gram模型重新训练的食品成分嵌入方法,通过多语言食谱语料库构建了包含1790个标准成分的嵌入模型,并通过三种不同的随机游走方案生成了不同侧重的模型。
2026-05-21 cs.AI cs.CL cs.CY
Efficient Variational Graph Autoencoders for Unsupervised Cross-domain Prerequisite Chains
Yale University(耶鲁大学)
先决条件链学习有助于人们有效地获取新知识。虽然人们可以快速确定一个领域中概念的学习路径,但在其他领域中找到这样的路径可能具有挑战性。我们引入了域对抗变分图自动编码器(DAVGAE)来有效地解决这个跨域先决条件链学习任务。我们的新模型由一个变分图自动编码器(VGAE)和一个域编码器。VGAE被训练为通过链接预测来预测概念关系,而领域标注器将源和目标领域数据作为输入并被训练为预测领域标签。最重要的是,该方法只需要简单的齐次图作为输入,与目前的最先进的模型相比。我们在LectureBankCD数据集上对我们的模型进行了评估,结果表明,我们的模型优于最近的基于图的基准测试,而仅使用1/10的图规模和1/3的计算时间。
2021-10-30 cs.CL cs.LG
SummPip: Unsupervised Multi-Document Summarization with Sentence Graph Compression
Monash University(莫纳什大学);Deakin University(迪肯大学);Shandesitong
获取多文档摘要(MDS)的训练数据是耗时和资源密集型的,所以最近的神经模型只能在有限的领域进行训练。在本文中,我们提出了SummPip:一种用于多文档摘要的无监督方法,在该方法中,我们将原始文档转换为句子图,同时考虑语言和深度表示,然后应用谱聚类来获得多个句子聚类,最后压缩每个聚类以生成最终摘要。在Multi-News和DUC-2004数据集上的实验表明,我们的方法与以前的无监督方法相比具有竞争力,甚至可以与神经监督方法相媲美。此外,人类的评价表明,我们的系统产生一致和完整的摘要相比,人类的书面。
2020-07-20 cs.CL cs.IR cs.LG
Unsupervised Task Graph Generation from Instructional Video Transcripts
LG AI Research(LG人工智能研究院);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
本研究针对教学视频转录文本的真实活动任务图生成问题,提出结合指令调优语言模型推理与聚类排序的无监督方法,在ProceL、CrossTask数据集上表现优于有监督方法。
2023-05-02 cs.AI cs.CL cs.LG
BP-Seg: A graphical model approach to unsupervised and non-contiguous text segmentation using belief propagation
LinkedIn Corporation(领英公司)
本文提出基于置信传播的图模型无监督文本分割方法BP-Seg,兼顾局部连贯性与远距离语义相似性,实验验证其优于现有方法。
2025-09-25 cs.AI cs.CL cs.LG
Unsupervised Hierarchical Grouping of Knowledge Graph Entities
Data Science Institute(数据科学研究所);Insight Centre for Data Analytics(洞察数据分析中心);National University of Ireland Galway(爱尔兰国立高威大学)
知识图谱在学术界和工业界引起了广泛的关注。尽管它们很有用,但流行的知识图谱遭受信息不完整的困扰,特别是在它们的类型断言中。这鼓励了自动发现实体类型的研究。在此背景下,开发了多项工作来利用本体上的逻辑推理和统计机器学习方法来学习知识图谱中的类型断言。然而,这些方法在噪声数据上的性能有限,可扩展性有限,并且依赖于标记的训练样本。在这项工作中,我们提出了一种新的无监督的方法,学习分类实体到一个层次结构的命名组。我们表明,我们的方法是能够有效地学习实体组使用一个可扩展的程序在嘈杂和稀疏的数据集。我们在一组流行的知识图谱基准测试数据集上实验了我们的方法,并发布了结果组层次结构的集合。
2019-08-20 cs.AI cs.CL cs.IR
Matroids Hitting Sets and Unsupervised Dependency Grammar Induction
Dept of Computer Science, Univ of British Columbia(不列颠哥伦比亚大学计算机科学系);Systems Biology Dept, Harvard Medical School(哈佛医学院系统生物学系);Dept of Computer Science, MIT(麻省理工学院计算机科学系);Google(谷歌)
本文提出了一个新的图问题:在一个全连通图中求最小边子集,使得所得到的图包含一组指定子图的所有生成树。这种提法的动机是一个无监督的语法归纳问题,从计算语言学。我们提出了一个减少一些已知的问题和算法从图论,提供计算复杂性的结果,并描述了一个近似算法。
2017-07-15 cs.CL cs.DM cs.DS
Auto-Encoding Knowledge Graph for Unsupervised Medical Report Generation
Peking University(北京大学);Yale University(耶鲁大学);Tencent(腾讯);University of Washington(华盛顿大学)
医学报告生成是针对给定的医学图像自动生成长而连贯的报告的一种方法,已经受到越来越多的研究兴趣。现有的方法主要采用监督的方式,严重依赖于耦合的图像报告对。然而,在医学领域,构建大规模的图像-报告配对数据集既耗时又昂贵。为了放松对配对数据的依赖,我们提出了一个无监督模型知识图谱自动编码器(KGAE),它接受独立的图像和报告集的训练。KGAE由一个预先构造的知识图谱、一个知识驱动的编码器和一个知识驱动的解码器组成。知识图谱作为共享的潜在空间来桥接视觉域和文本域;知识驱动的编码器将医学图像和报告投影到该潜在空间中的相应坐标,并且知识驱动的解码器在该空间中给定坐标的情况下生成医学报告。由于知识驱动的编码器和解码器可以用独立的图像和报告集进行训练,因此KGAE是无监督的。实验表明,无监督KGAE生成理想的医疗报告,而不使用任何图像报告训练对。此外,KGAE还可以在半监督和监督设置下工作,并在训练中接受配对的图像和报告。通过对图像-报告对的进一步微调,KGAE在两个数据集上的表现始终优于当前最先进的模型。
2021-11-15 cs.AI cs.CL cs.CV
Extracting information from free text through unsupervised graph-based clustering: an application to patient incident records
Imperial College London(帝国理工学院);Department of Mathematics, Imperial College London, UK(帝国理工学院数学系);Department of Computing, Imperial College London, UK(帝国理工学院计算机系);Department of Surgery & Cancer, Imperial College London, UK(帝国理工学院外科与癌症系);Department of Chemistry, Imperial College London, UK(帝国理工学院化学系)
由于缺乏提取可解释内容的方法,电子医疗记录中的大量文本通常未得到充分利用。在这里,我们提出了一个无监督的框架,结合文本嵌入段落向量和图论多尺度社区发现的自由文本的分析。我们从英国国家卫生服务系统的患者事件报告语料库中分析文本,以无监督的方式和不同分辨率找到基于内容的报告集群。我们的无监督方法提取具有高内在文本一致性的组,并与医疗保健人员手工编码的类别进行比较。我们还展示了如何使用我们的内容驱动的集群,以提高基于报告文本的事件的危害程度的监督预测。最后,我们讨论了未来的方向,以监测报告随着时间的推移,并检测新出现的趋势以外的预先存在的类别。
2019-08-31 cs.CL cs.IR cs.LG