TopiCLEAR: Adaptive embedding clustering for interpretable topic discovery from short texts
Graduate School of Frontier Sciences, The University of Tokyo Chiba, Japan(前沿科学研究生院,东京大学千叶分校);Mathematics and Informatics Center, The University of Tokyo Tokyo, Japan(数学与信息学中心,东京大学东京分校)
TopiCLEAR通过聚类嵌入与自适应降维方法,提升社交媒体文本的主题提取准确性和可解释性。
2026-08-28 cs.CL
Adaptive Graph Refinement and Label Propagation with LLMs for Cost-Effective Entity Resolution
Hong Kong Baptist University(香港 Baptist 大学);Zhejiang University(浙江大学)
提出Alper框架,通过迭代概率标签传播整合匹配与聚类,自适应融合图传播弱信号与LLM强查询,在预算约束下最大化边际增益,实现高效实体解析。
2026-05-25 cs.AI cs.CL
Large Language Models and Knowledge Graphs for Astronomical Entity Disambiguation
本文提出结合GPT-4与Leiden图聚类,对天文文本中的实体进行关系抽取、知识图谱构建与消歧,验证了该方法在实体识别和聚类分组上的有效性。
2024-06-17 astro-ph.IM cs.CL
PRISM: LLM-Guided Semantic Clustering for High-Precision Topics
New York University(纽约大学);Binghamton University(宾汉姆顿大学)
PRISM结合LLM的丰富表示与低成本可解释的潜在语义聚类方法,通过稀疏LLM标签微调句子编码模型,提升主题分离度,适用于多语料库的高精度主题发现。
2026-04-03 cs.CL cs.IR cs.LG
From Entity Mentions to Tone: An LLM-Based Pipeline for Media Bias Analysis
University of Tirana(地拉那大学)
该研究提出一种基于大语言模型的媒体偏见分析流水线,对8358篇阿尔巴尼亚新闻文章开展实验,验证了其在偏见分析中的有效性,适用于手动验证数据集或专用语言工具有限的场景。
2026-08-19 cs.CL
CEIDM: A Controlled Entity and Interaction Diffusion Model for Enhanced Text-to-Image Generation
针对文本到图像生成中实体及交互控制的挑战,提出CEIDM双控扩散模型,通过LLM挖掘实体交互关系、交互动作聚类偏移及实体控制网络,提升图像的实体与交互合理性及质量。
2025-08-25 cs.CL cs.CV
Topics in Contextualised Attention Embeddings
University of Essex(埃塞克斯大学);University of Southampton(南安普顿大学)
通过预先训练的语言模型获得的上下文化的词向量编码已经在应用中被利用的各种知识。这些语言模型的补充是概率主题模型,它从文本中学习主题模式。最近的工作已经表明,进行聚类的词级上下文表示从语言模型模仿词集群中发现的潜在主题的词从潜在狄利克雷分配。重要的问题是,当语言模型没有被明确设计为对潜在主题进行建模时,如何通过聚类在该语言模型中自动形成这样的主题词聚类。为了解决这个问题,我们设计了不同的探针实验。使用BERT和DistilBERT,我们发现注意力框架在建模这样的词主题集群中起着关键作用。我们坚信我们的工作为进一步研究概率主题模型和预训练语言模型之间的关系铺平了道路。
2023-01-11 cs.CL cs.IR
TopExNet: Entity-Centric Network Topic Exploration in News Streams
Heidelberg University(海德堡大学)
最近引入的以实体为中心的隐式网络表示的非结构化文本提供了新的方式来探索文档集合和流中的实体关系,有效地和交互式。在这里,我们将TopExNet作为一种工具,用于探索新闻文章流中以实体为中心的网络主题。该应用程序作为Web服务在https://topexnet.ifi.uni-heidelberg.de/上提供。
2019-05-31 cs.CL
PICLe: Pseudo-Annotations for In-Context Learning in Low-Resource Named Entity Detection
EPFL(洛桑联邦理工学院)
本文提出PICLe框架,利用零样本生成的伪标注示例进行上下文学习,通过聚类、独立预测和自我验证,在无人工标注的低资源命名实体检测中超越传统ICL方法。
2025-04-01 cs.AI cs.CL
Entities as topic labels: Improving topic interpretability and evaluability combining Entity Linking and Labeled LDA
Data and Web Science Group(数据与网络科学组);LATTICE Lab (ENS, CNRS, Paris 3)(LATTICE实验室(巴黎高等师范学院、法国国家科学研究中心、巴黎第三大学));University of Mannheim(曼海姆大学);PSL Research Univ, Sorbonne Paris Cité(巴黎文理研究大学,索邦巴黎西岱大学)
为了创建一个语料库探索方法,提供比标准LDA主题模型更容易解释的主题,在这里,我们提出了两种技术相结合,称为实体链接和标记LDA。我们的方法确定在一个本体的一系列描述性的标签,为每个文件在语料库中。然后它为每个标签生成一个特定的主题。在主题和标签之间建立直接的关系可以使解释更容易;使用本体作为背景知识可以限制标签的歧义。由于我们的主题是用有限数量的明确标签描述的,它们促进了可解释性,这可能有助于定量评估。我们说明了这种方法的潜力,通过应用它,以确定最相关的主题,在欧洲议会的第五个任务(1999年至2004年),由每个政党。
2016-04-26 cs.CL
SentiBubbles: Topic Modeling and Sentiment Visualization of Entity-centric Tweets
University of Porto(波尔图大学)
社交媒体用户在对新闻事件做出反应时倾向于提及实体。这项工作的主要目的是每天创建以实体为中心的推文聚合。通过应用主题建模和情感分析,我们从以实体为中心的角度创建了关于当前事件和人们对这些事件的反应的数据可视化见解。
2018-01-23 cs.CL cs.IR cs.SI
WikiDiverse: A Multimodal Entity Linking Dataset with Diversified Contextual Topics and Entity Types
Fudan University(复旦大学);Alibaba Group(阿里巴巴集团);Shopee(虾皮);Vipshop (China) Co., Ltd.(唯品会(中国)有限公司);Fudan-Aishu Cognitive Intelligence Joint Research Center(复旦-爱数认知智能联合研究中心)
多模态实体链接(MEL),其旨在将具有多模态上下文的提及链接到来自知识库的所指实体(例如,Wikipedia)是许多多模态应用程序的基本任务。尽管MEL受到了广泛的关注,但现有MEL数据集的不足之处,如上下文主题和实体类型有限、提及歧义简化、可用性受限等,给MEL的研究和应用带来了很大的障碍。在本文中,我们提出了WikiDiverse,一个高质量的人类注释MEL数据集与多样化的上下文主题和实体类型从Wikinews,它使用维基百科作为相应的知识库。一个精心定制的注释程序,以确保数据集的质量。基于WikiDiverse,实现了一系列具有模态内和模态间关注的MEL模型,这些模型比现有的MEL模型更充分地利用了图像的视觉信息。通过大量的实验分析,探讨了不同模态对最大似然估计的贡献,为今后的研究提供了参考。数据集和基线模型可在https://github.com/wangxw5/wikiDiverse上获得。
2022-04-13 cs.CL
ConCET: Entity-Aware Topic Classification for Open-Domain Conversational Agents
Emory University(埃默里大学)
在开放域会话系统中识别每个用户话语的主题(域)是所有后续语言理解和响应任务的关键步骤。特别地,对于复杂域,话语通常被路由到负责该域的单个组件。因此,正确地将用户话语映射到正确的域是至关重要的。为了解决这个问题,我们引入了ConCET:一个并发的可信度感知的会话主题分类器,它将实体类型信息与话语内容特征结合在一起。具体来说,ConCET利用实体信息来丰富话语表示,将字符,单词和实体类型嵌入到单个表示中。然而,对于具有数百万个可用实体的丰富域,将需要不切实际的标记训练数据量。为了补充我们的模型,我们提出了一个简单而有效的方法,用于生成合成训练数据,以增加通常有限数量的标记训练数据,使用常用的知识库,以生成额外的标记话语。我们首先在一个名为Self-Dialogue的公开可用的人与人对话数据集上广泛评估ConCET和我们提出的训练方法,以根据以前最先进的方法校准我们的方法;其次,我们在与真实用户进行人机对话的大型数据集上评估ConCET,作为Amazon Alexa Prize的一部分收集。我们的研究结果表明,ConCET显著提高了两个数据集上的主题分类性能,包括比最先进的深度学习方法提高了8-10%。我们补充我们的定量结果与系统性能的详细分析,这可用于进一步改进的会话代理。
2020-05-28 cs.CL
Coherent Entity Disambiguation via Modeling Topic and Categorical Dependency
Rice University(莱斯大学);Duke University(杜克大学);Microsoft STCA(微软STCA)
针对现有实体消歧方法话语层面依赖捕捉不足、预测连贯性差的问题,提出融合VAE主题提取与外部类别存储器的CoherentED系统,在主流基准上取得SOTA结果,长文本场景表现优异。
2023-11-06 cs.AI cs.CL
Leveraging Deep Neural Networks and Knowledge Graphs for Entity Disambiguation
Rensselaer Polytechnic Institute(伦斯勒理工学院);Google Research(谷歌研究院)
实体消歧旨在将模糊实体的提及链接到知识库(例如,Wikipedia).主题连贯性的建模是至关重要的这项任务的基础上,假设来自相同的语义背景下的信息往往属于同一主题。提出了一种基于深度神经网络和语义知识图谱的深度语义相关度模型(DSRM)来度量实体语义相关度,用于主题一致性建模。DSRM直接在大规模KG上训练,它将实体的异构类型的知识从KG映射到潜在空间中的数值特征向量,使得两个语义相关实体之间的距离最小化。与Milne and Witten,2008 a提出的最新相关性方法相比,DSRM在两个公开数据集上的实体消歧错误分别减少了19.4%和24.5%。
2015-04-28 cs.CL
Cross-lingual Named Entity Corpus for Slavic Languages
Polish Academy of Sciences(波兰科学院);Samurai Labs(武士实验室);University of Helsinki(赫尔辛基大学)
本文构建涵盖六种斯拉夫语言、5017份文档和五类实体的跨语言命名实体语料库,并基于XLM-RoBERTa-large与mT5-large建立识别、分类、词元还原及链接基准。
2024-04-07 cs.AI cs.CL cs.LG
FewTopNER: Integrating Few-Shot Learning with Topic Modeling and Named Entity Recognition in a Multilingual Framework
High School of Technology Salé(萨莱高等技术学院);Mohammed V University in Rabat(拉巴特穆罕默德五世大学)
FewTopNER 提出一种融合少样本 NER 与主题建模的多语言框架,通过共享编码器和跨任务双向注意力机制增强实体消歧,在五种语言基准上显著提升 F1 分数与主题连贯性。
2025-02-04 cs.AI cs.CL
Injecting Entity Types into Entity-Guided Text Generation
University of Notre Dame(圣母大学);Microsoft Cognitive Services Research(微软认知服务研究院)
最近在深度生成建模方面的成功导致了自然语言生成(NLG)的重大进展。通过帮助推断摘要主题和生成连贯的内容,将实体转换为神经生成模型已经证明了很大的改进。为了增强实体在自然语言生成中的作用,本文提出在解码阶段对实体类型进行建模,以准确生成上下文词语。我们开发了一种新的NLG模型,根据给定的实体列表产生靶序列。我们的模型有一个多步骤的解码器,将实体类型注入到实体提及生成的过程中。在两个公共新闻数据集上的实验表明,类型注入的性能优于现有的类型嵌入串联基线。
2021-09-07 cs.CL cs.LG
Entity Labels Are Not Entity Signals: A Framework for Observable Relevance in Document Re-Ranking
Department of Computer Science, Missouri University of Science and Technology(计算机科学系,密苏里科技大学)
提出实体可观测相关性(OER)与概念相关性(CER)的区分,证明CER监督效果差,而OER对齐可显著提升重排序性能。
2026-06-16 cs.AI cs.CL cs.IR
Cross-lingual Knowledge Graph Alignment via Graph Matching Neural Network
Tencent AI Lab(腾讯人工智能实验室);IBM T.J. Watson Research(IBM托马斯·J·沃森研究中心);Peking University(北京大学);Amazon AWS(亚马逊云科技)
以前的跨语言知识图谱(KG)对齐研究依赖于仅从单语KG结构信息导出的实体嵌入,这可能无法匹配两个KG中具有不同事实的实体。在本文中,我们引入了主题实体图,一个实体的局部子图,以表示与他们的上下文信息在KG中的实体。从这个角度来看,知识库对齐任务可以制定为一个图匹配问题,我们进一步提出了一个基于图注意力的解决方案,首先匹配两个主题实体图中的所有实体,然后联合建模的本地匹配信息,以获得一个图级匹配向量。实验表明,我们的模型优于以前的国家的最先进的方法由一个大的利润。
2019-07-29 cs.CL cs.LG
Capturing Semantic Similarity for Entity Linking with Convolutional Neural Networks
University of California, Berkeley(加州大学伯克利分校)
实体链接的一个关键挑战是有效利用上下文信息来消除在不同上下文中可能指不同实体的歧义。我们提出了一个模型,该模型使用卷积神经网络来捕获提及的上下文与提议的目标实体之间的语义对应关系。这些卷积网络在多个粒度上运行,以利用各种主题信息,它们丰富的参数化使它们能够学习哪些n-gram表征不同的主题。我们将这些网络与稀疏线性模型相结合,以在多实体链接数据集上实现最先进的性能,优于Durrett和Klein(2014)和Nguyen et al.(2014)的现有系统。
2016-04-04 cs.CL
Custom Named Entity Recognition and Topic Classification for Global Health Publications
University of Geneva(日内瓦大学)
针对全球健康文献在资源受限下的NLP模型选择与调整问题,通过实验比较词向量、实体识别和主题分类方法,揭示了领域专业化与轻量调整的实用价值及Transformer高成本高精度的权衡,为知识系统构建提供实证依据。
2026-09-22 cs.AI cs.CL
Chemical Identification and Indexing in PubMed Articles via BERT and Text-to-Text Approaches
NVIDIA(英伟达)
生物创意VII轨道2挑战包括命名实体识别、实体链接(或实体规范化)和主题索引任务--实体和主题仅限于该挑战的化学品。命名实体识别是一个公认的问题,我们实现了我们的最佳性能与BERT为基础的BioMegatron模型。我们扩展我们的BERT为基础的方法的实体链接任务。在使用称为自对齐预训练(SAP)的度量学习损失策略预训练BioBERT的第二阶段之后,我们根据其SAP-BioBERT词嵌入之间的余弦相似性来链接实体。尽管我们的命名实体识别实验取得了成功,但我们发现化学索引任务通常更具挑战性。除了传统的NER方法,我们尝试命名实体识别和实体链接与一种新的文本到文本或“提示”为基础的方法,使用生成语言模型,如T5和GPT。我们采用这种新方法取得了令人鼓舞的成果。
2021-11-30 cs.CL
Resume Evaluation through Latent Dirichlet Allocation and Natural Language Processing for Effective Candidate Selection
Sardar Patel Institute of Technology(萨达尔·帕特尔技术学院)
本文提出一种基于LDA和SpaCy命名实体识别的简历评分方法,通过提取实体并分配主题概率实现内容驱动的评估,在考虑所有属性时准确率达82%。
2023-07-28 cs.CL cs.LG
CLIMATELI: Evaluating Entity Linking on Climate Change Data
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文提出首个气候变化实体链接数据集CLIMATELI,包含3087个链接到维基百科的实体片段,并评估现有实体链接系统在该数据上的表现,发现模型性能明显落后于人类,同时提出CC实体自动过滤方法。
2024-06-27 cs.CL
Cluster-based Mention Typing for Named Entity Disambiguation
Boğaziçi University(博阿齐奇大学)
本文提出基于聚类的提及类型标注方法,利用维基百科上下文聚类生成类型,辅助命名实体消歧,在多个测试集上达到或超越最先进水平。
2021-09-23 cs.CL
Clustering-based Inference for Biomedical Entity Linking
College of Information and Computer Sciences University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校信息与计算机科学学院);Chan Zuckerberg Initiative(陈-扎克伯格倡议)
由于生物医学知识库中存在大量的实体,只有一小部分实体具有相应的标记训练数据。这就需要实体链接模型,这些模型能够使用学习到的实体表示来链接提到的不可见实体。以前的方法独立地链接每个提及,忽略了实体提及之间的文档内和跨文档的关系。这些关系对于生物医学文本中的链接提及非常有用,其中链接决定通常很困难,因为提及具有通用或高度专业化的形式。在本文中,我们介绍了一个模型,在该模型中,不仅可以通过链接到一个知识库实体,但也通过分组多个提到一起,通过聚类和共同作出链接预测的链接决策。在最大的公开生物医学数据集上的实验中,我们将实体链接的最佳独立预测提高了3.0个点的准确性,并且我们基于聚类的推理模型进一步提高了实体链接2.3个点。
2021-04-08 cs.CL
A Named Entity Recognition and Topic Modeling-based Solution for Locating and Better Assessment of Natural Disasters in Social Media
University of Engineering and Technology(工程技术大学);Abbasyn University(阿巴西恩大学);University of Western Australia(西澳大学);Munster Technological University Cork(芒斯特理工大学科克分校)
本文提出一种三步解决方案,通过相关帖子分类、命名实体识别提取位置信息以及 BERTopic 主题建模,提升社交媒体中自然灾害信息的定位与评估能力。
2024-05-01 cs.CL
Query-Specific Knowledge Graphs for Complex Finance Topics
University of Glasgow(格拉斯哥大学)
在整个金融领域,研究人员通过广泛“搜索”相关信息来回答复杂的问题,以生成长格式报告。本研讨会论文讨论了为复杂的研究主题自动构建特定于查询的文档和实体知识图谱(KG)。我们专注于CODEC数据集,领域专家(1)创建具有挑战性的问题,(2)构建长自然语言叙述,(3)迭代搜索和评估文档和实体的相关性。对于特定查询KG的建设,我们表明,国家的最先进的排名系统有改进的空间,由于缺乏上下文或明确的知识表示的具体故障。我们证明了实体和文档相关性是正相关的,基于实体的查询反馈提高了文档排序的有效性。此外,我们构建查询特定的KG使用检索和评估使用CODEC的“地面实况图”,显示精度和召回的权衡。最后,我们指出了未来的工作,包括自适应KG检索算法和基于GNN的加权方法,同时强调了关键的挑战,如高质量的数据,信息抽取召回,以及复杂主题图的大小和稀疏性。
2022-11-08 cs.CL cs.IR
COTET: Cross-view Optimal Transport for Knowledge Graph Entity Typing
School of Computer and Information, Shanxi University(山西大学计算机与信息学院);School of Computer Science and Informatics, Cardiff University(卡迪夫大学计算机科学与信息学院);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
针对知识图谱实体类型推断,提出跨视图最优传输方法COTET,融合粗粒度聚类与细粒度类型知识,通过多视图编码、最优传输对齐和混合池化预测,有效提升推断性能。
2024-05-22 cs.AI cs.CL cs.LG
$M^3EL$: A Multi-task Multi-topic Dataset for Multi-modal Entity Linking
Peking University(北京大学);Advanced Institute of Big Data, Beijing(北京大数据研究院);National University of Defense Technology(国防科技大学);Xinjiang University(新疆大学)
针对现有多模态实体链接数据集规模小、任务与主题覆盖不足的问题,本文构建大规模多任务多主题数据集 $M^3EL$,并提出模态增强训练策略,显著提升 CLIP_ND 的跨任务准确率。
2024-10-08 cs.AI cs.CL cs.CV
Graph-based hierarchical record clustering for unsupervised entity resolution
University of Arkansas at Little Rock(阿肯色大学小石城分校)
本文研究了无监督实体分辨中的匹配记录聚类问题。我们建立在一个国家的最先进的概率框架命名的数据清洗机(DWM)。我们引入了一个基于图形的分层2步记录聚类方法(GDWM),首先确定大的,连接的组件,或者,我们称之为软集群在匹配的记录对使用基于图形的传递闭包算法中使用的DWM。其次是打破了发现的软集群到更精确的实体集群,在层次化的方式,使用一个适应的基于图的模块化优化方法。我们的方法提供了几个优势,在原来的实施的DWM,主要是一个显着的速度加快,提高精度,并整体增加F1分数。我们使用多个合成数据集上的实验来证明我们的方法的有效性。我们的研究结果还提供了证据的效用,图论为基础的算法,尽管它们的稀疏性在文献中的无监督实体决议。
2021-12-12 cs.CL cs.DB
Improving Entity Linking by Modeling Latent Entity Type Information
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research Asia(微软亚洲研究院);Peng Cheng Laboratory(鹏城实验室)
现有技术的神经实体链接模型采用基于注意力的词袋上下文模型和从词嵌入引导的预训练实体嵌入来评估主题级上下文兼容性。然而,在提到的直接上下文中的潜在实体类型信息被忽略,这导致模型往往链接到不正确的实体与不正确的类型。为了解决这个问题,我们提出了基于预训练的BERT的实体嵌入注入潜在的实体类型信息。此外,我们将基于BERT的实体相似性得分集成到最先进模型的局部上下文模型中,以更好地捕获潜在的实体类型信息。我们的模型显着优于国家的最先进的实体链接模型的标准基准(AIDA-CoNLL)。详细的实验分析表明,我们的模型纠正了直接基线产生的大部分类型错误。
2020-01-06 cs.CL
ClusterEA: Scalable Entity Alignment with Stochastic Training and Normalized Mini-batch Similarities
Zhejiang University(浙江大学);Aalborg University(奥尔堡大学)
实体对齐的目的是在不同的知识图谱中找到等价的实体。基于嵌入的方法近年来主导了EA任务。这些方法面临的问题来自嵌入向量的几何属性,包括hubness和隔离。为了解决这些几何问题,许多归一化方法已被采用的EA。然而,越来越大的规模的KG渲染EA模型很难采用规范化过程,从而限制了它们在现实世界中的应用。为了应对这一挑战,我们提出了ClusterEA,这是一个通用框架,能够通过利用具有高实体等效率的小批量标准化方法来扩展EA模型并增强其结果。QuantiterEA包含三个组件来对齐大规模KG之间的实体,包括随机训练,QuantiterSampler和SparseFusion。它首先以随机的方式为EA训练一个大规模的Siamese GNN,以产生实体嵌入。在此基础上,提出了一种新的用于高度重叠小批量采样的随机采样器策略。最后,QuarterEA结合了SparseFusion,它对局部和全局相似性进行归一化,然后融合所有相似性矩阵以获得最终的相似性矩阵。在EA基准测试上使用真实数据集进行的广泛实验提供了对所提出的框架的深入了解,并表明它能够在Hits@1方面超过最先进的可扩展EA框架多达8倍。
2022-06-06 cs.AI cs.CL cs.DB
Entity Commonsense Representation for Neural Abstractive Summarization
Yonsei University(延世大学)
文本摘要的主要部分包括在原始文本中找到的重要实体。这些实体构成了摘要的主题。此外,一旦它们与知识库相关联,它们就拥有常识信息。基于这些观察,本文研究了链接实体的使用,以指导神经文本摘要器的解码器生成简洁和更好的摘要。为此,我们利用一个现成的实体链接系统(ELS)提取链接的实体,并提出一个模块,很容易附加到一个序列到序列的模型,将一个列表的实体转换成一个向量表示的主题的摘要。目前可用的ELS仍然不够有效,可能会引入未解决的模糊性和不相关的实体。我们解决了ELS的缺陷(a)编码实体与选择性消歧,和(b)池实体向量使用公司的注意力。通过将E2T应用于以注意力机制为基础模型的简单序列到序列模型,我们看到Gigaword(句子到标题)和CNN(长文档到多句突出显示)摘要数据集的性能至少有2个ROUGE点的显着改善。
2018-06-14 cs.CL
XREF: Entity Linking for Chinese News Comments with Supplementary Article Reference
Northeastern University(东北大学);ByteDance AI Lab(字节跳动人工智能实验室);Alibaba Group(阿里巴巴集团)
自动识别社交媒体帖子中提到的实体有助于快速消化热门话题和流行观点。尽管如此,由于有限的背景和不同的名称变化,这仍然是一项具有挑战性的任务。本文研究了中文新闻评论在提及跨度一定的情况下的实体链接问题。我们假设评论通常指的是相应新闻文章中的实体,以及涉及实体的主题。因此,我们提出了一个新的模型,XREF,利用注意力机制(1)查明相关的评论中的上下文,(2)检测支持实体的新闻文章。为了改进训练,我们做了两个贡献:(a)除了标准的交叉熵之外,我们还提出了一个监督的注意力损失,以及(b)我们开发了一个弱监督的训练方案来利用大规模的未标记语料库。在娱乐和产品领域的两个新的数据集收集和注释的实验。我们提出的方法在这两个数据集上都优于以前的方法。
2020-06-24 cs.CL
Clustering-based Unsupervised Generative Relation Extraction
Virginia Tech(弗吉尼亚理工大学);Adobe Research(Adobe研究)
本文主要研究无监督关系抽取问题。现有的基于概率生成模型的关系提取方法通过提取句子特征并使用这些特征作为训练生成模型的输入来工作。然后,该模型用于聚类相似关系。然而,这些方法在训练过程中没有考虑具有相同实体对的句子之间的相关性,这可能会对模型性能产生负面影响。为了解决这个问题,我们提出了一个基于无监督生成关系抽取(CURE)框架,利用"编码器-解码器"架构来执行自监督学习,因此编码器可以提取关系信息。给定具有相同实体对的多个句子作为输入,通过预测其中一个句子的依赖图上的实体对之间的最短路径来部署自监督学习。之后,我们使用经过良好训练的编码器提取关系信息。然后,共享相同关系的实体对基于其对应的关系信息进行聚类。每个聚类基于与每个聚类中的实体对相对应的最短路径中的词用几个词来标记。这些聚类标签还描述了这些关系聚类的含义。我们比较了我们提出的框架(CURE)和基线方法与地面真理知识库提取的三胞胎。实验结果表明,我们的模型在纽约时报(NYT)和联合国平行语料库(UNPC)标准数据集上的性能优于最先进的模型。
2020-09-26 cs.CL cs.LG stat.ML
Improving Coreference Resolution by Learning Entity-Level Distributed Representations
Stanford University(斯坦福大学)
共指消解中的一个长期存在的挑战是实体级信息的整合,实体级信息是指在提及集群而不是提及对上定义的特征。我们提出了一个基于神经网络的共指系统,产生高维向量表示的共指集群对。使用这些表示,我们的系统可以学习何时需要组合集群。我们训练系统学习搜索算法,教它的本地决策(集群合并)将导致一个高得分的最终共指分区。该系统在CoNLL 2012共享任务数据集的英语和中文部分上的表现远远优于当前最先进的技术,尽管使用了很少的手工设计功能。
2016-06-08 cs.CL
Review Based Entity Ranking using Fuzzy Logic Algorithmic Approach: Analysis
意见挖掘,也称为情感分析,是分析人们对产品、服务、组织、个人、问题、事件、主题及其属性等实体的意见、情感、评价、评价、态度和情感的研究领域。基于词典的整体方法不考虑每个观点的强度,即,该意见是非常强烈的负面(或正面)、强烈的负面(或正面)、中等的负面(或正面)、非常弱的负面(或正面)和弱的负面(或正面)。在本文中,我们提出的方法来排名实体的方向和强度的基础上的实体评论和用户的查询,通过将它们在粒度级别(即非常弱,弱,中等,非常强和强)相结合的意见词(即副词,形容词,名词和动词),涉及到某些产品的兴趣方面。我们将使用模糊逻辑算法的方法,以便将意见词分为不同的类别和句法依赖决议,以找到所需的方面的话的关系。与感兴趣的某些方面相关的意见词被认为是在评论中找到该方面的实体分数。
2025-10-27 cs.CL cs.LG
Clustering-based Automatic Construction of Legal Entity Knowledge Base from Contracts
Hyperlex;INRIA(法国国家信息与自动化研究所)
在合同分析和合同自动化中,法律实体的知识库(KB)是执行合同验证、合同生成和合同分析等任务的基础。然而,这样的知识库并不总是存在,也不能在短时间内产生。在本文中,我们提出了一个基于聚类的方法来自动生成一个可靠的法律实体的知识库,从给定的合同没有任何补充参考。所提出的方法是鲁棒的预处理,如光学字符识别(OCR)和命名实体识别(NER)所带来的不同类型的错误,以及编辑错误,如错别字。我们在一个数据集上评估了我们的方法,该数据集由来自15个客户的800份具有各种质量的真实合同组成。与收集的地面真实数据相比,我们的方法能够回忆84%的知识。
2020-12-07 cs.AI cs.CL cs.DS
Generalized knowledge-enhanced framework for biomedical entity and relation extraction
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对生物医学文本复杂、出版物增长快的问题,该研究提出一种知识增强框架,借鉴人类学习机制构建可迁移的通用神经网络知识图谱,在生物医学实体与关系抽取任务的多个基准上取得有竞争力的性能。
2024-08-13 cs.AI cs.CL cs.IR
Detecting Potential Topics In News Using BERT, CRF and Wikipedia
Dailyhunt(每日猎讯)
对于Dailyhunt这样的新闻内容分发平台,命名实体识别是构建更好的用户推荐和通知算法的关键任务。除了从13种以上的印度语言的新闻中识别名称,位置,组织并在算法中使用它们之外,我们还需要识别不一定适合命名实体定义的n元语法,但它们很重要。例如,“我也是运动”、“牛肉禁令”、“alwar暴民私刑”。在这个练习中,给定一个英语文本,我们试图检测传达重要信息并可用作新闻主题和/或主题标签的无大小写n元语法。模型的建立使用维基百科的标题数据,私人英语新闻语料库和BERT多语言预训练模型,Bi-GRU和CRF架构。与行业最佳的Flair,Spacy和Stanford-caseless-NER相比,它在F1,特别是Recall方面显示出令人鼓舞的结果。
2020-02-28 cs.CL
Effective extractive summarization using frequency-filtered entity relationship graphs
Pune Institute of Computer Technology(浦那计算机技术学院);University of Pune(浦那大学);Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
基于词频的提取摘要方法易于实现,并在不同语言中产生合理的结果。然而,它们有很大的局限性-它们忽略了上下文的作用,它们在文档中提供了不均匀的主题覆盖,有时是脱节的,难以阅读。我们使用语言类型学的一个简单前提-英语句子是实体之间潜在相互作用的完整描述符,通常以主语-动词-宾语的顺序-来解决这些困难的一个子集。我们已经开发出一种混合模型的提取摘要,结合词频的关键字识别与信息自动生成的实体关系图,以选择句子摘要。与词频和主题词为基础的方法的比较评价表明,所提出的方法是传统的ROUGE标准的竞争力,并产生适度的信息摘要平均,由一个大的面板(N=94)的人类评分。
2018-10-24 cs.AI cs.CL cs.IR
Multi-view Contrastive Learning for Entity Typing over Knowledge Graphs
Shanxi University(山西大学);Cardiff University(卡迪夫大学);University of Edinburgh(爱丁堡大学)
本文提出MCLET方法,通过多视图生成编码、跨视图对比学习和混合专家预测模块,将聚类粗粒度知识融入实体与类型表示,有效推断知识图谱中缺失的实体类型,性能优于现有方法。
2023-10-18 cs.AI cs.CL
On Entity Identification in Language Models
Tohoku University(东大大学);RIKEN(日本研究机构);NINJAL(日本国家情报机构);Langsmith Inc.(Langsmith公司);MBZUAI
本文通过聚类分析量化语言模型内部表征对命名实体的识别与区分能力,发现实体信息在早期层以低维线性子空间紧凑表示,并揭示了实体表征特性对词语预测的影响。
2025-07-20 cs.CL
TopicBERT: A Transformer transfer learning based memory-graph approach for multimodal streaming social media topic detection
University of Tabriz(大不里士大学);Université du Littoral Côte D’Opale(滨海大学)
具有突发短消息的社交网络的实时的性及其各自的大数据规模分布在各种各样的主题中是许多研究者的研究兴趣。被称为大数据的5 'V的社交网络的这些属性导致了许多独特的和启发性的算法和技术应用于大型社交网络数据集和数据流。这些研究中的许多都是基于对热点话题和社交媒体事件的检测和跟踪,这些热点话题和社交媒体事件有助于揭示许多悬而未决的问题。这些算法和某些软件产品主要依赖于语言本身的性质。虽然,其他技术,如无监督数据采掘方法是语言无关的,但许多要求,一个全面的解决方案没有得到满足。许多研究问题,如嘈杂的句子,不利的语法和新的在线用户发明的话是具有挑战性的维护一个良好的社会网络主题检测和跟踪方法,词之间的语义关系,在大多数情况下,同义词也被许多这些研究忽视。在这项研究中,我们使用Transformers结合增量社区发现算法。Transformer一方面提供了不同语境中词与词之间的语义关系;另一方面,所提出的图挖掘技术增强了所产生的主题与简单的结构规则的援助。从多模态数据(图像和文本)中识别命名实体识别,用实体类型标记命名实体,并使用它们调整提取的主题。该系统的所有操作都应用于NoSQL技术下的大社会数据视角。为了提出一个有效的系统化解决方案,我们将MongoDB和Neo4j作为我们工作的两个主要数据库系统。该系统在三个不同的数据集上显示出更高的准确率和召回率。
2020-08-16 cs.CL cs.IR cs.LG
Integrating Document Clustering and Topic Modeling
Carnegie Mellon University(卡内基梅隆大学);Tsinghua University(清华大学)
文档聚类和主题建模是两个密切相关的任务,可以相互受益。主题建模可以将文档投影到一个主题空间中,这有助于有效的文档聚类。通过文档聚类发现的聚类标签可以被合并到主题模型中,以提取特定于每个聚类的局部主题和所有聚类共享的全局主题。在本文中,我们提出了一个多粒度聚类主题模型(MGCTM),它集成了文档聚类和主题建模到一个统一的框架,并共同执行这两项任务,以达到整体最佳性能。该模型将两个组件紧密耦合:用于发现文档集合中潜在组的混合组件和用于挖掘多粒度主题的主题模型组件,其中多粒度主题包括特定于每个簇的局部主题和跨簇共享的全局主题,采用变分推理来近似隐变量的后验,并学习模型参数。在两个数据集上的实验证明了该模型的有效性。
2013-09-26 cs.CL cs.IR cs.LG
Is Neural Topic Modelling Better than Clustering? An Empirical Study on Clustering with Contextual Embeddings for Topics
University of Technology Sydney(悉尼科技大学);Eindhoven University of Technology(埃因霍温理工大学);University of Wollongong(伍伦贡大学)
最近的工作将预训练的词嵌入(如BERT嵌入)纳入神经主题模型(NTM),生成高度连贯的主题。然而,有了高质量的上下文文档表示,我们真的需要复杂的神经模型来获得连贯和可解释的主题吗?在本文中,我们进行了深入的实验表明,直接聚类高质量的句子嵌入与适当的词选择方法可以产生更多的连贯性和多样性的主题比NTM,也实现了更高的效率和简单性。
2022-04-21 cs.CL
ClusTop: An unsupervised and integrated text clustering and topic extraction framework
Hebei University of Technology(河北工业大学);Tianjin Huizhi Xingyuan Information Technology Co.,Ltd.(天津汇智兴元信息技术有限公司)
文本聚类和主题抽取是文本挖掘的两个重要任务。通常,这两个任务是分开执行的。为了便于聚类的主题提取,我们可以首先将文本投影到主题空间中,然后执行聚类算法来获得聚类。为了通过聚类来促进主题提取,我们可以首先使用聚类算法获得聚类,然后提取特定于聚类的主题。然而,这种幼稚的策略忽略了文本聚类和主题提取是密切相关的,并且遵循鸡和蛋的关系。单独执行它们无法使它们相互受益,以实现最佳的整体性能。本文提出了一种无监督文本聚类和主题提取框架(WITTTop),该框架将文本聚类和主题提取集成到一个统一的框架中,能够同时实现高质量的聚类结果和主题提取。我们的框架包括四个部分:增强的语言模型训练,降维,聚类和主题提取,其中增强的语言模型可以被看作是聚类和主题提取之间的桥梁。一方面,它为文本嵌入提供了强聚类结构,有利于有效的文本聚类;另一方面,由于其自关注结构,它高度关注主题相关词以进行主题提取。此外,增强的语言模型的训练是无监督的。在两个数据集上的实验证明了该框架的有效性,并为该框架中不同的模型组合提供了基准。
2023-01-03 cs.CL
Named-Entity Linking Using Deep Learning For Legal Documents: A Transfer Learning Approach
Technische Universität München(慕尼黑工业大学)
在法律领域,重要的是要区分一般的词语,然后将相同实体的出现联系起来。解决这些问题的主题被称为命名实体链接(NEL)。目前为NEL设计的监督神经网络使用公开可用的数据集进行训练和测试。然而,本文特别关注的方面,应用迁移学习方法使用网络训练的NEL法律文件。实验表明,在本研究的范围内,从欧盟法律创建的法律数据集的一致改进。使用迁移学习方法,我们在合法的小型和大型测试数据集上达到了98.90\%和98.01\%的F1分数。
2018-10-15 cs.AI cs.CL cs.LG
Event-Driven News Stream Clustering using Entity-Aware Contextual Embeddings
Amazon AI(亚马逊人工智能);Columbia University(哥伦比亚大学)
我们提出了一种在线新闻流聚类的方法,这是一个变种的非参数流K-means算法。我们的模型使用稀疏和密集文档表示的组合,沿着这些多个表示聚集文档聚类相似性,并使用神经分类器进行聚类决策。加权文档聚类相似性模型学习使用一种新的适应的三重损失成一个线性分类目标。我们表明,在预训练的Transformer模型中使用适当的微调目标和外部知识,可以显着提高聚类的上下文嵌入的有效性。我们的模型实现了一个新的国家的最先进的标准流聚类数据集的英文文档。
2021-01-26 cs.AI cs.CL cs.IR
Refining Dimensions for Improving Clustering-based Cross-lingual Topic Models
Yale University(耶鲁大学);National Sun Yat-sen University(国立中山大学)
针对基于聚类的跨语言主题模型受语言相关维度影响的问题,提出SVD维度细化组件,有效中和负面影响,在三个数据集上优于现有最先进模型。
2024-12-17 cs.CL cs.IR cs.LG
Ultra-Fine Entity Typing with Prior Knowledge about Labels: A Simple Clustering Based Strategy
USST(上海理工大学);CRIL CNRS & Univ. Artois(法国国家科学研究中心里尔信息与自动化研究所 & 阿尔图瓦大学);Cardiff University(卡迪夫大学)
本文提出一种基于聚类的简单策略,利用预训练标签嵌入将标签聚类为语义域作为附加类型并进行后处理,将UFET模型视为黑盒,有效提升了超细粒度实体类型标注的性能。
2023-05-22 cs.AI cs.CL
Tired of Topic Models? Clusters of Pretrained Word Embeddings Make for Fast and Good Topics too!
Johns Hopkins University(约翰斯·霍普金斯大学);Department of Computer Science(计算机科学系);Baltimore, MD, USA(美国马里兰州巴尔的摩)
主题模型是一种有用的分析工具,可以揭示文档集合中的潜在主题。主要的方法是使用概率主题模型来描述生成的故事,但在本文中,我们提出了一种替代方法来获得主题:聚类预训练的词嵌入,同时将文档信息用于加权聚类和重新排名。我们提供了基准的组合不同的词嵌入和聚类算法,并分析其性能下的降维PCA。我们的方法的最佳性能组合执行以及经典的主题模型,但具有较低的运行时间和计算复杂性。
2020-10-06 cs.CL