Entity Alignment with Noisy Annotations from Large Language Models
The Hong Kong Polytechnic University(香港理工大学)
本文提出LLM4EA框架,通过主动学习策略缩减标注空间并利用无监督标签精炼器修正大语言模型生成的噪声标签,在四个基准数据集上验证了实体对齐的有效性、鲁棒性和效率。
2024-05-28 cs.AI cs.CL
QaNER: Prompting Question Answering Models for Few-shot Named Entity Recognition
Amazon AI(亚马逊人工智能);Facebook AI(脸书人工智能);National Taiwan University(台湾大学)
最近,预训练语言模型的基于提示的学习已经成功地在Few-Shot命名实体识别(NER)中通过利用提示作为任务指导来提高标签效率。然而,以前的基于小波变换的Few-Shot NER方法存在计算复杂性高、zero-shot能力差、需要人工提示工程或缺乏提示鲁棒性等局限性。在这项工作中,我们提出了一个新的基于学习的NER方法与问答(QA),称为QaNER解决这些缺点。我们的方法包括:1)一个改进的策略,将NER问题转化为QA公式; 2)NER提示QA模型的生成; 3)在几个注释NER示例上使用QA模型进行基于正则化的调优; 4)通过提示QA模型实现zero-shot NER。与以前的方法相比,QaNER的推理速度更快,对即时质量不敏感,对超参数具有鲁棒性,并且表现出更好的低资源性能和zero-shot能力。
2022-03-04 cs.AI cs.CL cs.LG
From Alignment to Assignment: Frustratingly Simple Unsupervised Entity Alignment
School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院);Lazada, Alibaba Group(阿里巴巴集团Lazada)
跨语言实体对齐的目的是寻找跨语言知识库之间的等价实体,这是知识库集成的关键步骤。最近,提出了许多基于GNN的EA方法,并在几个公共数据集上显示出不错的性能改进。同时,现有的基于GNN的EA方法不可避免地继承了神经网络的可解释性差和效率低。基于GNN方法的同构假设,我们成功地将跨语言EA问题转化为分配问题。基于这一发现,我们提出了一个令人沮丧的简单但有效的无监督实体对齐方法(SEU)没有神经网络。大量的实验表明,我们提出的无监督方法在所有公共数据集上甚至优于高级监督方法,具有高效率,可解释性和稳定性。
2021-09-15 cs.AI cs.CL
Visual Pivoting for (Unsupervised) Entity Alignment
University of Cambridge(剑桥大学);University of Pennsylvania(宾夕法尼亚大学);University of Southern California(南加州大学)
本文研究了在异构知识图谱(KG)中使用视觉语义表示来对齐实体。图像是许多现有幼儿园的自然组成部分。通过将视觉知识与其他辅助信息相结合,我们表明,所提出的新方法,EVA,创建一个整体的实体表示,交叉图实体对齐提供了强有力的信号。此外,以前的实体对齐方法需要人工标记的种子对齐,限制了可用性。EVA通过利用实体的视觉相似性来创建初始种子字典(视觉枢轴),提供了一个完全无监督的解决方案。在基准数据集DBP15k和DWY15k上的实验表明,EVA在单语和跨语言实体对齐任务上都提供了最先进的性能。此外,我们发现,图像是特别有用的,以调整长尾KG实体,这本身就缺乏必要的结构背景捕捉的对应关系。
2020-12-17 cs.AI cs.CL
Unsupervised Entity Alignment Based on Personalized Discriminative Rooted Tree
State Key Laboratory of Integrated Services Networks, School of Computer Science and Technology, Xidian University(集成服务网络国家重点实验室,计算机科学与技术学院,西安电子科技大学);Key Laboratory of Intelligent Perception and Image Understanding of Ministry of Education, School of Artificial Intelligence, Xidian University(教育部智能感知与图像理解重点实验室,人工智能学院,西安电子科技大学);State Key Laboratory of CAD&CG, Zhejiang University(CAD&CG国家重点实验室,浙江大学)
本文提出无监督实体对齐方法UNEA,通过参数化根树采样与树注意力聚合生成个性化实体嵌入,并利用互信息最大化辅助任务缓解分布失真,在无监督EA任务上取得最优性能并超越多个有监督基线。
2025-02-14 cs.AI
LingVarBench: Benchmarking LLMs on Entity Recognitions and Linguistic Verbalization Patterns in Phone-Call Transcripts
Infinitus Systems, Inc.(Infinitus系统公司)
LingVarBench通过生成语言变化的训练数据,提升LLM在电话记录中提取结构化实体和主观问卷项目的能力,优化提示工程并提高鲁棒性。
2026-01-13 cs.AI cs.CL cs.HC
A Fused Gromov-Wasserstein Framework for Unsupervised Knowledge Graph Entity Alignment
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Hong Kong University of Science and Technology(香港科技大学);Tencent AI Lab(腾讯人工智能实验室);Beijing Institute of Technology(北京理工大学)
提出FGWEA无监督框架,利用融合Gromov-Wasserstein距离联合优化实体语义与知识图谱结构,通过三阶段渐进算法,在无监督和无需调参下超越21个基线方法。
2023-05-11 cs.AI cs.CL
Unsupervised Robust Cross-Lingual Entity Alignment via Neighbor Triple Matching with Entity and Relation Texts
Yonsei University(延世大学);Korea University(高丽大学)
针对跨语言实体对齐中获取标签困难及现有无监督方法的局限,本文提出ERAlign,通过邻居三元组匹配联合实体和关系文本语义,实现无监督鲁棒对齐,提升精度并增强对噪声的抵抗能力。
2025-02-12 cs.AI cs.CL
Revisiting Prompt Engineering via Declarative Crowdsourcing
UC Berkeley(加州大学伯克利分校)
本文提出声明式提示工程,将LLM视为众包工作者,借鉴多种提示策略、内部一致性和混合LLM-非LLM方法,使提示工程更规范,并在排序、实体解析和填补任务中验证其有效性。
2023-08-07 cs.AI cs.DB cs.HC
Knowledge-Augmented Language Model and its Application to Unsupervised Named-Entity Recognition
Facebook AI(脸书人工智能研究院)
传统的语言模型无法有效地对文本中观察到的实体名称进行建模。除了最流行的命名实体之外,所有命名实体都很少出现在文本中,提供的上下文不足。最近的努力已经认识到可以在共享相同类型的实体名称之间概括上下文(例如,\emph{person}或\emph{location}),并为语言模型配备了访问外部知识库(KB)的权限。我们的知识增强语言模型(KALM)通过用知识库增强传统模型来继续这一工作。然而,与以前的方法不同,我们使用端到端的预测目标进行训练,以优化文本的复杂度。我们不需要任何额外的信息,如命名实体标签。除了提高语言建模性能外,KALM还通过使用模型中潜在的实体类型信息,以完全无监督的方式学习识别命名实体。在命名实体识别(NER)任务中,KALM实现了与最先进的监督模型相当的性能。我们的工作表明,命名实体(可能还有其他类型的世界知识)可以在没有任何额外信息的情况下,使用预测学习和大型文本语料库的训练来成功建模。
2019-06-24 cs.AI cs.CL cs.LG
AlignNet: Unsupervised Entity Alignment
DeepMind
最近开发的深度学习模型能够在没有监督的情况下学习将场景分割成组件对象。这开辟了许多新的和令人兴奋的研究途径,允许代理将对象(或实体)作为输入,而不是像素。不幸的是,尽管这些模型提供了对单个帧的出色分割,但它们并不跟踪在一个时间步处分割的对象如何与在稍后时间步处的对象相对应(或对齐)。对齐(或对应)问题阻碍了在下游任务中使用对象表示的进展。在本文中,我们采取措施解决对齐问题,提出了AlignNet,一个无监督对齐模块。
2020-07-21 cs.AI cs.CV cs.LG
Towards Entity Alignment in the Open World: An Unsupervised Approach
National University of Defense Technology(国防科技大学);Xi’an Jiaotong University(西安交通大学)
实体对齐旨在发现不同知识图谱中的等价实体。这是整合幼儿园以增加知识覆盖面和质量的关键一步。近年来,EA框架迅速增加。然而,最先进的解决方案往往依赖于标记数据进行模型训练。此外,它们在封闭域设置下工作,不能处理不可匹配的实体。为了解决这些缺陷,我们提供了一个无监督的框架,在开放世界中执行实体对齐。具体来说,我们首先挖掘有用的功能,从侧信息的KG。然后,我们设计了一个不可匹配的实体预测模块,过滤掉不可匹配的实体,并产生初步的对齐结果。这些初步结果被视为伪标记数据并转发到渐进式学习框架以生成结构表示,该结构表示与边信息集成以提供更全面的对齐视图。最后,渐进式学习框架逐渐提高结构嵌入的质量,并通过使用前一轮的对齐结果丰富伪标记数据来增强对齐性能。我们的解决方案不需要标记的数据,可以有效地过滤掉不匹配的实体。综合实验评价验证了其优越性。
2021-01-26 cs.AI cs.CL
Unsupervised Entity Alignment for Temporal Knowledge Graphs
Zhejiang University(浙江大学);Aalborg University(奥尔堡大学)
实体对齐(EA)是一项基本的数据集成任务,它识别不同知识图谱(KG)之间的等价实体。时态知识图谱是对传统知识图谱的一种扩展,它引入了时间戳,受到越来越多的关注。最新的时间感知EA研究表明,TKG的时间信息有助于EA的性能。然而,现有的研究并没有充分利用时间信息在TKG中的优势。此外,他们通过预先对齐实体对来执行EA,这可能是劳动密集型的,因此效率低下。在本文中,我们提出了DualMatch,有效地融合了EA的关系和时间信息。DualMatch将TKG上的EA转换为加权图匹配问题。更具体地说,DualMatch配备了一种无监督的方法,它可以在不需要种子对齐的情况下实现EA。DualMatch有两个步骤:(i)使用新型无标签编码器Dual-Encoder将时间和关系信息分别编码到嵌入中;以及(ii)使用新型基于图匹配的解码器GM-解码器融合这两种信息并将其转换为对齐。DualMatch能够在有或没有监督的情况下对TKG执行EA,这是由于其有效捕获时间信息的能力。在三个真实世界的TKG数据集上进行的大量实验表明,DualMatch在H@1和MRR方面分别优于最先进的方法2.4% - 10.7%和1.7% -7.6%。
2023-02-08 cs.AI cs.CL cs.IR
MED-SE: Medical Entity Definition-based Sentence Embedding
Korea Advanced Institute of Science & Technology (KAIST)(韩国科学技术院);NAVER CLOVA AI Lab(NAVER CLOVA AI实验室)
我们提出了基于医学实体解释的句子嵌入(MED-SE),一种新的无监督对比学习框架,设计用于临床文本,它利用了医学实体的定义。为此,我们进行了广泛的分析,多个句子嵌入技术在临床语义文本相似性(STS)设置。在我们设计的以实体为中心的设置中,MED-SE实现了显着更好的性能,而现有的无监督方法,包括SimCSE显示性能下降。我们的实验阐明了一般和临床领域的文本之间的固有差异,并建议,以实体为中心的对比方法可能有助于弥合这一差距,并导致更好地表示临床句子。
2022-12-09 cs.AI cs.CL cs.LG
ProKD: An Unsupervised Prototypical Knowledge Distillation Network for Zero-Resource Cross-Lingual Named Entity Recognition
Beihang University(北京航空航天大学);National Computer Network Emergency Response Technical Team / Coordination Center of China(国家计算机网络应急技术处理协调中心)
对于零资源语言的命名实体识别(NER),利用知识蒸馏方法将与语言无关的知识从资源丰富的源语言转移到零资源语言是一种有效的手段。通常,这些方法采用教师-学生架构,其中教师网络以源语言训练,并且学生网络寻求从教师网络学习知识并且期望以目标语言表现良好。尽管这些方法取得了令人印象深刻的性能,我们认为,他们有两个局限性。首先,由于源语言和目标语言之间的特征分布的差异,教师网络无法有效地学习跨语言共享的与语言无关的知识。其次,学生网络从教师网络获得其所有知识,而忽略了对目标语言特定知识的学习。不希望的是,这些限制会妨碍模型在目标语言中的性能。本文提出了一个无监督的原型知识蒸馏网络(ProKD)来解决这些问题。具体而言,ProKD提出了一种基于对比学习的原型对齐方法,通过调整源语言和目标语言中原型之间的距离来实现类特征对齐,提高教师网络获取语言无关知识的能力。此外,ProKD还引入了一种原型自训练方法,通过使用样本与原型的距离信息对目标数据重新训练学生网络来学习语言的内在结构,从而增强学生网络获取特定语言知识的能力。在三个跨语言NER基准数据集上的实验证明了该方法的有效性。
2023-02-07 cs.AI cs.CL
Training-Free Tunnel Defect Inspection and Engineering Interpretation via Visual Recalibration and Entity Reconstruction
Xi'an University of Architecture and Technology(西安建筑科技大学)
本文提出无需训练的隧道检测框架TunnelMIND,通过视觉重新校准和实体重建实现精确的缺陷定位与工程解释,提升隧道检测的结构化证据能力。
2026-04-30 cs.AI cs.CV
Unsupervised Knowledge Graph Alignment by Probabilistic Reasoning and Semantic Embedding
Tencent Jarvis Lab(腾讯天衍实验室);University of Oxford(牛津大学);Tencent(腾讯);Zhejiang University(浙江大学)
知识图谱(KG)对齐是为了发现映射(即,等同实体、关系和其他)。现有的方法可以分为基于嵌入的模型和传统的基于推理和词汇匹配的系统。前者通过跨KG嵌入计算实体的相似性,但它们通常依赖于理想的监督学习设置以获得良好的性能,并且缺乏适当的推理以避免逻辑错误的映射;而后者解决了推理问题,但在利用KG图结构和实体上下文方面很差。在这项研究中,我们的目标是结合上述两个解决方案,从而提出了一个迭代框架命名为PRASE,这是基于概率推理和语义嵌入。它从概率推理系统PARIS中通过实体映射学习KG嵌入,并将得到的实体映射和嵌入反馈回PARIS进行增强。PRASE框架与不同的基于嵌入的模型兼容,我们在多个数据集上的实验证明了其最先进的性能。
2021-06-11 cs.AI cs.CL cs.LG
Unsupervised Hierarchical Grouping of Knowledge Graph Entities
Data Science Institute(数据科学研究所);Insight Centre for Data Analytics(洞察数据分析中心);National University of Ireland Galway(爱尔兰国立高威大学)
知识图谱在学术界和工业界引起了广泛的关注。尽管它们很有用,但流行的知识图谱遭受信息不完整的困扰,特别是在它们的类型断言中。这鼓励了自动发现实体类型的研究。在此背景下,开发了多项工作来利用本体上的逻辑推理和统计机器学习方法来学习知识图谱中的类型断言。然而,这些方法在噪声数据上的性能有限,可扩展性有限,并且依赖于标记的训练样本。在这项工作中,我们提出了一种新的无监督的方法,学习分类实体到一个层次结构的命名组。我们表明,我们的方法是能够有效地学习实体组使用一个可扩展的程序在嘈杂和稀疏的数据集。我们在一组流行的知识图谱基准测试数据集上实验了我们的方法,并发布了结果组层次结构的集合。
2019-08-20 cs.AI cs.CL cs.IR
Engineering Knowledge Graph from Patent Database
Singapore University of Technology and Design(新加坡科技设计大学);SUTD-MIT International Design Centre(新加坡科技设计大学-麻省理工学院国际设计中心);University of Colorado Denver(科罗拉多大学丹佛分校)
我们提出了一个大的,可扩展的工程知识图谱,包括集(实体,关系,实体)的三元组,这些三元组是在专利数据库中发现的现实世界的工程事实。我们应用一套规则的基础上的句法和词汇属性的专利文件中的权利要求提取事实。我们在每个专利文档中聚合这些事实,并在专利数据库中整合聚合的事实集,以获得工程知识图谱。这样的知识图谱被期望在各种工程任务中支持推断、推理和回忆。该知识图谱具有更大的规模和覆盖范围相比,以前使用的知识图谱和语义网络的工程文献。
2021-06-12 cs.AI cs.CL cs.DB
Beyond Word Embeddings: Learning Entity and Concept Representations from Large Scale Knowledge Bases
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Samsung Research America(三星美国研究院)
使用神经词嵌入的文本表示在许多NLP应用中已经证明是有效的。最近的研究采用传统的词嵌入模型来学习多词表达(概念/实体)的向量。然而,这些方法限于文本知识库(例如,Wikipedia).在本文中,我们提出了一种新的和简单的技术,整合知识的概念,从两个大规模的知识库的不同结构(维基百科和Probase),以学习概念表示。我们采用高效的skip-gram模型来无缝地从维基百科文本和Probase概念图中学习知识。我们在两个任务上评估了我们的概念嵌入模型:(1)类比推理,在语义类比上我们实现了91%的最先进性能,(2)概念分类,在两个基准数据集上实现了最先进的性能,其中一个数据集的分类准确率为100%,另一个为98%。此外,我们提出了一个案例研究,以评估我们的神经语义解析的无监督参数类型识别模型。我们证明了我们的无监督方法的竞争力的准确性和它的能力,更好地推广到词汇表中的实体提到相比,繁琐和容易出错的方法,依赖于地名词典和正则表达式。
2018-08-30 cs.AI cs.CL cs.IR
Towards Faithfulness in Open Domain Table-to-text Generation from an Entity-centric View
Peking University(北京大学);Chinese Academy of Sciences(中国科学院);University of Chinese Academy of Sciences(中国科学院大学);Pengcheng Laboratory(鹏城实验室)
在开放域表到文本生成中,我们注意到不忠实生成通常包含不能与任何输入表记录对齐的幻觉内容。因此,我们试图评估代忠诚度与两个实体为中心的指标:表记录覆盖率和幻觉实体的比例在文本中,这两个都被证明有很强的协议与人类的判断。然后基于这些指标,定量分析了训练数据质量与生成逼真度之间的相关性,指出了实体信息在忠实生成中的潜在用途。基于这些发现,我们提出了两种忠实生成方法:1)通过结合辅助实体信息进行增强训练,包括基于增强计划的模型和无监督模型; 2)基于忠实度排名的训练实例选择。我们表明,这些方法通过自动和人工评估提高了完整数据集设置和少样本学习设置中的生成保真度。
2021-02-17 cs.AI cs.CL
A Simplifying and Learnable Graph Convolutional Attention Network for Unsupervised Knowledge Graphs Alignment
针对无监督知识图谱实体对齐中复杂度高、有效性与实用性难兼顾的问题,提出SLU,通过LCAT骨干、关系结构重构和一致性相似度提升性能。
2025-06-09 cs.AI cs.LG
HECATE: An ECS-based Framework for Teaching and Developing Multi-Agent Systems
Universidade de São Paulo(圣保罗大学)
HECATE是一个基于实体-组件-系统架构模式的新型框架,从分布式系统视角简化多智能体系统开发,通过减少智能体专门知识需求并利用DS模式,支持多种智能体模型。
2025-09-08 cs.AI cs.MA
Building a Fine-Grained Entity Typing System Overnight for a New X (X = Language, Domain, Genre)
Rensselaer Polytechnic Institute(伦斯勒理工学院);Information Sciences Institute(信息科学研究所)
最近的研究表明,细粒度实体类型化取得了很大的进展。大多数现有的方法需要预先定义一组类型和训练的多类分类器从一个大的标记数据集的基础上的多层次的语言特征。因此,它们仅限于某些领域、体裁和语言。在本文中,我们提出了一个新的无监督实体分类框架相结合的符号和分布语义。我们从学习每个实体提及的一般嵌入开始,使用语言结构组成特定上下文的嵌入,将提及链接到知识库并学习其相关的知识表示。然后,我们开发了一种新的联合层次聚类和链接算法类型的所有提及使用这些表示。这个框架不依赖于任何注释数据,预定义的类型模式或手工制作的功能,因此它可以快速适应新的领域,流派和语言。此外,它在整合语言结构方面具有很大的灵活性(例如,抽象意义表示(AMR),依赖关系),以改善特定的上下文表示。对类型(新闻和论坛)的实验表明,与从大量标记数据中训练的最先进的监督打字系统相比,性能相当。各种语言(英语,中文,日语,豪萨语和约鲁巴语)和领域(一般和生物医学)的结果证明了我们的框架的可移植性。
2016-03-10 cs.AI cs.CL
LSTM Recurrent Neural Networks for Cybersecurity Named Entity Recognition
Qatar University(卡塔尔大学);Université Lumière Lyon 2(里昂第二大学)
针对网络安全领域NER任务实体结构复杂、现有最优方法依赖耗时费力的领域特征工程的问题,提出结合LSTM循环神经网络与CRF的领域无关模型,在合适规模标注语料下性能优于现有最优方法。
2024-08-30 cs.AI cs.CR cs.IR
Gradual Machine Learning for Entity Resolution
Northwestern Polytechnical University(西北工业大学)
通常被认为是一个分类问题,由于脏值的普遍存在,实体解析(ER)在真实数据上可能非常具有挑战性。最先进的ER解决方案建立在各种学习模型(最著名的是深度神经网络)上,这需要大量准确标记的训练数据。不幸的是,高质量的标记数据通常需要昂贵的手工工作,因此在许多实际场景中并不容易获得。在本文中,我们提出了一种新的学习范式ER,称为渐进机器学习,其目的是使有效的机器标记,而不需要手动标记的努力。它从任务中的一些简单实例开始,这些实例可以被机器以高精度自动标记,然后通过迭代因子图推理逐渐标记更具挑战性的实例。在渐进式机器学习中,任务中的困难实例基于由标记的较容易实例提供的估计的证据确定性在小阶段中逐渐标记。我们对真实数据的广泛实验表明,所提出的方法的性能大大优于其无监督的替代方案,并具有很强的竞争力相比,国家的最先进的监督技术。使用ER作为测试案例,我们证明了渐进式机器学习是一个很有前途的范例,可能适用于其他具有挑战性的分类任务,需要广泛的标签工作。
2019-06-14 cs.AI cs.DB cs.LG
The STEM-ECR Dataset: Grounding Scientific Entity References in STEM Scholarly Content to Authoritative Encyclopedic and Lexicographic Sources
TIB Leibniz Information Centre for Science and Technology(莱布尼茨科学与技术信息中心(TIB))
我们介绍了STEM(科学,技术,工程和医学)数据集,用于科学实体提取,分类和分辨率,版本1.0(STEM-ECR v1.0)。STEM-ECR v1.0数据集的开发旨在以独立于领域的方式为科学实体提取、分类和解析任务的评估提供基准。它包括10个STEM学科的摘要,这些学科被认为是主要出版平台上最多产的学科。我们描述了这样一个多学科语料库的创建过程,并从以下几个方面强调了所获得的发现:1)多学科科学背景下的科学实体的一般概念形式主义; 2)在这种一般形式主义下科学实体的领域独立的人类注释的可行性; 3)使用基于BERT的神经模型自动提取多学科科学实体可获得的性能基准; 4)描绘的3步实体解析过程,用于通过百科实体链接和词典词义消歧对科学实体进行人类注释;以及5)人类评估Babelfy返回的百科链接和我们的实体的词典词义。我们的研究结果累积表明,人类注释和多学科科学概念的自动学习以及在广泛的STEM环境中的语义消歧是合理的。
2020-07-28 cs.AI cs.CL cs.DL