Entity Matching using Large Language Models
University of Mannheim(曼海姆大学)
本文研究用大型语言模型替代预训练语言模型进行实体匹配,通过零样本、提示设计、上下文演示、规则生成和微调等实验证明LLMs仅需极少训练数据即可达到可比性能,且对未见实体更鲁棒,GPT4还能生成解释并自动识别匹配错误原因。
2024-10-18 cs.CL cs.LG
Confidence Calibration in Large Language Model-Based Entity Matching
Bernoulli Institute, University of Groningen(格罗宁根大学伯努利研究所)
本研究实证比较了RoBERTa及多种校准方法在实体匹配中的置信度,发现改进模型存在轻微过度自信,温度缩放可有效降低期望校准误差达23.83%。
2025-10-15 cs.CL cs.LG
Leveraging Large Language Models for Entity Matching
National Taiwan University of Science & Technology(台湾科技大学)
该愿景论文探讨了利用GPT-4等大型语言模型(LLMs)的先进语义理解能力解决实体匹配(EM)任务,分析了其优势与挑战,并回顾了LLMs如何增强弱监督和无监督方法及未来研究方向。
2024-05-31 cs.AI cs.CL
AnyMatch -- Efficient Zero-Shot Entity Matching with a Small Language Model
University of Amsterdam(阿姆斯特丹大学);Amsterdam UMC(阿姆斯特丹大学医学中心);BIFOLD(柏林工业大学数据与智能基础研究所);TU Berlin(柏林工业大学)
针对零样本实体匹配中LLM成本高、吞吐低的问题,本文提出经迁移学习微调并采用困难样本筛选等数据选择策略的小型模型AnyMatch,在九项基准上以极低推理成本取得接近MatchGPT的效果。
2024-09-09 cs.AI cs.CL cs.DB
Beyond Scale and Generation: Understanding Language Model-based Entity Matching
University of Amsterdam(阿姆斯特丹大学)
研究基于语言模型的实体匹配,通过控制因子研究Qwen3家族的多种架构、变体和大小,评估跨数据集可迁移性与计算成本,明确模型变体对双编码器的关键作用,以及不同匹配器架构性能差异因素,推动相关研究与基准设计发展。
2026-07-28 cs.CL cs.DB cs.LG
Fine-tuning Large Language Models for Entity Matching
University of Mannheim(曼海姆大学)
本文探索大语言模型微调在实体匹配任务中的潜力,从训练样本表示、样本选择与生成两个维度展开研究,发现微调对小模型性能提升显著,可增强同领域泛化但损害跨领域迁移,结构化解释对多数模型有效,样本方法仅利好Llama 3.1 8B。
2025-05-21 cs.AI cs.CL cs.LG
KcMF: A Knowledge-compliant Framework for Schema and Entity Matching with Fine-tuning-free LLMs
Zhejiang University(浙江大学);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高新区(滨江)区块链与数据安全研究院)
本文提出无需微调 LLM 的知识合规匹配框架 KcMF,通过伪代码任务分解、DaK/EaK 知识构建及结果集成,提升模式与实体匹配的准确性和输出稳定性。
2025-02-17 cs.AI cs.CL cs.DB
Structure-Guided Entity Resolution: Fine-Tuning LLMs for Robust Name Matching in Complex Linguistic Contexts
Dream Sports
提出结构引导实体解析(SGER)框架,通过两阶段课程微调大语言模型,先学习姓名语法结构再优化匹配任务,在印度身份数据上达到99.02%准确率和0.994 F1分数,已部署于Dream11平台服务2.5亿+用户。
2026-05-22 cs.CL cs.LG
Leveraging large language models for efficient representation learning for entity resolution
University of Arkansas, Little Rock(阿肯色大学小石城分校)
本文提出TriBERTa实体解析系统,利用预训练SBERT模型和三元组损失函数的对比学习生成微调向量表示,在实体匹配任务中比未微调SBERT和TF-IDF提升3-19%,并展现更强鲁棒性。
2024-11-15 cs.AI cs.CL
OpenSanctions Pairs: Large-Scale Entity Matching with LLMs
OpenSanctions Pairs通过对比LLM与规则基础匹配器,展示了LLM在实体匹配任务中的优越性能,并揭示了规则系统与LLM在失败模式上的互补性,推动了合规流程中更高效的管道组件开发。
2026-08-27 cs.AI cs.CL cs.IR
CaRL-EM: Cost-Aware Reinforcement Learning for Entity Matching with LLMs
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
该研究针对实体匹配的LLM方法灵活性不足、忽略推理成本的问题,提出CaRL-EM强化学习控制器,自适应选择算子与模型规模,在7个基准上实现更优质量-成本权衡与零样本迁移。
2026-09-02 cs.CL
APrompt4EM: Augmented Prompt Tuning for Generalized Entity Matching
Peking University(北京大学);China Telecom Research Institute(中国电信研究院)
针对低资源广义实体匹配中的提示设计与信息差距问题,提出融合上下文化软 token 提示调优和 LLM 信息增强的 APrompt4EM,以低成本实现优于中等规模 PLM 方法、媲美微调 LLM 的性能。
2024-05-08 cs.AI cs.CL
Labeling Training Data for Entity Matching Using Large Language Models
Data and Web Science Group(数据与网络科学组);University of Mannheim(曼海姆大学)
研究利用知识蒸馏工作流,以LLM为教师模型标注训练数据,训练小型学生模型进行实体匹配,在五个基准上学生模型性能与基准训练集相当,且成本远低于人工标注。
2026-10-06 cs.CL
Adaptive and Multi-Source Entity Matching for Name Standardization of Astronomical Observation Facilities
Paris Observatory(巴黎天文台)
本研究提出一种自适应多源实体匹配方法,利用NLP技术和LLM验证,为天文观测设施生成标准化名称映射,并集成到相关平台。
2025-10-07 astro-ph.IM cs.CL
APE: Active Learning-based Tooling for Finding Informative Few-shot Examples for LLM-based Entity Matching
Apple(苹果公司)
本文提出人在回路工具 APE,利用主动学习迭代筛选模糊样本并转化为少样本示例,以降低提示工程成本并提升 LLM 实体匹配效果。
2024-07-29 cs.CL
Billiger.de Products: A Bilingual Entity Matching Benchmark
University of Mannheim(曼海姆大学);solute GmbH(solute有限公司)
本文提出一个覆盖十三类消费品的德英双语实体匹配基准,验证显示其难度高于现有英语基准,且多数匹配器在英语版本上得分更高。
2026-10-06 cs.CL
Adaptive Graph Refinement and Label Propagation with LLMs for Cost-Effective Entity Resolution
Hong Kong Baptist University(香港 Baptist 大学);Zhejiang University(浙江大学)
提出Alper框架,通过迭代概率标签传播整合匹配与聚类,自适应融合图传播弱信号与LLM强查询,在预算约束下最大化边际增益,实现高效实体解析。
2026-05-25 cs.AI cs.CL
Improving Table Understanding with LLMs and Entity-Oriented Search
Monash University(莫纳什大学);Qualcomm AI Research(高通人工智能研究)
针对现有方法依赖预处理、缺乏上下文的问题,提出面向实体的搜索方法,利用语义相似性和实体绑定提升LLMs表格理解能力,首次引入图查询语言,在两个基准上获最优性能。
2025-08-23 cs.CL
On Leveraging Large Language Models for Enhancing Entity Resolution: A Cost-efficient Approach
The Hong Kong Polytechnic University(香港理工大学);South China Normal University(华南师范大学);Webank Co. Ltd.(微众银行有限公司)
针对大语言模型用于实体解析时成本高、现有方法质量或成本表现不佳的问题,提出一种基于不确定性降低的成本高效框架,通过智能选取匹配对查询、容错及动态调整提升效果,兼具效率与有效性。
2024-09-12 cs.AI cs.CL
Cost-Effective In-Context Learning for Entity Resolution: A Design Space Exploration
Renmin University of China(中国人民大学);Beijing Institute of Technology(北京理工大学);HKUST (GZ)(香港科技大学(广州));Tsinghua University(清华大学)
本文针对实体解析中上下文学习调用成本高的问题,提出融合示例选择与问题批处理的 BATCHER 框架及基于覆盖的选择策略,实验证明其兼具准确率与成本优势。
2023-12-07 cs.AI cs.CL
Beyond Traditional Algorithms: Leveraging LLMs for Accurate Cross-Border Entity Identification
Financial Information & Central Credit Register Department(西班牙银行财务信息与中央信贷登记部门)
针对跨境金融实体识别中传统算法假阳性率高的问题,研究探索利用LLMs作为替代方案,实验证明基于接口的LLMs在准确率和F1分数上优于传统方法。
2025-07-15 cs.CL
Neural Networks for Entity Matching: A Survey
Cognite(Cognite公司);NTNU(挪威科技大学)
实体匹配是识别哪些记录引用相同的真实世界实体的问题。它已经被积极研究了几十年,并开发了各种不同的方法。即使在今天,它仍然是一个具有挑战性的问题,仍然有很大的改进余地。近年来,我们看到了基于深度学习技术的自然语言处理新方法的出现。在这篇综述中,我们介绍了神经网络是如何用于实体匹配的。具体来说,我们确定哪些步骤的实体匹配过程中现有的工作有针对性地使用神经网络,并提供了在每个步骤中使用的不同技术的概述。我们还讨论了与传统方法相比,深度学习在实体匹配中的贡献,并提出了用于实体匹配的深度神经网络的分类。
2021-05-31 cs.CL cs.DB cs.LG
High-Quality Entity Segmentation and Grounding
Wuhan University(武汉大学);Insta360 Research(Insta360研究院);Department of EECS, University of California, Merced(加州大学默塞德分校电子工程与计算机科学系);Nanyang Technological University(南洋理工大学);Institute of Automation of the Chinese Academy of Sciences(中国科学院自动化研究所)
提出ESG流水线,通过新数据集EntitySeg和两阶段解耦设计(CropFormer高质量分割+GELLA精确名词提取与语义匹配),实现高质量实体分割与定位,在五项任务上有效。
2026-06-03 cs.CL cs.CV
MultiEM: Efficient and Effective Unsupervised Multi-Table Entity Matching
Zhejiang University(浙江大学)
本文研究无监督多表实体匹配问题,提出可并行化流程MultiEM,通过增强实体表示、表级分层合并和基于密度的剪枝实现高效匹配,在六个真实数据集上验证了其有效性与效率的优越性。
2023-08-02 cs.CL cs.DB cs.IR
Structured Multi-Step Reasoning for Entity Matching Using Large Language Model
本文提出基于结构化多步推理的实体匹配框架,通过分解匹配过程为多个推理阶段,提升大语言模型在实体匹配任务中的性能。
2025-11-28 cs.DB
Machamp: A Generalized Entity Matching Benchmark
实体匹配(Entity Matching,EM)是指确定两个不同的数据表示是否指向同一个真实世界实体的问题。它一直是数据管理社区的长期兴趣,并且在创建基准任务以及开发高级匹配技术方面付出了许多努力。然而,EM的现有基准测试任务仅限于实体的两个数据汇集是具有相同模式的结构化表的情况。同时,在数据科学的真实场景中,用于匹配的数据汇集可以是结构化的、半结构化的或非结构化的。本文提出了一个新的研究问题--广义实体匹配(GeneralizedEntityMatching),并建立了一个Machamp的基准,Machamp由七个具有不同特征的任务组成,因此能够很好地覆盖实际应用中的用例。我们总结了现有的EM基准任务的结构化表,并进行了一系列的处理和清理工作,将它们转换为不同结构的表之间的匹配任务。在此基础上,我们进一步对所提出的基准任务进行全面分析,并评估流行的实体匹配方法。在Machamp的帮助下,这是研究人员第一次可以在具有不同结构的数据汇集之间评估EM技术。
2021-06-15 cs.DB
Bridging the Gap between Reality and Ideality of Entity Matching: A Revisiting and Benchmark Re-Construction
Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences(中国科学院大学杭州高等研究院);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院);Alibaba Group(阿里巴巴集团);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
实体匹配是实体解析的关键步骤。虽然目前基于深度学习的方法在标准EM基准测试中取得了非常令人印象深刻的性能,但它们在现实世界中的应用性能却令人沮丧。在本文中,我们强调,这种现实与理想之间的差距源于不合理的基准建设过程,这是不符合实体匹配的性质,因此导致当前EM方法的偏见评价。为此,我们建立了一个新的EM语料库和重新构建EM基准,以挑战关键假设隐含在以前的基准建设过程中逐步改变限制实体,平衡标签,并在以前的基准到开放的实体,不平衡的标签和多模态记录在一个开放的环境中的单模态记录。实验结果表明,在以前的基准建设过程中所作的假设是不符合开放的环境,这掩盖了任务的主要挑战,因此显着高估了当前的实体匹配的进展。构建的基准和代码公开发布
2022-05-12 cs.AI cs.CL cs.DB
A Benchmarking Study of Matching Algorithms for Knowledge Graph Entity Alignment
本文针对知识图谱实体对齐中的匹配问题,系统评测现有匹配算法并提出双向匹配方法BMat,实验表明结合PARIS与BMat可在性能与复杂度上取得最佳效果。
2023-08-08 cs.DB
Large-Scale Collective Entity Matching
机器学习社区在实体匹配(EM)问题上有一些最新的进展。然而,它们缺乏可扩展性,这使得它们无法在大型现实数据集的实际环境中应用。为此,我们提出了一个原则性的框架来扩展任何通用EM算法。我们的技术包括在数据的小邻域上运行EM算法的多个实例,并在邻域之间传递消息以构建全局解决方案。我们证明了我们的框架的形式属性和实验证明了我们的方法在缩放EM算法的有效性。
2011-03-12 cs.DB
The Battleship Approach to the Low Resource Entity Matching Problem
Technion – Israel Institute of Technology(以色列理工学院);Worcester Polytechnic Institute(伍斯特理工学院)
本文针对低资源实体匹配问题提出一种基于战舰游戏类比的新型主动学习方法,通过潜在空间感知和迭代采样规划优先寻找正样本,在减少标注数据的同时达到与完全训练方法相当的性能。
2023-11-27 cs.DB cs.LG
Machop: an End-to-End Generalized Entity Matching Framework
现实世界的应用程序经常寻求解决实体匹配(EM)问题的一般形式,以找到关联的实体。这些场景包括在工作定位中将工作与候选人匹配,将学生与在线教育中的课程匹配,将产品与电子商务网站上的用户评论匹配等等。这些任务强加了新的要求,例如将数据录入与不同的格式匹配或具有灵活且语义丰富的匹配定义,这超出了当前EM任务公式化或方法。在本文中,我们介绍了广义实体匹配(GEM),满足这些实际需求的问题,并提出了一个端到端的管道Machop作为解决方案。Machop允许最终用户从头开始定义新的匹配任务,并以逐步的方式将其应用到新的域。Machop将GEM问题转换为序列对分类,以便利用基于转换器的语言模型(LM)(如BERT)的语言理解能力。此外,它还采用了一种新的外部知识注入方法,该方法具有结构感知池方法,允许领域专家指导LM专注于关键匹配信息,从而进一步提高整体性能。我们对来自一个流行招聘平台的真实世界数据集进行的实验和案例研究显示,与最先进的方法相比,F1得分显著提高了17.1%,同时匹配结果也是人类可以理解的。
2022-06-10 cs.DB
PromptEM: Prompt-tuning for Low-resource Generalized Entity Matching
实体匹配是数据管理中的一个基本问题,它的目的是确定两个关系表中的两个实体记录是否指向同一个真实世界的实体。传统的EM假设两个表是同构的,具有对齐的模式,而不同格式的实体记录(例如,关系型、半结构型或文本型)。由于格式不同,统一它们的模式是不切实际的。为了支持不同格式实体记录上的EM,近年来,广义实体匹配(GEM)被提出并得到了广泛的关注。为了进行GEM,现有的方法通常以监督学习的方式执行,这依赖于大量的高质量标记的示例。然而,标记过程是极其劳动密集型的,并且阻碍了GEM的使用。低资源GEM,即GEM这种只需要少量标注的例子,成为一种迫切的需求。为此,本文首次将重点放在低资源GEM,并提出了一种新的低资源GEM方法,称为ESTEM。ESTEM解决了三个具有挑战性的问题(即,设计GEM特定的提示微调、提高伪标签质量以及运行有效的自训练)。在八个真实基准上的大量实验结果证明了ESTEM在有效性和效率方面的优越性。
2022-07-16 cs.DB
Entity Matching by Pool-based Active Learning
School of Software, Tsinghua University(清华大学软件学院)
本文提出基于池的主动学习方法ALMatcher,通过混合不确定性查询策略选择少量高价值样本标注,在七个数据集上以少量标注实现优于现有方法的实体匹配效果。
2022-11-01 cs.DB cs.LG
CompanyName2Vec: Company Entity Matching Based on Job Ads
实体匹配是所有现实世界系统的重要组成部分,这些系统接收来自不同来源的结构化和非结构化数据。通常没有公用键可用于连接记录。大规模数据清理和集成过程需要在进行任何数据分析或进一步处理之前完成。虽然记录链接通常被认为是一个有点乏味但必要的步骤,但它揭示了有价值的见解,支持数据可视化,并指导进一步的数据分析方法。在这里,我们重点关注组织实体匹配。我们介绍CompanyName2Vec,一种新的算法来解决公司实体匹配(CEM)使用神经网络模型来学习公司名称语义从招聘广告语料库,而不依赖于任何信息匹配的公司除了它的名字。基于真实世界的数据,我们表明,CompanyName2Vec优于其他评估方法,并解决了CEM的挑战,平均成功率为89.3%。
2022-01-12 cs.DB cs.IR cs.SI
Enforcing Relational Matching Dependencies with Datalog for Entity Resolution
Carleton University(卡尔顿大学)
实体解析(ER)是关于识别和合并数据库中表示同一真实世界实体的记录。匹配依赖关系(MD)已经被引入并作为指定ER策略的声明性规则进行研究。一般来说,由MD在脏实例上引发的ER过程会导致多个干净实例。一般的“答案集程序”已被提出来指定基于MD的清洗任务及其结果。在这项工作中,我们扩展MD的“关系MD”,它捕获更多的应用程序语义,并确定类的关系MD的一般ASP可以自动重写成一个分层的数据库程序,与单一的干净的实例作为其标准模型。
2017-02-25 cs.AI cs.DB
AutoBlock: A Hands-off Blocking Framework for Entity Matching
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Carnegie Mellon University(卡内基梅隆大学);Duke University(杜克大学)
实体匹配试图识别一个或多个数据源上引用同一真实世界实体的数据记录。事实上,大型数据集上的每个实体匹配任务都需要分块,这一步骤减少了要匹配的记录对的数量。然而,大多数传统的阻塞方法都是免学习和基于密钥的,它们的成功在很大程度上是建立在清理数据和设计阻塞密钥的人工努力上的。在本文中,我们提出了AutoBlock,一个新的放手块实体匹配框架,基于相似性保持表示学习和最近邻搜索。我们的贡献包括:(a)自动化:AutoBlock将用户从费力的数据清理和阻塞键调整中解放出来。(b)可扩展性:AutoBlock具有次二次总时间复杂度,可以轻松部署数百万条记录。(c)有效性:AutoBlock在多个大规模真实数据集上的表现优于各种竞争基准,特别是当数据集是脏的和/或非结构化的时。
2019-12-07 cs.DB cs.LG
On the Complexity of Query Answering under Matching Dependencies for Entity Resolution
匹配实体解析(MD)是一个相对较新的声明性实体解析建议。这些规则指定,给定数据库中的值所满足的相似性,哪些值应该被认为是重复的,并且必须被匹配。基于类似于追踪的MD实施过程,我们可以获得干净(无重复)的实例;实际上可能是其中的几个。查询的解析答案是那些在解析实例的结果类下不变的答案。在以前的工作中,我们确定了一些易处理的情况下(即某些类的查询和MD)解决查询回答。在本文中,我们进一步研究这个问题的复杂性,确定一些棘手的情况下。对于一个特殊的情况,我们得到了一个二分法的复杂性结果。
2013-05-26 cs.DB
Bipartite Graph Matching Algorithms for Clean-Clean Entity Resolution: An Empirical Evaluation
实体解析(Entity Resolution,ER)是查找引用相同真实世界实体的记录的任务。一个常见的场景是,需要解析两个干净源代码中的实体,我们称之为Clean-Clean ER。在本文中,我们进行了广泛的经验评估8二分图匹配算法,作为输入的二分相似图,并提供一组匹配的实体作为输出。我们考虑了广泛的匹配算法,包括以前没有被应用到ER的算法,或仅在其他ER设置进行了评估。我们在10个已建立的真实数据集上评估了算法在准确性和时间效率方面的相对性能,从中我们提取了>700个不同的相似性图。我们的研究结果提供了这些算法的相对性能的见解,并根据手头的数据选择最好的算法。
2022-02-25 cs.DB
LEMON: Explainable Entity Matching
Norwegian University of Science and Technology(挪威科技大学);Cognite(Cognite公司)
最先进的实体匹配(EM)方法很难解释,将可解释的AI引入EM具有重要价值。不幸的是,大多数流行的可解释性方法并不适用于EM的开箱即用,需要调整。在本文中,我们确定了三个挑战,应用本地事后特征归因方法实体匹配:跨记录的交互作用,不匹配的解释,和灵敏度的变化。我们提出了一种新的模型不可知和模式灵活的方法LEMON,它通过以下方式解决了所有三个挑战:(i)产生双重解释以避免跨记录交互效应,(ii)引入归因潜力的新概念来解释两个记录如何匹配,以及(iii)自动选择解释粒度以匹配匹配器和记录对的敏感性。在公开数据集上的实验表明,该方法对匹配器更忠实,更好地帮助用户理解匹配器的决策边界.此外,用户研究表明,与LIME标准改编的解释相比,人类受试者在看到我们所提出的方法的解释后构建反事实示例的比率从54%增加到64%,对于匹配和非匹配,从15%增加到49%。
2022-08-16 cs.CL cs.DB cs.HC
Heterogeneity in Entity Matching: A Survey and Experimental Analysis
University of Western Ontario(韦仕敦大学);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
本文调查了实体匹配中的异质性问题,分析了不同异质性类型对匹配任务的影响,并评估了现有方法的局限性,提出了多模态匹配、人机协作等未来研究方向。
2026-02-06 cs.DB
Understanding Domain-Aware Distribution Alignment in Budgeted Entity Matching
Worcester Polytechnic Institute(沃斯特理工学院)
本文研究低资源领域感知实体匹配方法BEACON,通过实验分析不同算法选择和可用数据条件对其性能的影响,揭示分布对齐的作用。
2026-07-01 cs.AI cs.DB cs.LG
Liberal Entity Matching as a Compound AI Toolchain
UC Berkeley(加州大学伯克利分校);System Design Studio(系统设计工作室)
本文提出复合式 AI 系统 Libem,以可组合、可复用的工具链支持动态工具调用、自我精炼与优化,从而克服 LLM 实体匹配依赖静态知识和固定提示的问题。
2024-06-17 cs.AI cs.DB cs.SE
Matching Entities Across Different Knowledge Graphs with Graph Embeddings
David R. Cheriton School of Computer Science(戴维·R·切里顿计算机科学学院);University of Waterloo(滑铁卢大学)
本文探讨了跨不同知识图谱的实体匹配问题。给定一个知识图谱中的查询实体,我们希望在另一个知识图谱中找到对应的真实世界实体。我们正式这个问题,并提出了两个大规模的数据集,这个任务的基础上现有的跨本体DBpedia和维基数据之间的链接,专注于几十万个模糊的实体。使用基于分类的方法,我们发现,一个简单的多层感知器的基础上,从RDF2Vec图嵌入的实体在每个知识图谱的表示是足以实现高精度,只有少量的训练数据。我们工作的贡献是研究这一问题的数据集和未来工作可以基于的强基线。
2019-03-15 cs.CL cs.DB
FairEM360: A Suite for Responsible Entity Matching
University of Illinois Chicago(伊利诺伊大学芝加哥分校);University of Rochester(罗切斯特大学);AT&T Chief Data Office(美国电话电报公司首席数据办公室)
FairEM360是一个用于审计、解释和缓解实体匹配中偏见的框架,通过集成匹配器与人在回路反馈促进公平性评估。
2024-07-18 cs.CY cs.DB cs.LG
BEACON: Budget-Aware Entity Matching Across Domains (Extended Technical Report)
Worcester Polytechnic Institute(伍斯特理工学院);eBay Research(eBay研究)
研究针对跨领域实体匹配中标签稀缺问题,提出BEACON框架,利用嵌入表示指导样本选择,实验证明在不同预算下均优于现有方法。
2026-03-17 cs.DB
ERBlox: Combining Matching Dependencies with Machine Learning for Entity Resolution
Carleton University(卡尔顿大学);LogicBlox Inc.(LogicBlox公司)
实体解析(ER)是一个重要而常见的数据清洗问题,它是关于检测相同外部实体的数据重复表示,并将它们合并为单个表示。最近,已经提出了称为匹配依赖性(MD)的声明性规则,用于指定数据库记录中的属性值被合并的相似性条件。在这项工作中,我们展示了整合ER的三个组件的过程和好处:(a)使用机器学习(ML)技术构建的重复/非重复记录对的分类器,(b)支持ML的阻塞阶段和合并本身的MD;以及(c)使用声明性语言LogiQL -LogicBlox平台支持的数据库扩展形式-进行数据处理,以及MD的规范和实施。
2015-08-25 cs.AI cs.DB cs.LG
Tractable vs. Intractable Cases of Matching Dependencies for Query Answering under Entity Resolution
匹配实体解析(MD)是一个相对较新的声明性实体解析建议。它们是基于数据库中的值所满足的相似性来指定哪些值应该被认为是重复的并且必须被匹配的规则。基于类似于追踪的MD实施过程,我们可以获得干净(无重复)的实例;实际上可能是其中的几个。查询的解析答案是那些在解析实例的结果类下不变的答案。以前的工作确定了某些类的查询和MD集,解决查询回答是易处理的。特别强调的是循环集的MD。在这项工作中,我们进一步研究这个问题的复杂性,确定棘手的情况下,并探索易处理性和难处理性之间的边界。我们主要集中在非循环集的MD。对于一个特殊的情况,我们得到了一个相对于NP-硬度的二分法结果。
2014-04-06 cs.CC cs.DB cs.LO
Technical Report: Optimizing Human Involvement for Entity Matching and Consolidation
端到端数据集成系统需要在几个阶段中进行人工反馈,包括收集用于实体匹配的训练数据、调试所得到的聚类、确认应用于这些聚类的转换以实现数据标准化,以及最后将每个聚类缩减为单个规范表示(或“黄金记录”)。传统的智慧是在每个阶段的预算范围内,依次应用通过询问特定问题获得的人类反馈。然而,这些问题是高度相关的;其中一个问题的答案可能会影响管道任何阶段的结果。因此,将它们交错使用有可能带来显著的好处。在本文中,我们提出了一个人在循环框架,交错不同类型的问题,以优化人类的参与。我们提出了效益模型来衡量提出问题的质量改进,以及成本模型来衡量回答问题所需的时间。我们开发了一个问题调度框架,明智地选择问题,以最大限度地提高最终的黄金记录的准确性。在三个真实数据集上的实验结果表明,与最先进的方法相比,我们的整体方法显着提高了黄金记录的质量,从70%到90%。
2019-06-15 cs.DB
ERBlox: Combining Matching Dependencies with Machine Learning for Entity Resolution
Carleton University(卡尔顿大学);LogicBlox Inc.(LogicBlox公司)
实体解析(ER)是一个重要而常见的数据清洗问题,它是关于检测相同外部实体的数据重复表示,并将它们合并为单个表示。最近,已经提出了称为“匹配依赖性”(MD)的声明性规则,用于指定数据库记录中的属性值被合并的相似性条件。在这项工作中,我们展示了整合ER的四个组件的过程和好处:(a)使用机器学习(ML)技术构建重复/非重复记录对的分类器;(b)使用MD支持ML的阻塞阶段;(c)基于分类器结果的记录合并;以及(d)使用声明性语言“LogiQL”-“LogicBlox”平台支持的数据库扩展形式-开展与数据处理有关的所有活动,并规范和执行管理数据。
2017-01-18 cs.AI cs.DB cs.LG
Evaluating Blocking Biases in Entity Matching
The University of Western Ontario(西安大略大学)
本研究提出一个评估实体匹配中 Blocking 技术偏差的框架,通过扩展传统指标纳入公平性,实验分析多种 Blocking 方法的有效性与公平性,强调在 Blocking 阶段考虑公平性对确保数据集成任务公平结果的重要性。
2024-09-24 cs.DB cs.LG
GraLMatch: Matching Groups of Entities with Graphs and Language Models
University of Zurich(苏黎世大学);Zurich University of Applied Sciences(苏黎世应用科技大学);Move Digital AG;Bern University of Applied Sciences(伯尔尼应用科技大学)
针对多源实体组匹配中传递匹配易受假阳性干扰的问题,提出GraLMatch方法通过图特征移除假阳性,并验证少量样本微调DistilBERT可实现更优匹配效果,证明精确率是大规模实体组匹配的关键。
2024-06-21 cs.AI cs.CL cs.DB
Through the Fairness Lens: Experimental Analysis and Evaluation of Entity Matching
University of Illinois Chicago(伊利诺伊大学芝加哥分校);University of Rochester(罗切斯特大学);AT&T Chief Data Office(美国电话电报公司首席数据办公室)
本文通过公平性视角对实体匹配技术进行实验评估,利用两个社会数据集揭示人口群体过度代表和姓名相似性差异条件下的潜在不公平,并指出阳性预测值均等和真阳性率均等指标更能有效发现实体匹配中的不公平问题。
2023-07-06 cs.CY cs.DB cs.LG
TransClean: Finding False Positives in Multi-Source Entity Matching under Real-World Conditions via Transitive Consistency
University of Zurich(苏黎世大学);Zurich University of Applied Sciences(苏黎世应用科学大学);Bern University of Applied Sciences(伯尔尼应用科学大学)
TransClean 利用传递一致性在多源无标注数据中迭代识别并移除实体匹配的假阳性,无需人工标注即可估计匹配质量,实验显示其平均提升 F1 分数 24.42。
2025-06-04 cs.AI cs.DB cs.LG
Ground Truth Inference for Weakly Supervised Entity Matching
Georgia Institute of Technology(佐治亚理工学院);Microsoft Research(微软研究院)
实体匹配(Entity Matching,EM)是指识别一个或多个关系表中引用现实世界中相同实体的数据记录对的问题。监督机器学习(ML)模型目前实现了最先进的匹配性能;然而,它们需要许多标记的示例,这些示例通常是昂贵的或不可行的。这启发了我们使用弱监督来处理EM的数据标记。特别是,我们使用由Snorkel推广的标签函数抽象,其中每个标签函数(LF)是用户提供的程序,可以快速廉价地生成许多嘈杂的匹配/非匹配标签。给定一组用户编写的LF,数据标记的质量取决于标记模型,以准确地推断地面实况标签。在这项工作中,我们首先提出了一个简单但功能强大的标记模型一般弱监督任务。然后,我们定制的标签模型,具体到实体匹配的任务,考虑EM特定的传递性。我们的标记模型的一般形式很简单,同时在十个一般弱监督数据集上的性能大大优于现有的最佳方法。为了定制EM的标签模型,我们制定了一种方法,以确保标签模型的最终预测满足EM中所需的传递性,在可能的情况下利用精确的解决方案,并在其余情况下使用基于ML的近似。在两个单表和九个双表真实世界EM数据集上,我们表明我们的标记模型比现有的最佳方法平均高出9%的F1分数。我们还表明,在我们的弱监督方法生成的标签上训练的深度学习EM最终模型(DeepMatcher)与使用数万个地面真实标签训练的最终模型相当,这表明我们的方法可以显着减少EM中所需的标记工作。
2022-11-13 cs.DB cs.LG