(Almost) All of Entity Resolution
无论目标是估计居住在国会选区的人数,估计在武装冲突中死亡的人数,还是使用书目数据消除个人作者的歧义,所有这些应用程序都有一个共同的主题-整合来自多个来源的信息。在回答这些问题之前,必须以系统和准确的方式清理和集成数据库,通常称为记录链接、重复数据删除或实体解析。在这篇文章中,我们回顾了激励应用和开创性的论文,导致了这一领域的发展。具体来说,我们审查的基础工作,开始于20世纪40年代和50年代,导致现代概率记录的联系。我们回顾了实体解析、半监督和全监督方法以及规范化的聚类方法,这些方法正在整个行业和学术界用于人权、官方统计、医学、引文网络等应用。最后,我们讨论了当前的研究课题的实际意义。
2022-01-17 cs.DB stat.ME stat.ML
Subgraph Pattern Matching over Uncertain Graphs with Identity Linkage Uncertainty
人们越来越需要能够捕获不确定性并回答图结构数据查询的方法。两种常见的不确定性类型是节点属性值的不确定性和边存在的不确定性。在本文中,我们结合了身份不确定性。标识不确定性表示从数据或引用中提到的对象到底层真实世界实体的映射的不确定性。我们提出了一个概率实体图(PEG)的概念,概率图模型,定义了一个分布在可能的图形在实体级别。该模型考虑到节点属性的不确定性,边缘存在的不确定性,身份的不确定性,从而使我们能够系统地原因所有三种类型的不确定性,在一个统一的方式。我们引入了一个一般框架,用于构建PEG给定的不确定数据在参考水平和开发高效的算法来回答子图模式匹配查询在这种设置。我们的算法是基于两个新的想法:上下文感知的路径索引和减少连接候选人,大大减少了查询搜索空间。一个全面的实验评估表明,我们的方法优于基线实现的数量级。
2013-05-30 cs.DB
Scalable Entity Resolution Using Probabilistic Signatures on Parallel Databases
准确和高效的实体解析是一个公开的挑战,对于从不同来源收集具有不同质量和标准水平的大型数据集的情报组织来说尤其重要。从实体解析的第一性原理出发,提出了一种新的实体解析算法,该算法基于数据中实体签名的概率识别,引入了数据驱动的分块和记录链接技术。所提出的算法的可扩展性和准确性进行评估,使用基准数据集,并显示达到国家的最先进的结果。所提出的算法可以简单地实现在现代并行数据库,这使得它可以部署在大型工业应用相对容易。
2018-03-19 cs.DB
Large Scale Record Linkage in the Presence of Missing Data
记录链接的目的是准确和有效地识别不同数据库中或不同数据库之间代表同一实体的记录。它是数据集成中的一项基本任务,在从健康分析到国家安全的应用领域中越来越需要准确的决策。传统的记录链接技术计算准标识(QID)值之间的字符串相似性,例如人名和地址。然而,错误、变异和缺失QID值会导致低连锁质量,因为无法准确计算记录之间的相似性。为了克服这一挑战,我们提出了一种新的技术,即使QID值包含错误或变化,或丢失,也可以准确地链接记录。我们首先使用基于Apriori的合适QID属性选择生成属性签名(级联QID值),然后使用封装记录之间的关系信息的关系签名。结合起来,这些签名可以唯一地识别单个记录,并通过记录之间的精确相似性计算来促进非常大的数据库的快速和高质量的链接。我们使用大型真实世界的数据库评估我们的方法的链接质量和可扩展性,表明即使被链接的数据库包含大量的缺失值和错误,它也可以实现高链接质量。
2021-04-19 cs.DB cs.IR
Fast Record Linkage for Company Entities
记录链接是几乎所有使用来自不同来源的结构化和非结构化数据的真实系统的重要组成部分。通常没有公用键可用于连接记录。在执行任何数据分析和进一步处理之前,通常必须完成大量数据清理和数据集成过程。虽然记录连接经常被认为是一个有点乏味但必要的步骤,但它揭示了对手头数据的宝贵见解。这些见解指导了对数据的进一步分析方法,并支持数据可视化。在这项工作中,我们专注于公司实体匹配,其中考虑到公司名称,位置和行业。我们的贡献是一个端到端的,高度可扩展的,企业级的系统,使用基于规则的链接算法与机器学习方法扩展,以占短公司名称。通过使用MinHash对搜索空间进行有效分解,大大减少了链接时间。高链接的准确性是通过建议的匹配候选人的彻底评分过程。基于真实世界的地面真实数据集,我们表明我们的方法达到了91%的召回率,而基线方法为73%。这些结果是在随着系统中使用的节点数量线性缩放时实现的。
2019-09-27 cs.DB cs.IR
d-blink: Distributed End-to-End Bayesian Entity Resolution
University of Melbourne(墨尔本大学);Colorado State University(科罗拉多州立大学);Australian Bureau of Statistics(澳大利亚统计局);Duke University(杜克大学);United States Census Bureau(美国人口普查局)
实体解析(ER;也称为记录链接或重复数据删除)是通常在没有唯一标识符的情况下合并有噪声的数据库的过程。ER方法的一个主要进步是贝叶斯生成模型的应用,它提供了一个自然的框架,用于推断具有严格量化的不确定性的潜在实体。尽管有这些优点,现有的模型在实践中受到严重限制,因为标准的推理算法在记录数量上是二次方的。虽然可以通过在单独的数据块上拟合模型来管理缩放,但这种幼稚的方法可能会在后验中引起显著的误差。在本文中,我们提出了一个可扩展的贝叶斯ER的原则模型,称为“分布式贝叶斯链接”或d-眨眼,它联合执行阻塞和ER,而不影响后验正确性。我们的方法依赖于几个关键思想,包括:(i)一个辅助变量表示,诱导的实体和记录到块的分区;(ii)一种方法,用于构建基于k-d树的平衡块;(iii)一个分布式的部分折叠吉布斯采样器与改进的混合;和(iv)快速算法执行吉布斯更新。六个数据集的实证研究-包括2010年十年一次的人口普查的案例研究-证明了我们的方法的可扩展性和有效性。
2020-09-22 cs.DB cs.LG stat.CO
Spatio-Temporal Linkage over Location Enhanced Services
我们正在目睹各种在线服务产生的数据量的巨大增长。这些数据的一个重要部分包含地理参考,因为这些服务中有许多是\emph{location-enhanced},从而产生其使用情况的时空记录。我们假设属于同一个真实世界实体的时空使用记录可以在来自不同位置增强服务的记录之间进行匹配。链接时空记录使数据分析师和服务提供商能够获得他们无法通过仅分析一组使用记录获得的信息。在本文中,我们开发了一个新的\emph{linkage model},可用于匹配实体属于两个不同的位置增强服务的两组时空使用记录。这种联系模式是基于$k$ - $l$ \emph{diversity}的概念--我们开发了这个概念来捕捉联系的空间和时间方面。为了在实践中实现这种链接模型,我们开发了一个可扩展的链接算法称为\emph{ST-Link},它利用有效的空间和时间过滤机制,显着减少匹配用户的搜索空间。此外,\emph{ST-Link}利用顺序扫描过程来避免随机磁盘访问,从而扩展到大型数据集。我们使用几个数据集评估了我们的工作的准确性和性能。实验表明,\emph{ST-Link}在实践中是有效的时空连接,并可以扩展到大数据集。
2018-01-12 cs.DB
Incremental Clustering Techniques for Multi-Party Privacy-Preserving Record Linkage
隐私保护记录链接(PPRL)支持多个数据集的敏感信息的集成,特别是涉及同一实体的记录的隐私保护匹配。PPRL在许多应用领域都得到了广泛的关注,其中最突出的是在医疗保健领域。PPRL技术通过对掩码(编码)值进行链接来解决这个问题。在来自多个(多于两个)方/源(多方PPRL,MP-PPRL)的记录上使用PPRL是一个越来越重要但具有挑战性的问题,迄今为止尚未得到充分解决。现有的MP-PPRL方法限于仅找到存在于所有参与方中的那些实体,从而丢失仅在参与方的子集中匹配的实体。此外,以前的MP-PPRL方法面临着很大的可扩展性的限制,由于需要大量的屏蔽记录之间的比较。因此,我们提出并评估新的MP-PPRL方法,找到匹配的任何子集的缔约方,仍然规模到许多缔约方。我们的方法保持集群内的所有匹配,其中这些集群是增量扩展或通过考虑记录从一方后,其他细化。使用多个真实的数据集,从3到26方,每个包含多达$5$万条记录的实证评估验证了我们的协议是有效的,并显着优于现有的MP-PPRL方法的链接质量和可扩展性。
2019-11-29 cs.DB cs.DC
CompanyName2Vec: Company Entity Matching Based on Job Ads
实体匹配是所有现实世界系统的重要组成部分,这些系统接收来自不同来源的结构化和非结构化数据。通常没有公用键可用于连接记录。大规模数据清理和集成过程需要在进行任何数据分析或进一步处理之前完成。虽然记录链接通常被认为是一个有点乏味但必要的步骤,但它揭示了有价值的见解,支持数据可视化,并指导进一步的数据分析方法。在这里,我们重点关注组织实体匹配。我们介绍CompanyName2Vec,一种新的算法来解决公司实体匹配(CEM)使用神经网络模型来学习公司名称语义从招聘广告语料库,而不依赖于任何信息匹配的公司除了它的名字。基于真实世界的数据,我们表明,CompanyName2Vec优于其他评估方法,并解决了CEM的挑战,平均成功率为89.3%。
2022-01-12 cs.DB cs.IR cs.SI
Applying recent advances in Visual Question Answering to Record Linkage
多模态记录链接是匹配来自多个源的代表同一实体的多模态记录的过程。这一领域尚未在研究中探索,我们提出了两个基于深度学习架构的解决方案,这些解决方案受到视觉问答领域最近工作的启发。我们提出的神经网络使用两个不同的融合模块,递归神经网络+卷积神经网络融合模块和堆叠注意力网络融合模块,共同结合的视觉和文本数据的记录。这些融合模型的输出是计算记录相似性的连体神经网络的输入。使用来自Avito重复广告检测数据集的数据,我们训练了这些解决方案,并从实验中得出结论,递归神经网络+卷积神经网络融合模块优于使用手工特征的简单模型。我们还发现,递归神经网络+卷积神经网络融合模块分类相似的不相似的广告更频繁,如果他们的平均描述大于40字。我们得出结论,这是因为较长的广告具有不同的分布,而较短的广告在数据集中更普遍。最后,我们还得出结论,需要对堆叠注意力网络进行进一步的研究,进一步探索视觉数据对融合模块性能的影响。
2020-07-12 cs.AI cs.DB cs.LG
Multi-Party Privacy-Preserving Record Linkage using Bloom Filters
隐私保护记录链接(PPRL),识别记录,对应于同一个真实世界的实体,由不同的各方持有的多个数据源,而不透露任何敏感信息这些记录的问题,越来越多地需要在许多现实世界的应用领域。这方面的例子包括公共卫生监督、犯罪和欺诈侦查以及国家安全。已经开发了各种技术来解决PPRL的问题,其中大多数考虑将仅来自两个来源的数据连接起来。然而,在许多实际应用中,需要链接来自两个以上来源的数据。在本文中,我们提出了一个可行的解决方案,多方PPRL使用两个有效的隐私技术:布隆过滤器编码和分布式安全求和。我们提出的协议有效地识别匹配的记录集,所有数据源具有一定的最小阈值以上的相似性。虽然是有效的,我们的协议也是安全的半诚实的对手模型下,没有一方可以了解任何其他方的数据的任何敏感信息,但所有各方了解他们的记录具有较高的相似性,由其他各方持有的记录。我们评估我们的协议,一个大型的真实选民登记数据库显示的可扩展性,链接质量和隐私的方法。
2016-12-28 cs.CR cs.DB
Embedding based Encoding Scheme for Privacy Preserving Record Linkage
Data61
针对隐私保护记录链接问题,本文提出一种基于嵌入的编码方案,将q-grams转换为嵌入向量并生成二进制表示以进行匹配,实验证明该方法在提升链接准确性的同时有效保护了实体隐私。
2025-11-01 cs.DB
An Ensemble Blocking Scheme for Entity Resolution of Large and Sparse Datasets
CareerBuilderLLC(凯业必达有限责任公司);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
实体解析(Entity Resolution),也称为记录链接或重复数据删除,是指识别同一实体的重复版本并将其合并为统一表示的过程。标准做法是使用基于规则或基于机器学习的模型,该模型比较实体对并分配分数以表示对的匹配/不匹配状态。然而,在所有记录对上执行详尽的逐对比较导致二次匹配器复杂性,因此在匹配之前执行分块步骤以将相似实体分组为较小的块,然后匹配器可以详尽地检查。已经开发了几种分块方案,以高效地将输入数据集分块到可管理的组中。在凯业必达(CB),我们对从不同来源收集的具有不同信息内容的人员配置文件的大规模数据集执行重复数据删除。我们观察到,由于我们的数据源的多方面性质,采用单一的阻塞技术并不能覆盖所有可能的场景。在本文中,我们描述了我们的集成方法来阻止,结合两种不同的阻塞技术,以利用各自的优势。
2016-09-21 cs.AI cs.DB
Transformer-Gather, Fuzzy-Reconsider: A Scalable Hybrid Framework for Entity Resolution
Department of Computer Engineering Ferdowsi University of Mashhad(费萨尔大学计算机工程系);Iranserver Inc.(Iranserver公司)
针对实体解析中的可扩展性、噪声鲁棒性和可靠性问题,提出一种结合预训练语言模型语义检索与模糊字符串匹配句法验证的混合框架,在真实任务中实现高召回率并支持CPU部署。
2025-10-24 cs.AI cs.DB cs.LG
Improved assessment of the accuracy of record linkage via an extended MaCSim approach
记录链接是将来自重叠数据源的相同实体合并在一起同时删除重复项的过程。现在,公共或私人组织以及研究人员和个人正在收集大量数据。从这个庞大的数据库中链接和分析相关信息可以为社会提供新的见解。然而,数据量的这种增加也可能增加数据库之间错误链接记录的可能性。越来越重要的是要有有效和高效的方法来连接来自不同来源的数据。因此,有必要评估链接方法实现高准确度的能力,或比较方法之间的准确度。在本文中,我们改进了基于马尔可夫链的蒙特卡罗模拟方法(MaCSim)评估的链接方法。MaCSim利用两个链接的文件,这些文件之前已经链接到类似类型的数据上,以创建一个一致性矩阵,然后使用一种拟议的算法来模拟该矩阵,该算法用于生成一致性矩阵的重新采样版本。在每个模拟中使用定义的链接方法来链接文件,并评估链接方法的准确性。这里提出的改进涉及计算每个记录对的每个链接变量值的相似性权重,这允许链接变量值的部分协议。根据每个链接变量的可调参数“公差”为该变量计算阈值。为了评估链接方法的准确性,对每个记录的正确链接比例进行了调查。扩展的MaCSim方法说明使用合成数据集提供的澳大利亚统计局(ABS)的基础上现实的数据设置。测试结果表明,更高的准确性评估的联系。
2020-10-13 cs.DB stat.AP stat.CO