A Comparison of Blocking Methods for Record Linkage
记录链接试图合并数据库，并在唯一标识符不可用时删除重复项。大多数方法使用分块技术来减少与记录链接相关的计算复杂性。我们回顾了传统的阻塞技术，通常根据一组字段属性对记录进行分区，并考虑了两种称为局部敏感哈希的方法，有时称为“私有阻塞”。“我们从召回率、缩减率和计算复杂性方面比较了这些方法。我们评估这些方法使用不同的合成合成的合成材料，并得出结论，讨论隐私相关的问题。
2014-07-11 cs.DB stat.AP
Scalable Multi-Database Privacy-Preserving Record Linkage using Counting Bloom Filters
隐私保护记录链接（PPRL）旨在集成来自不同组织的多个不同数据库的敏感信息。PPRL方法在医疗保健、国家安全和商业等实际应用领域中的需求越来越大。以前的办法主要侧重于只连接两个数据库以及使用一个专门的连接单位。将PPRL扩展到更多的数据库（多方PPRL）是一个开放的挑战，因为隐私威胁以及记录链接的计算和通信成本随着数据库的数量显着增加。因此，我们提出了一种新的编码方法的敏感数据的基础上计数布隆过滤器（CBF），以提高隐私的多方PPRL。我们还研究了优化，以减少通信和计算成本的CBF为基础的多方PPRL与不使用一个专用的链接单元。用真实数据集进行的实证评估表明了所提出的方法的可行性，并证明了其可扩展性，链接质量和隐私保护。
2017-01-05 cs.DB
Privacy-Preserving Record Linkage
给定包含由不同组织持有的个人特定数据的多个数据库，隐私保护记录链接（PPRL）旨在基于个人识别属性（例如姓名和地址）的匹配来识别和链接不同数据库中对应于同一实体/个人的记录，而不会由于隐私问题而泄露这些属性中的实际值。这个参考工作条目定义了PPRL问题，回顾了文献和关键发现，并讨论了应用和研究挑战。
2022-12-12 cs.CR cs.DB
Application of Advanced Record Linkage Techniques for Complex Population Reconstruction
The Australian National University（澳大利亚国立大学）
记录链接是从多个数据库中识别引用相同实体的记录的过程。这个过程是具有挑战性的，因为通常没有唯一的实体标识符可用。因此，联系必须依赖于部分识别属性，如人名和地址。近年来，已经看到了用于链接来自不同应用领域的数据的新技术的发展，其中主要关注的是链接包含关于不同类型实体的记录的复杂数据。先进的方法，利用记录属性之间的相似性，以及实体之间的关系，以确定集群的匹配记录已经开发出来。在这篇应用论文中，我们研究的新问题，而不是不同类型的实体，我们有数据库，其中相同的实体可以有不同的角色，这些角色随着时间的推移而变化。我们专门开发新技术，将历史出生，死亡，婚姻和人口普查记录联系起来，旨在重建这些记录在几十年内所覆盖的人口。我们的实验评估真实的苏格兰数据表明，即使先进的联动技术，考虑组，关系和时间方面，它是具有挑战性的，以实现高质量的联系，从这样复杂的数据。
2016-12-13 cs.AI cs.DB
Robust Group Linkage
我们研究组链接的问题：链接记录，指的是同一组中的实体。组链接的应用包括在同一个链中查找企业，从同一个隶属关系中查找会议参与者，从同一个团队中查找球员等。首先，虽然同一组中的不同成员可以共享属性的一些相似的全局值，但它们代表不同的实体，因此对于相同或不同的属性也可以具有不同的局部值，这需要对值多样性的高容忍度。其次，组可能很大（有数万条记录），即使使用了良好的阻塞策略，也需要高的可伸缩性。我们提出了一个两阶段的算法：第一阶段确定的核心包含的记录，很可能属于同一组，而可能的错误值是强大的;第二阶段收集有力的证据，从核心，并利用它合并更多的记录到同一组，而宽容的属性的本地值的差异。实验结果表明，我们的算法在各种现实世界的数据集上的高效率和效率。
2015-03-02 cs.DB
Accelerating Privacy-Preserving Medical Record Linkage: A Three-Party MPC Approach
本文提出一种基于安全三方计算（MPC）框架的新型高效隐私保护记录链接（PPRL）方法，在保持链接质量的同时实现高达14倍的性能提升，有效解决了大规模医疗记录链接中的隐私与效率平衡问题。
2024-11-12 cs.CR cs.DB
Incremental Clustering Techniques for Multi-Party Privacy-Preserving Record Linkage
隐私保护记录链接（PPRL）支持多个数据集的敏感信息的集成，特别是涉及同一实体的记录的隐私保护匹配。PPRL在许多应用领域都得到了广泛的关注，其中最突出的是在医疗保健领域。PPRL技术通过对掩码（编码）值进行链接来解决这个问题。在来自多个（多于两个）方/源（多方PPRL，MP-PPRL）的记录上使用PPRL是一个越来越重要但具有挑战性的问题，迄今为止尚未得到充分解决。现有的MP-PPRL方法限于仅找到存在于所有参与方中的那些实体，从而丢失仅在参与方的子集中匹配的实体。此外，以前的MP-PPRL方法面临着很大的可扩展性的限制，由于需要大量的屏蔽记录之间的比较。因此，我们提出并评估新的MP-PPRL方法，找到匹配的任何子集的缔约方，仍然规模到许多缔约方。我们的方法保持集群内的所有匹配，其中这些集群是增量扩展或通过考虑记录从一方后，其他细化。使用多个真实的数据集，从3到26方，每个包含多达$5$万条记录的实证评估验证了我们的协议是有效的，并显着优于现有的MP-PPRL方法的链接质量和可扩展性。
2019-11-29 cs.DB cs.DC
Spatio-Temporal Linkage over Location Enhanced Services
我们正在目睹各种在线服务产生的数据量的巨大增长。这些数据的一个重要部分包含地理参考，因为这些服务中有许多是\emph{location-enhanced}，从而产生其使用情况的时空记录。我们假设属于同一个真实世界实体的时空使用记录可以在来自不同位置增强服务的记录之间进行匹配。链接时空记录使数据分析师和服务提供商能够获得他们无法通过仅分析一组使用记录获得的信息。在本文中，我们开发了一个新的\emph{linkage model}，可用于匹配实体属于两个不同的位置增强服务的两组时空使用记录。这种联系模式是基于$k$ - $l$ \emph{diversity}的概念--我们开发了这个概念来捕捉联系的空间和时间方面。为了在实践中实现这种链接模型，我们开发了一个可扩展的链接算法称为\emph{ST-Link}，它利用有效的空间和时间过滤机制，显着减少匹配用户的搜索空间。此外，\emph{ST-Link}利用顺序扫描过程来避免随机磁盘访问，从而扩展到大型数据集。我们使用几个数据集评估了我们的工作的准确性和性能。实验表明，\emph{ST-Link}在实践中是有效的时空连接，并可以扩展到大数据集。
2018-01-12 cs.DB
Multi-Layer Privacy-Preserving Record Linkage with Clerical Review based on gradual information disclosure
Leipzig University（莱比锡大学）
本文提出一种多层主动学习PPRL协议，将人工复核与渐进式信息披露相结合，在控制隐私风险的同时显著提升记录链接质量。
2024-12-05 cs.CR cs.DB cs.LG
Personal Names Popularity Estimation and its Application to Record Linkage
这项研究涉及一个相当简单的公式化问题--如何估计大量人口中具有相同全名的人数。名字流行度的估计可以利用数据库中的个人名字匹配，并且对许多其他领域感兴趣。大型名称集合的一个显著特征是它们包含大量独特的项目，这对统计建模来说是一个挑战。我们调查了一些统计技术，并提出了一个简单而有效的方法，旨在获得更准确的计数估计。在我们的实验中，我们使用了一个包含大约2000万个名字出现的数据集，这些名字对应于大约1300万个真实世界的人。我们执行一个彻底的评估的名称计数估计方法和记录链接实验指导的名称流行度估计。获得的结果表明，理论上知情的方法优于简单的化学，可以在各种应用程序中是有用的。
2018-11-13 cs.DB
Embedding based Encoding Scheme for Privacy Preserving Record Linkage
针对隐私保护记录链接问题，本文提出一种基于嵌入的编码方案，将q-grams转换为嵌入向量并生成二进制表示以进行匹配，实验证明该方法在提升链接准确性的同时有效保护了实体隐私。
2025-11-01 cs.DB
Towards Split Learning-based Privacy-Preserving Record Linkage
University of Macedonia（马其顿大学）
本文研究如何利用分割学习实现隐私保护记录链接，提出基于公开参考集的新型训练方法，在保护数据隐私的同时取得与集中式SVM方法接近的匹配效果。
2024-09-02 cs.CR cs.DB cs.LG
Multi-Party Privacy-Preserving Record Linkage using Bloom Filters
隐私保护记录链接（PPRL），识别记录，对应于同一个真实世界的实体，由不同的各方持有的多个数据源，而不透露任何敏感信息这些记录的问题，越来越多地需要在许多现实世界的应用领域。这方面的例子包括公共卫生监督、犯罪和欺诈侦查以及国家安全。已经开发了各种技术来解决PPRL的问题，其中大多数考虑将仅来自两个来源的数据连接起来。然而，在许多实际应用中，需要链接来自两个以上来源的数据。在本文中，我们提出了一个可行的解决方案，多方PPRL使用两个有效的隐私技术：布隆过滤器编码和分布式安全求和。我们提出的协议有效地识别匹配的记录集，所有数据源具有一定的最小阈值以上的相似性。虽然是有效的，我们的协议也是安全的半诚实的对手模型下，没有一方可以了解任何其他方的数据的任何敏感信息，但所有各方了解他们的记录具有较高的相似性，由其他各方持有的记录。我们评估我们的协议，一个大型的真实选民登记数据库显示的可扩展性，链接质量和隐私的方法。
2016-12-28 cs.CR cs.DB
Supervised Negative Binomial Classifier for Probabilistic Record Linkage
MCG Mysore（迈索尔MCG）
出于跨各种数据库的链接记录的需要，我们提出了一种新的基于图形模型的分类器，它使用的混合泊松分布与潜变量。这个想法是通过使用贝叶斯建模技术推断其潜在的潜在错误率来深入了解匹配的每对假设记录。使用伽马先验来学习潜变量以及监督标签的新方法是独特的，并且允许主动学习。天真的假设是故意的独立性的领域提出了一个广义的理论，这类问题，而不是破坏层次的依赖关系，可能存在于不同的情况下。该分类器能够处理稀疏数据和流数据。记录链接的应用能够满足稀疏性、数据流和数据集的变化性质的几个挑战。
2019-08-11 cs.DB cs.LG stat.ML
Record Linkage to Match Customer Names: A Probabilistic Approach
The University of British Columbia（不列颠哥伦比亚大学）
考虑以下问题：给定一个由名称索引的记录数据库（例如，公司、餐馆、企业或大学的名称）和新名称，确定新名称是否在数据库中，如果是，则确定它引用的记录。这个问题是记录链接问题的一个实例，并且是一个具有挑战性的问题，因为人们不一致地使用官方名称，而是使用缩写、同义词、术语的不同顺序、术语的不同拼写、术语的短形式，并且名称可能包含错别字或间距问题。我们提供了一个概率模型，使用关系逻辑回归来找到数据库中的每个记录是给定查询的期望记录的概率，并找到相对于概率的最佳记录。基于搜索的术语匹配和翻译方法，我们的模型解决了上述许多挑战，并在现有基线失败时提供了良好的结果。使用模型输出的概率，我们可以自动搜索过程中的一部分查询，其所需的文档得到的概率高于信任阈值。我们在一家电信公司的大型真实数据集上评估了我们的模型，并将其与几个最先进的基线进行了比较。所得结果表明，我们的模型是一个很有前途的概率模型记录链接的名称。我们还测试了我们的模型在一个域上学到的知识是否可以有效地转移到一个新的域。为此，我们在来自secondString数据集的业务名称的未见过的测试集上测试我们的模型。有希望的结果表明，我们的模型可以有效地应用于看不见的数据集。最后，我们研究了我们的模型对数据集统计量的敏感性。
2018-06-26 cs.AI cs.DB
Temporal graph-based clustering for historical record linkage
The Australian National University（澳大利亚国立大学）
社会科学研究越来越多地基于大型和复杂的数据汇集，其中来自不同领域的单个数据集被链接和集成，以允许高级分析。在这种情况下使用的一种流行类型的数据是历史普查，以及出生，死亡和结婚证书。然而，就个人而言，这些数据集限制了可以进行的研究类型。具体来说，不可能随着时间的推移跟踪个人、家庭或住户。一旦这些数据集被连接起来，跨越几十年的家谱就有可能，例如，调查教育、健康、流动性、就业和社会地位如何相互影响，以及如何影响两代甚至更多代人的生活。然而，一个主要的挑战是历史数据集的准确联系，这是由于数据质量以及通常缺乏可用的地面实况数据。需要采用无监督技术，该技术可以基于通过比较单个记录生成的相似性图。在本文中，我们提出了初步的结果，从苏格兰的出生记录聚类，我们的目标是确定所有出生的同一个母亲和组的兄弟姐妹到集群。我们扩展了现有的聚类技术的记录链接，将时间约束，必须举行之间的出生由同一个母亲，并提出了一种新的贪婪的时间聚类技术。实验结果表明，非临时方法的改进，但需要进一步的工作，以获得高质量的链接。
2018-07-06 cs.AI cs.DB
A study linking patient EHR data to external death data at Stanford Medicine
本文探讨了在临床数据仓库（r-CDW）研究背景下将真实世界患者数据与外部死亡数据联系起来。我们具体介绍了斯坦福医疗保健（SHC）患者的电子健康记录（EHR）数据与美国商务部国家技术信息服务（NTIS）提供的社会保障管理局（SSA）有限访问死亡主文件（LADMF）的数据之间的联系。本手稿中提出的数据分析框架扩展了先前的方法，并且可推广到链接任何两个跨组织的真实患者数据源。电子健康记录（EHR）数据和NTIS LADMF是其他医疗中心大量使用的资源，我们希望这里介绍的方法和学习对其他人有价值。我们的研究结果表明，强联系是不完整的，弱联系是嘈杂的，即，不存在提供覆盖率和准确性的好的链接规则。此外，任何两个数据集的最佳链接规则不同于两个其他数据集的最佳链接规则，即，没有链接规则的一般化。最后，LADMF是r-CDW常用的外部死亡数据源，在死亡数据方面存在显著差距，使r-CDW有必要寻找一个以上的外部死亡数据源。我们预计，多个链接的呈现将使向最终用户呈现链接结果变得困难。本手稿是支持斯坦福医学STARR（斯坦福医学研究数据库）r-CDW的资源。这些数据作为PHI存储在我们符合HIPAA标准的数据中心并进行分析，并在STARR IRB的研发（R&D）活动中使用。
2022-11-02 cs.DB cs.IR
Literature Review Of Attribute Level And Structure Level Data Linkage Techniques
数据链接是一个重要的步骤，可以为基于证据的决策提供有价值的见解，特别是对于关键事件。在包含数百万条记录的异构数据库中执行合理的查询是一项复杂的任务，需要完全理解每个贡献数据库的模式以定义其信息的结构。主要目标是将诱导数据的结构和内容近似为简洁的概要，以便提取和链接有意义的数据驱动事实。我们确定这样的问题作为四个主要的研究问题，在数据链接：相关成本在成对匹配，记录匹配的开销，语义流的信息限制，和单顺序分类的限制。本文对数据链接的研究现状进行了综述。本文的目的是建立对数据链接的基本理解，并讨论数据链接研究领域的背景。特别是，我们专注于在属性级和结构级的近似匹配算法的最新进展相关的文献。它们的效率、功能和局限性得到了批判性的分析，并暴露出了开放式的问题。
2015-10-07 cs.DB
Applying recent advances in Visual Question Answering to Record Linkage
多模态记录链接是匹配来自多个源的代表同一实体的多模态记录的过程。这一领域尚未在研究中探索，我们提出了两个基于深度学习架构的解决方案，这些解决方案受到视觉问答领域最近工作的启发。我们提出的神经网络使用两个不同的融合模块，递归神经网络+卷积神经网络融合模块和堆叠注意力网络融合模块，共同结合的视觉和文本数据的记录。这些融合模型的输出是计算记录相似性的连体神经网络的输入。使用来自Avito重复广告检测数据集的数据，我们训练了这些解决方案，并从实验中得出结论，递归神经网络+卷积神经网络融合模块优于使用手工特征的简单模型。我们还发现，递归神经网络+卷积神经网络融合模块分类相似的不相似的广告更频繁，如果他们的平均描述大于40字。我们得出结论，这是因为较长的广告具有不同的分布，而较短的广告在数据集中更普遍。最后，我们还得出结论，需要对堆叠注意力网络进行进一步的研究，进一步探索视觉数据对融合模块性能的影响。
2020-07-12 cs.AI cs.DB cs.LG
Improved assessment of the accuracy of record linkage via an extended MaCSim approach
记录链接是将来自重叠数据源的相同实体合并在一起同时删除重复项的过程。现在，公共或私人组织以及研究人员和个人正在收集大量数据。从这个庞大的数据库中链接和分析相关信息可以为社会提供新的见解。然而，数据量的这种增加也可能增加数据库之间错误链接记录的可能性。越来越重要的是要有有效和高效的方法来连接来自不同来源的数据。因此，有必要评估链接方法实现高准确度的能力，或比较方法之间的准确度。在本文中，我们改进了基于马尔可夫链的蒙特卡罗模拟方法（MaCSim）评估的链接方法。MaCSim利用两个链接的文件，这些文件之前已经链接到类似类型的数据上，以创建一个一致性矩阵，然后使用一种拟议的算法来模拟该矩阵，该算法用于生成一致性矩阵的重新采样版本。在每个模拟中使用定义的链接方法来链接文件，并评估链接方法的准确性。这里提出的改进涉及计算每个记录对的每个链接变量值的相似性权重，这允许链接变量值的部分协议。根据每个链接变量的可调参数“公差”为该变量计算阈值。为了评估链接方法的准确性，对每个记录的正确链接比例进行了调查。扩展的MaCSim方法说明使用合成数据集提供的澳大利亚统计局（ABS）的基础上现实的数据设置。测试结果表明，更高的准确性评估的联系。
2020-10-13 cs.DB stat.AP stat.CO
Composing Differential Privacy and Secure Computation: A case study on scaling private record linkage
私有记录链接（PRL）是指根据输入匹配规则从双方不信任的数据库中识别相似的记录对的问题。我们确定了PRL解决方案必须确保的三个关键需求：1）匹配对的完美精确度和高召回率，2）端到端隐私的证明，以及3）在输入记录数量中以次二次方式扩展的通信和计算成本。我们表明，PRL的所有现有的解决方案-包括安全的2方计算（S2 PC），以及它们的变种，使用非私有或差分私有（DP）的阻塞，以确保次二次成本-违反至少一个的三个desiderata。特别是，S2 PC技术保证端到端的隐私，但具有低召回或二次成本。相比之下，对于实现次二次成本的解决方案，没有正式的端到端隐私保证。即使对于组成DP和S2 PC的解决方案也是如此：DP不允许发布关于数据库的任何确切信息，而PRL的S2 PC算法允许发布匹配记录。鉴于这一不足，我们提出了一种新的隐私模型，称为输出约束差分隐私，共享DP的强大的隐私保护，但允许真实发布的输出应用到数据的某个功能。我们将此应用到PRL，并表明，满足此隐私模型的协议允许披露的真实匹配记录，但他们的执行是不敏感的存在或不存在一个单一的非匹配记录。我们发现，以前的工作相结合的DP和S2 PC技术，甚至不能满足这个端到端的隐私模型。因此，我们开发新的协议，可证明实现这个端到端的隐私保证，连同其他两个迫切需要的PRL。
2017-09-01 cs.CR cs.DB
A Robust and Efficient Pipeline for Enterprise-Level Large-Scale Entity Resolution
Commonwealth Bank of Australia（澳大利亚共同银行）
本文提出MERAI，一种稳健高效的企业级大规模实体解析流水线，通过AI技术解决记录去重与链接问题，在高达1570万条记录的数据集上超越Dedupe和Splink，取得更高F1分数。
2025-08-05 cs.DB cs.IR cs.LG
A Novel Approach for Imputation of Missing Attribute Values for Efficient Mining of Medical Datasets - Class Based Cluster Approach
缺失属性值在文献中可用的数据集中相当常见。缺失值也是可能的，因为所有属性值可能都没有被记录，因此由于几个实际原因而不可用。对于所有这些，如果必须进行分析，则必须修复缺失的属性值。插补是分析医学数据集的第一步。因此，这已经取得了一些医学领域的研究人员的重大贡献。几个数据采掘的研究人员提出了各种方法和途径来填补缺失值。然而，很少有人专注于降维。在本文中，我们讨论了一个新的填补框架缺失值填补。我们的方法填补缺失值是植根于基于类的聚类方法，本质上是针对医疗记录降维。我们利用这些维度记录进行预测和分类分析。一个案例研究进行了讨论，说明如何填补使用所提出的方法。
2016-05-03 cs.DB cs.IR
Bayesian Graphical Entity Resolution Using Exchangeable Random Partition Priors
实体解析（记录链接或重复数据删除）是识别和链接数据库中重复记录的过程。在本文中，我们提出了一个贝叶斯图形化的实体决议，链接记录潜在的实体，在链接结构的先验表示是可交换的。首先，我们采用了灵活和听话的先验知识的链接结构，这对应于一类特殊的随机划分模型。其次，我们提出了一个更现实的失真模型的分类/离散记录属性，纠正与标准的命中-未命中模型的逻辑不一致。第三，我们结合hyperpriors来提高灵活性。第四，我们采用了部分塌陷吉布斯采样器的推理加速。使用选择的私人和非私人的数据集，我们调查我们的建模贡献的影响，并比较我们的模型与两个替代贝叶斯模型。此外，我们进行了模拟研究家庭调查数据，在那里我们不同的失真，重复率和数据集的大小。我们发现，我们的模型在各种场景中的表现比替代方案更一致，并且通常达到最高的实体分辨率准确度（F1得分）。开源软件可用于我们提出的方法，我们提供了关于我们的工作和未来方向的讨论。
2023-01-08 cs.DB stat.ME
Information Leakage in Data Linkage
本文分析传统数据关联与PPRL协议中的有意及无意信息泄露风险，指出PPRL仍可能泄露敏感信息，并为数据保管方识别和防范漏洞提供安全建议。
2025-05-13 cs.CR cs.DB
Minimally-Supervised Attribute Fusion for Data Lakes
聚合分析，例如比较不同产品类别的国家销售额与全球市场份额，通常会因为没有公共连接属性而变得复杂，例如，即使在将不同的数据从技术上摄取到一个公共数据湖中之后，也可以跨来自不同地理位置或零售连锁店的不同数据集进行分类。有时这是一个缺失数据的问题，而在其他情况下，它可能是固有的，例如，不同地理数据库中的记录可能实际上描述了不同的产品“SKU”，或者遵循不同的分类规范。记录链接技术可用于自动将不同数据源中的产品映射到一组通用的全局属性，从而实现执行联合聚合联接。传统的记录链接技术通常是无监督的，依赖于跨属性的文本相似性特征来估计匹配。在本文中，我们提出了一个集成模型结合最小的监督，使用贝叶斯网络模型与无监督的文本匹配自动化这样的“属性融合”。我们目前的结果，我们的方法对大量的现实生活中的数据，从市场研究的情况下，并与标准的记录匹配算法进行比较。最后，我们说明了如何使用机器学习的属性融合可以包括作为一个数据湖管理功能，特别是因为我们的方法还提供了匹配的置信度值，使人工干预，如果需要的话。
2017-01-04 cs.DB
A Case Study on Record Matching of Individuals in Historical Archives of Indigenous Databases
历史记录的数字化产生了大量数据，可供分析和解释。一个关键的挑战是如何将不同档案中的历史信息联系起来，以便将数据置于适当的历史背景中。本文介绍了一个真实世界的历史信息整合和记录匹配的案例研究，目的是提高档案的历史价值，包含1800年至1920年期间的数据。这些档案包含有关加拿大梅蒂斯人和土著人民以及与欧洲定居者互动的独特信息。这些档案包含数千条记录，一旦发现它们之间的关系和相互联系，这些记录的相关性就会增加。本文的贡献是一个记录链接的方法，适合于历史档案和评估其有效性。实验结果表明，具有高精度的发现历史联系，使新的历史发现的潜力。
2023-02-15 cs.DB cs.DL cs.IR
Deep Transfer Learning for Multi-source Entity Linkage via Domain Adaptation
University of Michigan（密歇根大学）；Amazon（亚马逊）
多源实体链接的重点是通过链接代表同一现实世界实体的记录来集成来自多个源的知识。这在数据清理和用户拼接等高影响力应用中至关重要。现有的实体链接流水线主要依赖于监督学习，这需要大量的训练数据。然而，当来自许多源的数据随着时间的推移而递增地到达时，收集标记良好的训练数据变得昂贵。此外，经过训练的模型很容易过拟合到特定的数据源，因此由于数据和标签分布的显著差异，无法推广到新的数据源。为了应对这些挑战，我们提出了AdaMEL，一个深度迁移学习框架，学习通用的高级知识来执行多源实体链接。AdaMEL通过属性级自注意机制对用于匹配实体的属性重要性进行建模，并通过领域自适应利用来自新数据源的大量未标记数据，使其具有通用性和数据源不可知性。此外，AdaMEL还能够整合一组额外的标记数据，以更准确地集成具有不同属性重要性的数据源。大量的实验表明，我们的框架达到了最先进的结果，平均提高了8.21%，基于监督学习的方法。此外，它在处理不同的数据源集时更稳定，运行时间更短。
2021-10-27 cs.DB cs.LG
An Innovative Imputation and Classification Approach for Accurate Disease Prediction
VNR VJIET（VNR Vignana Jyothi工程学院）；JNT University（贾瓦哈拉尔尼赫鲁科技大学）
对医学数据集缺失属性值进行填补以从医学数据集中提取隐藏知识是一个非常有挑战性的研究课题。人们无法消除医疗记录中的缺失值。原因可能是因为一些测试可能没有进行，因为它们具有成本效益，在进行临床试验时遗漏了值，可能没有记录值，以列出一些原因。数据采掘研究人员一直在提出各种方法来寻找和估算缺失值，以提高分类精度，从而可以准确预测疾病。在本文中，我们提出了一种新的填补方法填补缺失值和执行分类后固定缺失值。该方法是基于聚类的概念，目的是降维的记录。讨论的案例研究表明，通过实现降维，可以有效地固定和填补缺失值。所提出的方法分类的重要性是可见的情况下，分配单类标签，而不是多标签分配，如果不进行降维。
2016-03-10 cs.DB cs.IR cs.LG
(Almost) All of Entity Resolution
无论目标是估计居住在国会选区的人数，估计在武装冲突中死亡的人数，还是使用书目数据消除个人作者的歧义，所有这些应用程序都有一个共同的主题-整合来自多个来源的信息。在回答这些问题之前，必须以系统和准确的方式清理和集成数据库，通常称为记录链接、重复数据删除或实体解析。在这篇文章中，我们回顾了激励应用和开创性的论文，导致了这一领域的发展。具体来说，我们审查的基础工作，开始于20世纪40年代和50年代，导致现代概率记录的联系。我们回顾了实体解析、半监督和全监督方法以及规范化的聚类方法，这些方法正在整个行业和学术界用于人权、官方统计、医学、引文网络等应用。最后，我们讨论了当前的研究课题的实际意义。
2022-01-17 cs.DB stat.ME stat.ML
Assessing the accuracy of individual link with varying block sizes and cut-off values using MaCSim approach
记录链接是将来自不同数据源的属于同一实体的记录匹配在一起的过程。包括统计、卫生、政府等在内的许多组织越来越多地使用记录链接来链接行政、调查和其他文件，以创建一个强大的文件，进行更全面的分析。因此，有必要评估链接方法实现高准确度的能力或比较方法之间的准确度。在本文中，我们使用不同的块大小和不同的截止值，利用马尔可夫链为基础的蒙特卡罗模拟方法（MaCSim）的准确性进行评估的个别环节。MaCSim利用两个链接文件创建一致性矩阵。模拟一致性矩阵以生成一致性矩阵的重新采样版本。在每个模拟中使用定义的链接方法来链接文件，并评估链接方法的准确性。本文的目的是促进块大小和截止值的最佳选择，以实现高精度方面的最小化平均错误发现率和假阴性率。这些分析是使用澳大利亚统计局（ABS）提供的综合数据集进行的，结果令人鼓舞。
2020-11-23 cs.DB stat.AP stat.CO
Exploiting Redundancy, Recurrence and Parallelism: How to Link Millions of Addresses with Ten Lines of Code in Ten Minutes
准确和有效的记录链接是澳大利亚政府机构面临的一个特别重要的挑战，他们认识到，所谓的邪恶社会问题最好通过建立在大规模数据融合基础上的伙伴关系来解决。名称和地址是最常见的属性，来自不同政府机构的数据可以在此基础上进行链接。在本文中，我们主要研究地址链接问题。当数据存在重大质量问题时，联系就特别成问题。处理质量问题最常见的方法是在链接之前对原始数据进行分析。然而，如果在标准化中犯了错误，通常不可能从中恢复以正确地执行链接。本文提出了一种新的地址链接算法，特别是实用的链接大型不同的地址集，是高度可扩展的，强大的数据质量问题和简单的实现。它避免了劳动密集型和有问题的地址标准化的需要。我们证明了该算法的有效性，通过匹配两个大的地址数据集，从两个政府机构具有良好的准确性和计算效率。
2018-01-31 cs.DB cs.DS
CompanyName2Vec: Company Entity Matching Based on Job Ads
实体匹配是所有现实世界系统的重要组成部分，这些系统接收来自不同来源的结构化和非结构化数据。通常没有公用键可用于连接记录。大规模数据清理和集成过程需要在进行任何数据分析或进一步处理之前完成。虽然记录链接通常被认为是一个有点乏味但必要的步骤，但它揭示了有价值的见解，支持数据可视化，并指导进一步的数据分析方法。在这里，我们重点关注组织实体匹配。我们介绍CompanyName2Vec，一种新的算法来解决公司实体匹配（CEM）使用神经网络模型来学习公司名称语义从招聘广告语料库，而不依赖于任何信息匹配的公司除了它的名字。基于真实世界的数据，我们表明，CompanyName2Vec优于其他评估方法，并解决了CEM的挑战，平均成功率为89.3%。
2022-01-12 cs.DB cs.IR cs.SI
From Administrative Chaos to Analytical Cohorts: A Three-Stage Normalisation Pipeline for Longitudinal University Administrative Records
本文提出了一种三阶段标准化流程，用于处理纵向大学行政记录中的数据缺失问题，确保分析群体的结构一致性。
2025-12-02 cs.DB
d-blink: Distributed End-to-End Bayesian Entity Resolution
University of Melbourne（墨尔本大学）；Colorado State University（科罗拉多州立大学）；Australian Bureau of Statistics（澳大利亚统计局）；Duke University（杜克大学）；United States Census Bureau（美国人口普查局）
实体解析（ER;也称为记录链接或重复数据删除）是通常在没有唯一标识符的情况下合并有噪声的数据库的过程。ER方法的一个主要进步是贝叶斯生成模型的应用，它提供了一个自然的框架，用于推断具有严格量化的不确定性的潜在实体。尽管有这些优点，现有的模型在实践中受到严重限制，因为标准的推理算法在记录数量上是二次方的。虽然可以通过在单独的数据块上拟合模型来管理缩放，但这种幼稚的方法可能会在后验中引起显著的误差。在本文中，我们提出了一个可扩展的贝叶斯ER的原则模型，称为“分布式贝叶斯链接”或d-眨眼，它联合执行阻塞和ER，而不影响后验正确性。我们的方法依赖于几个关键思想，包括：（i）一个辅助变量表示，诱导的实体和记录到块的分区;（ii）一种方法，用于构建基于k-d树的平衡块;（iii）一个分布式的部分折叠吉布斯采样器与改进的混合;和（iv）快速算法执行吉布斯更新。六个数据集的实证研究-包括2010年十年一次的人口普查的案例研究-证明了我们的方法的可扩展性和有效性。
2020-09-22 cs.DB cs.LG stat.CO
Cross-Matching Multiple Spatial Observations and Dealing with Missing Data
交叉匹配空间集群和组织几个天文点源测量从一个或多个调查。理想情况下，每个对象都将在每次调查中找到。不幸的是，观察条件和对象本身不断变化。在某些观测中，甚至一些静止的物体也不见了;有时物体有可变的光通量，有时视宁度更差。在大多数情况下，我们面临着大量的差异，在目标检测之间的调查和观察，在不同的时间内采取相同的调查或仪器。处理这些缺失的观测结果是一个难题。第一步是将未命中分类为短暂的-当对象移动或简单地消失时，掩蔽-当噪声隐藏或破坏对象观测时，或边缘-当对象靠近观测场的边缘时。这种分类和一个空间库来表示和操纵观测足迹，有助于构建一个记录命中和未命中的匹配表。传递闭包将朋友的朋友聚集到对象束中。捆绑包汇总统计信息记录在捆绑包表中。这种设计是斯隆数字巡天交叉匹配设计的演变，该设计比较了在不同时间进行的重叠观测。交叉匹配多个空间观测和处理缺失数据。
2007-01-26 cs.CE cs.DB
A computational study on imputation methods for missing environmental data
École de Technologie Supérieure, Université du Québec（魁北克大学高等技术学院）
数据采集和以数据库形式记录是常规操作。然而，收集数据的过程可能会出现不规范的情况，导致数据库出现数据缺失。缺失的条目可能会改变分析效率，从而影响相关的决策过程。本文着重于收集与自然环境有关的信息的数据库。鉴于记录的活动范围广泛，这些数据库通常具有混合性质。因此，考虑到这一特征，评价缺失数据处理方法的性能是相关的。本文研究了几种缺失数据填补方法的性能及其在环境缺失数据问题中的应用。进行了计算研究，比较方法missForest（MF）与其他两种插补方法，即多元插补链方程（MICE）和K-最近邻（KNN）。对10个不同类型的预处理数据集进行了测试。结果显示，MF在插补误差方面通常优于MICE和KNN，与其他方法相比，MF将插补误差降低至150%的混合类型数据库的性能差距更明显。KNN通常是最快的方法。MF，然后成功地应用到魁北克污水处理厂的性能监测的案例研究。我们认为，本研究表明，使用MF作为填补方法时，处理缺失的环境数据的相关性。
2021-08-21 cs.DB cs.LG stat.AP
