Scalable Multi-Database Privacy-Preserving Record Linkage using Counting Bloom Filters
隐私保护记录链接（PPRL）旨在集成来自不同组织的多个不同数据库的敏感信息。PPRL方法在医疗保健、国家安全和商业等实际应用领域中的需求越来越大。以前的办法主要侧重于只连接两个数据库以及使用一个专门的连接单位。将PPRL扩展到更多的数据库（多方PPRL）是一个开放的挑战，因为隐私威胁以及记录链接的计算和通信成本随着数据库的数量显着增加。因此，我们提出了一种新的编码方法的敏感数据的基础上计数布隆过滤器（CBF），以提高隐私的多方PPRL。我们还研究了优化，以减少通信和计算成本的CBF为基础的多方PPRL与不使用一个专用的链接单元。用真实数据集进行的实证评估表明了所提出的方法的可行性，并证明了其可扩展性，链接质量和隐私保护。
2017-01-05 cs.DB
Privacy-Preserving Record Linkage
给定包含由不同组织持有的个人特定数据的多个数据库，隐私保护记录链接（PPRL）旨在基于个人识别属性（例如姓名和地址）的匹配来识别和链接不同数据库中对应于同一实体/个人的记录，而不会由于隐私问题而泄露这些属性中的实际值。这个参考工作条目定义了PPRL问题，回顾了文献和关键发现，并讨论了应用和研究挑战。
2022-12-12 cs.CR cs.DB
Application of Advanced Record Linkage Techniques for Complex Population Reconstruction
The Australian National University（澳大利亚国立大学）
记录链接是从多个数据库中识别引用相同实体的记录的过程。这个过程是具有挑战性的，因为通常没有唯一的实体标识符可用。因此，联系必须依赖于部分识别属性，如人名和地址。近年来，已经看到了用于链接来自不同应用领域的数据的新技术的发展，其中主要关注的是链接包含关于不同类型实体的记录的复杂数据。先进的方法，利用记录属性之间的相似性，以及实体之间的关系，以确定集群的匹配记录已经开发出来。在这篇应用论文中，我们研究的新问题，而不是不同类型的实体，我们有数据库，其中相同的实体可以有不同的角色，这些角色随着时间的推移而变化。我们专门开发新技术，将历史出生，死亡，婚姻和人口普查记录联系起来，旨在重建这些记录在几十年内所覆盖的人口。我们的实验评估真实的苏格兰数据表明，即使先进的联动技术，考虑组，关系和时间方面，它是具有挑战性的，以实现高质量的联系，从这样复杂的数据。
2016-12-13 cs.AI cs.DB
Robust Group Linkage
我们研究组链接的问题：链接记录，指的是同一组中的实体。组链接的应用包括在同一个链中查找企业，从同一个隶属关系中查找会议参与者，从同一个团队中查找球员等。首先，虽然同一组中的不同成员可以共享属性的一些相似的全局值，但它们代表不同的实体，因此对于相同或不同的属性也可以具有不同的局部值，这需要对值多样性的高容忍度。其次，组可能很大（有数万条记录），即使使用了良好的阻塞策略，也需要高的可伸缩性。我们提出了一个两阶段的算法：第一阶段确定的核心包含的记录，很可能属于同一组，而可能的错误值是强大的;第二阶段收集有力的证据，从核心，并利用它合并更多的记录到同一组，而宽容的属性的本地值的差异。实验结果表明，我们的算法在各种现实世界的数据集上的高效率和效率。
2015-03-02 cs.DB
Accelerating Privacy-Preserving Medical Record Linkage: A Three-Party MPC Approach
本文提出一种基于安全三方计算（MPC）框架的新型高效隐私保护记录链接（PPRL）方法，在保持链接质量的同时实现高达14倍的性能提升，有效解决了大规模医疗记录链接中的隐私与效率平衡问题。
2024-11-12 cs.CR cs.DB
Fast Record Linkage for Company Entities
记录链接是几乎所有使用来自不同来源的结构化和非结构化数据的真实系统的重要组成部分。通常没有公用键可用于连接记录。在执行任何数据分析和进一步处理之前，通常必须完成大量数据清理和数据集成过程。虽然记录连接经常被认为是一个有点乏味但必要的步骤，但它揭示了对手头数据的宝贵见解。这些见解指导了对数据的进一步分析方法，并支持数据可视化。在这项工作中，我们专注于公司实体匹配，其中考虑到公司名称，位置和行业。我们的贡献是一个端到端的，高度可扩展的，企业级的系统，使用基于规则的链接算法与机器学习方法扩展，以占短公司名称。通过使用MinHash对搜索空间进行有效分解，大大减少了链接时间。高链接的准确性是通过建议的匹配候选人的彻底评分过程。基于真实世界的地面真实数据集，我们表明我们的方法达到了91%的召回率，而基线方法为73%。这些结果是在随着系统中使用的节点数量线性缩放时实现的。
2019-09-27 cs.DB cs.IR
Privacy-preserving Deep Learning based Record Linkage
Commonwealth Science and Industrial Research Organisation (CSIRO)（联邦科学与工业研究组织（CSIRO））；Macquarie University（麦考瑞大学）
基于深度学习的跨不同数据库的记录链接在数据集成和挖掘应用中变得越来越有用，以从多个数据源中发现新的见解。然而，由于隐私和保密性问题，组织通常不愿意或不允许与任何外部方共享其敏感数据，从而使得构建/训练用于跨不同组织的数据库的记录链接的深度学习模型具有挑战性。为了克服这一限制，我们提出了第一个基于深度学习的多方隐私保护记录链接（PPRL）协议，该协议可用于链接多个不同组织持有的敏感数据库。在我们的方法中，每个数据库所有者首先训练一个本地深度学习模型，然后将其上传到一个安全的环境中，并安全地聚合以创建一个全局模型。然后，链接单元使用全局模型来将未标记的记录对区分为匹配和非匹配。我们利用差分隐私来实现可证明的隐私保护，以防止重新识别攻击。我们使用几个大型的现实世界的数据库，我们的方法的链接质量和可扩展性进行评估，表明它可以实现高链接质量，同时提供足够的隐私保护对现有的攻击。
2022-11-03 cs.CR cs.DB cs.DS
Incremental Clustering Techniques for Multi-Party Privacy-Preserving Record Linkage
隐私保护记录链接（PPRL）支持多个数据集的敏感信息的集成，特别是涉及同一实体的记录的隐私保护匹配。PPRL在许多应用领域都得到了广泛的关注，其中最突出的是在医疗保健领域。PPRL技术通过对掩码（编码）值进行链接来解决这个问题。在来自多个（多于两个）方/源（多方PPRL，MP-PPRL）的记录上使用PPRL是一个越来越重要但具有挑战性的问题，迄今为止尚未得到充分解决。现有的MP-PPRL方法限于仅找到存在于所有参与方中的那些实体，从而丢失仅在参与方的子集中匹配的实体。此外，以前的MP-PPRL方法面临着很大的可扩展性的限制，由于需要大量的屏蔽记录之间的比较。因此，我们提出并评估新的MP-PPRL方法，找到匹配的任何子集的缔约方，仍然规模到许多缔约方。我们的方法保持集群内的所有匹配，其中这些集群是增量扩展或通过考虑记录从一方后，其他细化。使用多个真实的数据集，从3到26方，每个包含多达$5$万条记录的实证评估验证了我们的协议是有效的，并显着优于现有的MP-PPRL方法的链接质量和可扩展性。
2019-11-29 cs.DB cs.DC
Spatio-Temporal Linkage over Location Enhanced Services
我们正在目睹各种在线服务产生的数据量的巨大增长。这些数据的一个重要部分包含地理参考，因为这些服务中有许多是\emph{location-enhanced}，从而产生其使用情况的时空记录。我们假设属于同一个真实世界实体的时空使用记录可以在来自不同位置增强服务的记录之间进行匹配。链接时空记录使数据分析师和服务提供商能够获得他们无法通过仅分析一组使用记录获得的信息。在本文中，我们开发了一个新的\emph{linkage model}，可用于匹配实体属于两个不同的位置增强服务的两组时空使用记录。这种联系模式是基于$k$ - $l$ \emph{diversity}的概念--我们开发了这个概念来捕捉联系的空间和时间方面。为了在实践中实现这种链接模型，我们开发了一个可扩展的链接算法称为\emph{ST-Link}，它利用有效的空间和时间过滤机制，显着减少匹配用户的搜索空间。此外，\emph{ST-Link}利用顺序扫描过程来避免随机磁盘访问，从而扩展到大型数据集。我们使用几个数据集评估了我们的工作的准确性和性能。实验表明，\emph{ST-Link}在实践中是有效的时空连接，并可以扩展到大数据集。
2018-01-12 cs.DB
Multi-Layer Privacy-Preserving Record Linkage with Clerical Review based on gradual information disclosure
Leipzig University（莱比锡大学）
本文提出一种多层主动学习PPRL协议，将人工复核与渐进式信息披露相结合，在控制隐私风险的同时显著提升记录链接质量。
2024-12-05 cs.CR cs.DB cs.LG
Personal Names Popularity Estimation and its Application to Record Linkage
这项研究涉及一个相当简单的公式化问题--如何估计大量人口中具有相同全名的人数。名字流行度的估计可以利用数据库中的个人名字匹配，并且对许多其他领域感兴趣。大型名称集合的一个显著特征是它们包含大量独特的项目，这对统计建模来说是一个挑战。我们调查了一些统计技术，并提出了一个简单而有效的方法，旨在获得更准确的计数估计。在我们的实验中，我们使用了一个包含大约2000万个名字出现的数据集，这些名字对应于大约1300万个真实世界的人。我们执行一个彻底的评估的名称计数估计方法和记录链接实验指导的名称流行度估计。获得的结果表明，理论上知情的方法优于简单的化学，可以在各种应用程序中是有用的。
2018-11-13 cs.DB
Embedding based Encoding Scheme for Privacy Preserving Record Linkage
针对隐私保护记录链接问题，本文提出一种基于嵌入的编码方案，将q-grams转换为嵌入向量并生成二进制表示以进行匹配，实验证明该方法在提升链接准确性的同时有效保护了实体隐私。
2025-11-01 cs.DB
Towards Split Learning-based Privacy-Preserving Record Linkage
University of Macedonia（马其顿大学）
本文研究如何利用分割学习实现隐私保护记录链接，提出基于公开参考集的新型训练方法，在保护数据隐私的同时取得与集中式SVM方法接近的匹配效果。
2024-09-02 cs.CR cs.DB cs.LG
Improved assessment of the accuracy of record linkage via an extended MaCSim approach
记录链接是将来自重叠数据源的相同实体合并在一起同时删除重复项的过程。现在，公共或私人组织以及研究人员和个人正在收集大量数据。从这个庞大的数据库中链接和分析相关信息可以为社会提供新的见解。然而，数据量的这种增加也可能增加数据库之间错误链接记录的可能性。越来越重要的是要有有效和高效的方法来连接来自不同来源的数据。因此，有必要评估链接方法实现高准确度的能力，或比较方法之间的准确度。在本文中，我们改进了基于马尔可夫链的蒙特卡罗模拟方法（MaCSim）评估的链接方法。MaCSim利用两个链接的文件，这些文件之前已经链接到类似类型的数据上，以创建一个一致性矩阵，然后使用一种拟议的算法来模拟该矩阵，该算法用于生成一致性矩阵的重新采样版本。在每个模拟中使用定义的链接方法来链接文件，并评估链接方法的准确性。这里提出的改进涉及计算每个记录对的每个链接变量值的相似性权重，这允许链接变量值的部分协议。根据每个链接变量的可调参数“公差”为该变量计算阈值。为了评估链接方法的准确性，对每个记录的正确链接比例进行了调查。扩展的MaCSim方法说明使用合成数据集提供的澳大利亚统计局（ABS）的基础上现实的数据设置。测试结果表明，更高的准确性评估的联系。
2020-10-13 cs.DB stat.AP stat.CO
Multi-Party Privacy-Preserving Record Linkage using Bloom Filters
隐私保护记录链接（PPRL），识别记录，对应于同一个真实世界的实体，由不同的各方持有的多个数据源，而不透露任何敏感信息这些记录的问题，越来越多地需要在许多现实世界的应用领域。这方面的例子包括公共卫生监督、犯罪和欺诈侦查以及国家安全。已经开发了各种技术来解决PPRL的问题，其中大多数考虑将仅来自两个来源的数据连接起来。然而，在许多实际应用中，需要链接来自两个以上来源的数据。在本文中，我们提出了一个可行的解决方案，多方PPRL使用两个有效的隐私技术：布隆过滤器编码和分布式安全求和。我们提出的协议有效地识别匹配的记录集，所有数据源具有一定的最小阈值以上的相似性。虽然是有效的，我们的协议也是安全的半诚实的对手模型下，没有一方可以了解任何其他方的数据的任何敏感信息，但所有各方了解他们的记录具有较高的相似性，由其他各方持有的记录。我们评估我们的协议，一个大型的真实选民登记数据库显示的可扩展性，链接质量和隐私的方法。
2016-12-28 cs.CR cs.DB
Supervised Negative Binomial Classifier for Probabilistic Record Linkage
MCG Mysore（迈索尔MCG）
出于跨各种数据库的链接记录的需要，我们提出了一种新的基于图形模型的分类器，它使用的混合泊松分布与潜变量。这个想法是通过使用贝叶斯建模技术推断其潜在的潜在错误率来深入了解匹配的每对假设记录。使用伽马先验来学习潜变量以及监督标签的新方法是独特的，并且允许主动学习。天真的假设是故意的独立性的领域提出了一个广义的理论，这类问题，而不是破坏层次的依赖关系，可能存在于不同的情况下。该分类器能够处理稀疏数据和流数据。记录链接的应用能够满足稀疏性、数据流和数据集的变化性质的几个挑战。
2019-08-11 cs.DB cs.LG stat.ML
Record Linkage to Match Customer Names: A Probabilistic Approach
The University of British Columbia（不列颠哥伦比亚大学）
考虑以下问题：给定一个由名称索引的记录数据库（例如，公司、餐馆、企业或大学的名称）和新名称，确定新名称是否在数据库中，如果是，则确定它引用的记录。这个问题是记录链接问题的一个实例，并且是一个具有挑战性的问题，因为人们不一致地使用官方名称，而是使用缩写、同义词、术语的不同顺序、术语的不同拼写、术语的短形式，并且名称可能包含错别字或间距问题。我们提供了一个概率模型，使用关系逻辑回归来找到数据库中的每个记录是给定查询的期望记录的概率，并找到相对于概率的最佳记录。基于搜索的术语匹配和翻译方法，我们的模型解决了上述许多挑战，并在现有基线失败时提供了良好的结果。使用模型输出的概率，我们可以自动搜索过程中的一部分查询，其所需的文档得到的概率高于信任阈值。我们在一家电信公司的大型真实数据集上评估了我们的模型，并将其与几个最先进的基线进行了比较。所得结果表明，我们的模型是一个很有前途的概率模型记录链接的名称。我们还测试了我们的模型在一个域上学到的知识是否可以有效地转移到一个新的域。为此，我们在来自secondString数据集的业务名称的未见过的测试集上测试我们的模型。有希望的结果表明，我们的模型可以有效地应用于看不见的数据集。最后，我们研究了我们的模型对数据集统计量的敏感性。
2018-06-26 cs.AI cs.DB
Temporal graph-based clustering for historical record linkage
The Australian National University（澳大利亚国立大学）
社会科学研究越来越多地基于大型和复杂的数据汇集，其中来自不同领域的单个数据集被链接和集成，以允许高级分析。在这种情况下使用的一种流行类型的数据是历史普查，以及出生，死亡和结婚证书。然而，就个人而言，这些数据集限制了可以进行的研究类型。具体来说，不可能随着时间的推移跟踪个人、家庭或住户。一旦这些数据集被连接起来，跨越几十年的家谱就有可能，例如，调查教育、健康、流动性、就业和社会地位如何相互影响，以及如何影响两代甚至更多代人的生活。然而，一个主要的挑战是历史数据集的准确联系，这是由于数据质量以及通常缺乏可用的地面实况数据。需要采用无监督技术，该技术可以基于通过比较单个记录生成的相似性图。在本文中，我们提出了初步的结果，从苏格兰的出生记录聚类，我们的目标是确定所有出生的同一个母亲和组的兄弟姐妹到集群。我们扩展了现有的聚类技术的记录链接，将时间约束，必须举行之间的出生由同一个母亲，并提出了一种新的贪婪的时间聚类技术。实验结果表明，非临时方法的改进，但需要进一步的工作，以获得高质量的链接。
2018-07-06 cs.AI cs.DB
Literature Review Of Attribute Level And Structure Level Data Linkage Techniques
数据链接是一个重要的步骤，可以为基于证据的决策提供有价值的见解，特别是对于关键事件。在包含数百万条记录的异构数据库中执行合理的查询是一项复杂的任务，需要完全理解每个贡献数据库的模式以定义其信息的结构。主要目标是将诱导数据的结构和内容近似为简洁的概要，以便提取和链接有意义的数据驱动事实。我们确定这样的问题作为四个主要的研究问题，在数据链接：相关成本在成对匹配，记录匹配的开销，语义流的信息限制，和单顺序分类的限制。本文对数据链接的研究现状进行了综述。本文的目的是建立对数据链接的基本理解，并讨论数据链接研究领域的背景。特别是，我们专注于在属性级和结构级的近似匹配算法的最新进展相关的文献。它们的效率、功能和局限性得到了批判性的分析，并暴露出了开放式的问题。
2015-10-07 cs.DB
Applying recent advances in Visual Question Answering to Record Linkage
多模态记录链接是匹配来自多个源的代表同一实体的多模态记录的过程。这一领域尚未在研究中探索，我们提出了两个基于深度学习架构的解决方案，这些解决方案受到视觉问答领域最近工作的启发。我们提出的神经网络使用两个不同的融合模块，递归神经网络+卷积神经网络融合模块和堆叠注意力网络融合模块，共同结合的视觉和文本数据的记录。这些融合模型的输出是计算记录相似性的连体神经网络的输入。使用来自Avito重复广告检测数据集的数据，我们训练了这些解决方案，并从实验中得出结论，递归神经网络+卷积神经网络融合模块优于使用手工特征的简单模型。我们还发现，递归神经网络+卷积神经网络融合模块分类相似的不相似的广告更频繁，如果他们的平均描述大于40字。我们得出结论，这是因为较长的广告具有不同的分布，而较短的广告在数据集中更普遍。最后，我们还得出结论，需要对堆叠注意力网络进行进一步的研究，进一步探索视觉数据对融合模块性能的影响。
2020-07-12 cs.AI cs.DB cs.LG
An Ensemble Blocking Scheme for Entity Resolution of Large and Sparse Datasets
CareerBuilderLLC（凯业必达有限责任公司）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
实体解析（Entity Resolution），也称为记录链接或重复数据删除，是指识别同一实体的重复版本并将其合并为统一表示的过程。标准做法是使用基于规则或基于机器学习的模型，该模型比较实体对并分配分数以表示对的匹配/不匹配状态。然而，在所有记录对上执行详尽的逐对比较导致二次匹配器复杂性，因此在匹配之前执行分块步骤以将相似实体分组为较小的块，然后匹配器可以详尽地检查。已经开发了几种分块方案，以高效地将输入数据集分块到可管理的组中。在凯业必达（CB），我们对从不同来源收集的具有不同信息内容的人员配置文件的大规模数据集执行重复数据删除。我们观察到，由于我们的数据源的多方面性质，采用单一的阻塞技术并不能覆盖所有可能的场景。在本文中，我们描述了我们的集成方法来阻止，结合两种不同的阻塞技术，以利用各自的优势。
2016-09-21 cs.AI cs.DB
Composing Differential Privacy and Secure Computation: A case study on scaling private record linkage
私有记录链接（PRL）是指根据输入匹配规则从双方不信任的数据库中识别相似的记录对的问题。我们确定了PRL解决方案必须确保的三个关键需求：1）匹配对的完美精确度和高召回率，2）端到端隐私的证明，以及3）在输入记录数量中以次二次方式扩展的通信和计算成本。我们表明，PRL的所有现有的解决方案-包括安全的2方计算（S2 PC），以及它们的变种，使用非私有或差分私有（DP）的阻塞，以确保次二次成本-违反至少一个的三个desiderata。特别是，S2 PC技术保证端到端的隐私，但具有低召回或二次成本。相比之下，对于实现次二次成本的解决方案，没有正式的端到端隐私保证。即使对于组成DP和S2 PC的解决方案也是如此：DP不允许发布关于数据库的任何确切信息，而PRL的S2 PC算法允许发布匹配记录。鉴于这一不足，我们提出了一种新的隐私模型，称为输出约束差分隐私，共享DP的强大的隐私保护，但允许真实发布的输出应用到数据的某个功能。我们将此应用到PRL，并表明，满足此隐私模型的协议允许披露的真实匹配记录，但他们的执行是不敏感的存在或不存在一个单一的非匹配记录。我们发现，以前的工作相结合的DP和S2 PC技术，甚至不能满足这个端到端的隐私模型。因此，我们开发新的协议，可证明实现这个端到端的隐私保证，连同其他两个迫切需要的PRL。
2017-09-01 cs.CR cs.DB
AutoBlock: A Hands-off Blocking Framework for Entity Matching
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Carnegie Mellon University（卡内基梅隆大学）；Duke University（杜克大学）
实体匹配试图识别一个或多个数据源上引用同一真实世界实体的数据记录。事实上，大型数据集上的每个实体匹配任务都需要分块，这一步骤减少了要匹配的记录对的数量。然而，大多数传统的阻塞方法都是免学习和基于密钥的，它们的成功在很大程度上是建立在清理数据和设计阻塞密钥的人工努力上的。在本文中，我们提出了AutoBlock，一个新的放手块实体匹配框架，基于相似性保持表示学习和最近邻搜索。我们的贡献包括：（a）自动化：AutoBlock将用户从费力的数据清理和阻塞键调整中解放出来。(b)可扩展性：AutoBlock具有次二次总时间复杂度，可以轻松部署数百万条记录。(c)有效性：AutoBlock在多个大规模真实数据集上的表现优于各种竞争基准，特别是当数据集是脏的和/或非结构化的时。
2019-12-07 cs.DB cs.LG
CBLOCK: An Automatic Blocking Mechanism for Large-Scale De-duplication Tasks
重复数据删除--识别引用同一真实世界实体的不同记录--是数据集成中的一个众所周知的挑战。由于非常大的数据集禁止对每对记录进行比较，因此{ \em分块}已被确定为一种划分数据集以进行成对比较的技术，从而以{\em效率}来权衡已识别重复的{\em召回率}。传统的重复数据删除任务虽然具有挑战性，但通常涉及固定的模式，例如人口普查数据或医疗记录。然而，由于Web上存在大量不同的结构化数据集，并且需要在内容门户上对其进行有效组织，重复数据删除系统需要在新的维度上进行扩展，以处理大量的模式、任务和数据集，同时处理越来越大的问题。此外，当工作在一个地图缩减框架中时，重要的是座舱盖形成被实现为一个{ \em散列函数}，使得座舱盖设计问题更具挑战性。我们提出了CBBEE，一个解决这些挑战的系统。CBLOCK从属性域和由重复项组成的标记数据集中自动学习哈希函数。随后，CBBACK使用由原子散列函数组成的分层树结构来表示分块函数。应用可以基于架构约束来引导自动化分块过程，诸如通过指定每个块的最大大小（基于存储器要求）、强加块的不相交性（在网格环境中）、或者指定权衡召回率以获得效率的特定目标函数。作为自动生成数据块的后处理步骤，CBR { \em上滚}较小的数据块以提高召回率。我们在Yahoo！上的两个大规模重复数据消除数据集上展示了实验结果。分别由超过14万部电影和4万家餐馆组成-并展示了CBBLOCK…
2011-11-15 cs.DB
A Robust and Efficient Pipeline for Enterprise-Level Large-Scale Entity Resolution
Commonwealth Bank of Australia（澳大利亚共同银行）
本文提出MERAI，一种稳健高效的企业级大规模实体解析流水线，通过AI技术解决记录去重与链接问题，在高达1570万条记录的数据集上超越Dedupe和Splink，取得更高F1分数。
2025-08-05 cs.DB cs.IR cs.LG
Bayesian Graphical Entity Resolution Using Exchangeable Random Partition Priors
实体解析（记录链接或重复数据删除）是识别和链接数据库中重复记录的过程。在本文中，我们提出了一个贝叶斯图形化的实体决议，链接记录潜在的实体，在链接结构的先验表示是可交换的。首先，我们采用了灵活和听话的先验知识的链接结构，这对应于一类特殊的随机划分模型。其次，我们提出了一个更现实的失真模型的分类/离散记录属性，纠正与标准的命中-未命中模型的逻辑不一致。第三，我们结合hyperpriors来提高灵活性。第四，我们采用了部分塌陷吉布斯采样器的推理加速。使用选择的私人和非私人的数据集，我们调查我们的建模贡献的影响，并比较我们的模型与两个替代贝叶斯模型。此外，我们进行了模拟研究家庭调查数据，在那里我们不同的失真，重复率和数据集的大小。我们发现，我们的模型在各种场景中的表现比替代方案更一致，并且通常达到最高的实体分辨率准确度（F1得分）。开源软件可用于我们提出的方法，我们提供了关于我们的工作和未来方向的讨论。
2023-01-08 cs.DB stat.ME
Information Leakage in Data Linkage
本文分析传统数据关联与PPRL协议中的有意及无意信息泄露风险，指出PPRL仍可能泄露敏感信息，并为数据保管方识别和防范漏洞提供安全建议。
2025-05-13 cs.CR cs.DB
SC-Block: Supervised Contrastive Blocking within Entity Resolution Pipelines
University of Mannheim（曼海姆大学）；Northeastern University（东北大学）
本文提出SC-Block，一种基于监督对比学习和最近邻搜索的实体解析阻塞方法，在保持F1分数不变的前提下，使流水线运行速度提升1.5至8倍，并引入大规模基准数据集验证其效率优势。
2023-06-23 cs.DB cs.LG
Assessing the accuracy of individual link with varying block sizes and cut-off values using MaCSim approach
记录链接是将来自不同数据源的属于同一实体的记录匹配在一起的过程。包括统计、卫生、政府等在内的许多组织越来越多地使用记录链接来链接行政、调查和其他文件，以创建一个强大的文件，进行更全面的分析。因此，有必要评估链接方法实现高准确度的能力或比较方法之间的准确度。在本文中，我们使用不同的块大小和不同的截止值，利用马尔可夫链为基础的蒙特卡罗模拟方法（MaCSim）的准确性进行评估的个别环节。MaCSim利用两个链接文件创建一致性矩阵。模拟一致性矩阵以生成一致性矩阵的重新采样版本。在每个模拟中使用定义的链接方法来链接文件，并评估链接方法的准确性。本文的目的是促进块大小和截止值的最佳选择，以实现高精度方面的最小化平均错误发现率和假阴性率。这些分析是使用澳大利亚统计局（ABS）提供的综合数据集进行的，结果令人鼓舞。
2020-11-23 cs.DB stat.AP stat.CO
(Almost) All of Entity Resolution
无论目标是估计居住在国会选区的人数，估计在武装冲突中死亡的人数，还是使用书目数据消除个人作者的歧义，所有这些应用程序都有一个共同的主题-整合来自多个来源的信息。在回答这些问题之前，必须以系统和准确的方式清理和集成数据库，通常称为记录链接、重复数据删除或实体解析。在这篇文章中，我们回顾了激励应用和开创性的论文，导致了这一领域的发展。具体来说，我们审查的基础工作，开始于20世纪40年代和50年代，导致现代概率记录的联系。我们回顾了实体解析、半监督和全监督方法以及规范化的聚类方法，这些方法正在整个行业和学术界用于人权、官方统计、医学、引文网络等应用。最后，我们讨论了当前的研究课题的实际意义。
2022-01-17 cs.DB stat.ME stat.ML
d-blink: Distributed End-to-End Bayesian Entity Resolution
University of Melbourne（墨尔本大学）；Colorado State University（科罗拉多州立大学）；Australian Bureau of Statistics（澳大利亚统计局）；Duke University（杜克大学）；United States Census Bureau（美国人口普查局）
实体解析（ER;也称为记录链接或重复数据删除）是通常在没有唯一标识符的情况下合并有噪声的数据库的过程。ER方法的一个主要进步是贝叶斯生成模型的应用，它提供了一个自然的框架，用于推断具有严格量化的不确定性的潜在实体。尽管有这些优点，现有的模型在实践中受到严重限制，因为标准的推理算法在记录数量上是二次方的。虽然可以通过在单独的数据块上拟合模型来管理缩放，但这种幼稚的方法可能会在后验中引起显著的误差。在本文中，我们提出了一个可扩展的贝叶斯ER的原则模型，称为“分布式贝叶斯链接”或d-眨眼，它联合执行阻塞和ER，而不影响后验正确性。我们的方法依赖于几个关键思想，包括：（i）一个辅助变量表示，诱导的实体和记录到块的分区;（ii）一种方法，用于构建基于k-d树的平衡块;（iii）一个分布式的部分折叠吉布斯采样器与改进的混合;和（iv）快速算法执行吉布斯更新。六个数据集的实证研究-包括2010年十年一次的人口普查的案例研究-证明了我们的方法的可扩展性和有效性。
2020-09-22 cs.DB cs.LG stat.CO
