Valentine: Evaluating Matching Techniques for Dataset Discovery
如今，数据科学家搜索大型数据湖来发现和集成数据集。为了将不同的数据源聚集在一起，数据集发现方法依赖于某种形式的模式匹配：在数据集之间建立对应关系的过程。传统上，模式匹配用于查找源模式和目标模式之间的匹配列对。然而，模式匹配在数据集发现方法中的使用与其原始用途不同。如今，模式匹配作为一个构建块，用于指示和排名数据集间的关系。令人惊讶的是，尽管发现方法的成功高度依赖于底层匹配算法的质量，但由于缺乏具有地面实况、参考方法实现和评估指标的开放可用数据集，最新的发现方法以自组织方式采用现有的模式匹配算法。在本文中，我们的目的是纠正的问题，评估模式匹配方法的有效性和效率的数据集发现的特定需求。为此，我们提出情人节，一个可扩展的开源实验套件，执行和组织大规模的自动匹配实验的表格数据。Valentine包含了一些重要的模式匹配方法的实现，这些方法要么是从头开始实现的（由于缺乏开源代码），要么是从开放的存储库中导入的。Valentine的贡献是：i）数据集发现方法中遇到的四种模式匹配场景的定义，ii）针对数据集发现方法的范围定制的原则性数据集制作过程，以及iii）迄今为止对模式匹配技术的最全面评估，提供对现有技术的优势和劣势的洞察，这可以作为在未来的数据集发现方法中采用模式匹配的指南。
2021-02-13 cs.DB
Schemora: schema matching via multi-stage recommendation and metadata enrichment using off-the-shelf llms
Principal Machine Learning Engineer Informatica（Informatica）；Computer Science University of Wisconsin-Madison（威斯康星大学麦迪逊分校计算机科学系）；Director of AI/ML Development Informatica（Informatica）
SCHEMORA提出一种结合大语言模型与混合检索的模式匹配框架，无需标注数据即可高效识别候选匹配，在MIMIC-OMOP上以HitRate@5提升7.49%达到新SOTA，并首次提供开源实现。
2025-07-18 cs.AI cs.DB cs.LG
It's AI Match: A Two-Step Approach for Schema Matching Using Embeddings
TU Darmstadt（达姆施塔特工业大学）；KIT（卡尔斯鲁厄理工学院）；Hochschule Karlsruhe（卡尔斯鲁厄应用技术大学）
由于数据通常存储在不同的源中，因此需要将其集成以收集所需的全局视图，以便从中创造价值并获取知识。数据集成的关键步骤是模式匹配，其目的是找到两个模式元素之间的语义对应关系。为了减少模式匹配中涉及的手动工作，已经开发了许多用于模式对应的自动确定的解决方案。在本文中，我们提出了一种新的端到端的模式匹配方法的基础上神经嵌入。主要思想是使用两步方法，包括表匹配步骤和属性匹配步骤。在这两个步骤中，我们使用不同级别的嵌入，表示整个表或单个属性。我们的研究结果表明，我们的方法是能够确定的对应关系，在一个强大的和可靠的方式相比，传统的模式匹配方法可以找到非平凡的对应关系。
2022-03-08 cs.CL cs.DB
Background Knowledge in Schema Matching: Strategy vs. Data
University of Mannheim（曼海姆大学）；SAP SE（SAP公司）
外部背景知识的使用对于自动匹配模式或本体的任务是有益的。在本文中，我们利用六个通用的知识图谱作为匹配任务的背景知识的来源。通过应用三种不同的开发策略对背景源进行了评价。我们发现，明确的战略仍然优于潜在的，战略的选择有一个更大的影响比实际的背景数据集上的策略应用于最终的对齐。虽然我们无法确定一个普遍的优势资源，但BabelNet取得了持续的良好结果。与其他匹配系统相比，我们使用BabelNet的最佳匹配器配置具有很强的竞争力，即使没有进行特定于网络的优化。
2021-06-29 cs.AI cs.DB cs.LG
ReMatch: Retrieval Enhanced Schema Matching with LLMs
Microsoft（微软公司）
本文提出ReMatch，一种基于检索增强LLM的模式匹配方法，无需预定义映射、模型训练或源数据访问，在大型真实模式上表现有效，适用于现实场景。
2024-05-30 cs.AI cs.DB
Schema matching using Gaussian mixture models with Wasserstein distance
University of Warsaw（华沙大学）；QED Software（QED软件公司）
高斯混合模型作为一种强大的工具，主要是在聚类问题中，但在特征提取，模式识别，图像分割和一般的机器学习中也有适当的准备。当面临模式匹配问题时，在不同数据块上计算的不同混合模型可以保持关于数据集结构的关键信息。为了测量或比较混合模型的结果，Wasserstein距离可能非常有用，但对于混合分布来说，它并不容易计算。本文导出了高斯混合模型间Wasserstein距离的一种可能的近似，并将其化为线性问题。此外，有关现实世界的数据的应用实例。
2022-03-31 cs.DB cs.LG stat.ML
PiLLar: Matching for Pivot Table Schema via LLM-guided Monte-Carlo Tree Search
Zhejiang University（浙江大学）
本文提出PiLLar框架，通过LLM引导的蒙特卡洛树搜索实现立方体表模式匹配，解决数据敏感性和匿名化数据带来的挑战，提升匹配精度和泛化能力。
2026-04-29 cs.DB
Schema Matching with Large Language Models: an Experimental Study
UHasselt（哈塞尔特大学）；Data Science Institute（数据科学研究所）
本研究通过健康领域基准和多种任务范围，实验评估现成大语言模型仅基于名称和描述进行模式匹配，发现其质量受上下文信息量影响，但能启动匹配过程并加速数据工程师工作。
2024-07-16 cs.AI cs.DB
ConStruM: A Structure-Guided LLM Framework for Context-Aware Schema Matching
University of Michigan（密歇根大学）
ConStruM通过结构引导的LLM框架，提供上下文感知的模式匹配，提升匹配准确性。
2026-11-05 cs.DB
Improving Schema Matching with Linked Data
随着当今公共数据集包含数十亿个数据项，越来越多的公司希望将外部数据与传统企业数据集成，以改善商业智能分析。然而，这些分布式数据源表现出异构的数据格式和术语，并且可能包含噪声数据。在本文中，我们提出了一种新的框架，使业务用户能够半自动地执行数据集成的潜在噪声的表格数据。这个框架提供了对Google Refine的扩展，它具有利用Freebase丰富类型的新颖模式匹配算法。第一个实验表明，使用关联数据将单元格值与实例和列标题与类型进行映射，可以显着提高匹配结果的质量，因此可以做出更明智的决策。
2012-05-15 cs.DB
Reducing Uncertainty of Schema Matching via Crowdsourcing with Accuracy Rates
模式匹配是数据集成系统的核心挑战。受众包平台的流行和成功的启发，我们探索使用众包来减少模式匹配的不确定性。由于众包平台对简单问题最有效，因此我们假设每个对应正确性问题（CCQ）都要求人群决定给定的对应是否应该存在于正确的匹配中。此外，群体的成员有时可能会以不同的概率返回错误的答案。个体人群工作者的准确率是返回正确答案的概率，其可以是CCQ的属性以及个体工作者的评价。我们证明了不确定性降低等于答案熵减去群体熵，并展示了如何获得它的上下界。我们提出了框架和有效的算法来动态管理CCQ，以最大限度地减少在有限的问题预算的不确定性。我们开发了两种新的方法，即“单CCQ”和“多CCQ”，自适应地选择，发布和管理问题。我们通过模拟和实际实施来验证我们的解决方案的价值。
2018-09-11 cs.DB
Knowledge Graph-based Retrieval-Augmented Generation for Schema Matching
Aalborg University（奥尔堡大学）；Eötvös Loránd University（厄特沃什·罗兰大学）
针对传统模式匹配方法语义理解不足及大模型幻觉问题，提出基于知识图谱的检索增强生成模型KG-RAG4SM，通过多类图检索与排序策略增强LLM，在多个数据集上性能显著优于现有SOTA方法，且能缓解幻觉、适配大型知识图谱。
2025-01-15 cs.CL cs.DB cs.IR
Correspondences as Decisions: JevNexus for Decision-Centric Schema Matching
University of New South Wales（新南威尔士大学）；University of Technology Sydney（悉尼科技大学）
JevNexus 将模式匹配视为有界的对应关系决策，结合类型化成对决策与证据，仅在证据不一致时进行列表式细化，在保持匹配质量的同时大幅降低延迟。
2026-10-08 cs.AI cs.DB cs.LG
Template-Based Schema Matching of Multi-Layout Tenancy Schedules:A Comparative Study of a Template-Based Hybrid Matcher and the ALITE Full Disjunction Model
本文提出一种基于模板的混合模式匹配器，结合模式级与实例级指标及匈牙利算法，将多布局租赁计划表对齐到目标模式，并在与 ALITE 的对比中取得更高 F1 分数和更低空值率。
2025-07-02 cs.DB
GRAM: Generative Retrieval Augmented Matching of Data Schemas in the Context of Data Security
Amazon Web Services（亚马逊网络服务）
本研究在数据安全背景下，利用大语言模型在零样本和少样本场景下进行数据库模式匹配，通过仅分析极少量客户数据以保护隐私，实现了在严格安全约束下的准确属性匹配。
2024-06-04 cs.AI cs.CL cs.DB
SMUTF: Schema Matching Using Generative Tags and Hybrid Features
本文提出 SMUTF 模式匹配方法，结合规则特征工程、预训练语言模型和生成式大语言模型，并引入生成式标签，同时开源 HDXSM 数据集，在多个数据集上显著超越现有最优模型。
2025-05-03 cs.AI cs.CL cs.DB
NEMA: Automatic Integration of Large Network Management Databases
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Cisco（思科）
网络管理，无论是故障分析，故障预测，性能监控和改进，通常涉及大量的数据来自不同的来源。为了有效地集成和管理这些数据源，自动找到它们的模式或本体之间的语义匹配是至关重要的。现有的数据库匹配方法主要分为两类。一种是基于模式属性（如字段名、数据类型、约束和模式结构）的模式级匹配。网络管理数据库包含大量表（例如，网络产品、事件、安全警报和日志），这些信息来自不同的部门和组，具有不统一的字段名称和架构特征。通过这些模式属性来匹配它们是不可靠的。另一类是基于实例级的匹配，使用一般的字符串相似性技术，这是不适用于大型网络管理数据库的匹配。在本文中，我们开发了一个匹配技术，大型网络MANNETWORK数据库（NEMA）部署的实例级匹配有效的数据集成和连接。我们设计的数值和非数值字段的匹配指标和分数，并提出匹配这些字段的算法。通过在大型网络管理数据库中进行基于地面真值字段对的实验，对NEMA的有效性和效率进行了评估。我们对包含1，458个字段的大型数据库进行了测量，每个字段包含超过1000万条记录，结果显示NEMA的准确率高达95%。与基线方法相比，它实现了2%-10%的精度和5倍-14倍的加速。
2020-06-01 cs.AI cs.DB
Rule-based Construction of Matching Processes
映射复杂的元数据结构在数据集成、本体对齐或模型管理等许多领域中至关重要。为了加速该过程，开发了自动匹配系统来计算可以由用户校正的映射建议。然而，构造和调优匹配策略仍然需要匹配专家的大量手动工作以及正确的映射来评估生成的映射。因此，我们提出了一个自我配置的模式匹配系统，能够自动适应给定的映射问题。我们的方法是基于分析输入模式以及中间匹配结果。各种匹配规则使用分析结果来自动构造和适配用于给定匹配任务的底层匹配过程。我们全面评估我们的方法对不同的映射问题，从模式，本体和模型管理域。评估表明，我们的系统是能够强大地返回良好的质量映射在不同的映射问题和域。
2011-08-09 cs.DB
A Semi-Automated Hybrid Schema Matching Framework for Vegetation Data Integration
本文提出一种半自动混合匹配框架SAHM，结合模式级与实例级匹配及多元统计匹配技术，用于整合分散的植被数据，在准确率和效率上显著优于现有方法。
2023-05-11 cs.DB
KcMF: A Knowledge-compliant Framework for Schema and Entity Matching with Fine-tuning-free LLMs
Zhejiang University（浙江大学）；Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新区（滨江）区块链与数据安全研究院）
本文提出无需微调 LLM 的知识合规匹配框架 KcMF，通过伪代码任务分解、DaK/EaK 知识构建及结果集成，提升模式与实体匹配的准确性和输出稳定性。
2025-02-17 cs.AI cs.CL cs.DB
Statistical Validation of Column Matching in the Database Schema Evolution of the Brazilian Public School Census
针对公开数据集版本迭代带来的数据库模式演化跟踪难题，本文提出统计方法验证巴西学校普查12年数据集的集成，用Kolmogorov-Smirnov检验实现约90%的跨版本列匹配。
2024-07-13 cs.DB
MinoanER: Schema-Agnostic, Non-Iterative, Massively Parallel Resolution of Web Entities
实体解析（ER）旨在识别不同知识库（KB）中引用同一实体的不同描述。ER受到数据网络中发布的实体描述的多样性、数量和准确性的挑战。为了解决这些问题，我们提出了MinoanER框架，它同时实现了完全自动化，支持高度异构的实体，以及ER过程的大规模并行化。MinoanER利用基于令牌的实体相似性来定义一个新的度量，该度量从最重要的关系中导出相邻实体的相似性，因为它们仅由统计数据表示。采用复合分块方法从实体的内容、邻居或名称中捕获匹配证据的不同来源。候选对比较的搜索空间是由一种新的析取块图和非迭代，大规模并行匹配算法，包括四个通用的，模式不可知的匹配规则，是相当强大的内部配置的处理。我们证明了MinoanER的有效性与现有的ER工具相比，表现出低品种的真正的知识库，但它优于他们显着匹配知识库与高品种。
2019-05-15 cs.DB
Prompt-Matcher: Leveraging Large Models to Reduce Uncertainty in Schema Matching Results
The Hong Kong Polytechnic University（香港理工大学）
针对模式匹配结果的不确定性降低问题，提出Prompt-Matcher方法，通过大模型提示进行细粒度对应关系验证，设计了$(1-1/e)$-近似选择算法与迭代更新机制，在基准数据集上实现了最先进的性能与鲁棒性。
2025-03-06 cs.AI cs.DB
XML Matchers: approaches and challenges
University of Messina（墨西拿大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）；University Mediterranea of Reggio Calabria（雷焦卡拉布里亚地中海大学）
模式匹配（SchemaMatching），即发现不同数据源模式中概念之间的语义对应关系的过程，多年来一直是数据库和人工智能研究领域的一个重要课题。在过去，它主要是针对经典数据库模型（例如，E/R模式、关系数据库等）。然而，近年来，XML在大多数不同的应用领域的广泛采用促使越来越多的研究人员设计特定于XML的模式匹配方法，称为XML Matchers，旨在发现DTD和XSD中定义的概念之间的语义匹配。XML匹配器不仅采用最初为其他数据模型设计的众所周知的技术并将其应用于DTD/XSD，而且还利用特定的XML特性（例如，DTD/XSD的层次结构）来提高模式匹配过程的性能。XML匹配器的设计是目前一个成熟的研究领域。本文的主要目标是提供一个详细的描述和分类的XML匹配器。我们首先描述DTD/XSD的特性在多大程度上影响了模式匹配任务。然后，我们介绍一个称为XML Matcher Template的模板，它描述了XML Matcher的主要组件，以及它们的角色和行为。我们说明了这些组件是如何在一些流行的XML匹配器中实现的。我们将XML Matcher模板视为客观比较方法的基准，这些方法乍看上去可能是不相关的。这个模板的引入在未来的XML匹配器的设计中会很有用。最后，我们分析了实现XML匹配器的商业工具，并介绍了与此主题密切相关的两个具有挑战性的问题，即XML源聚类和XML匹配器中的不确定…
2014-07-10 cs.AI cs.DB cs.IR
Automated Metadata Harmonization Using Entity Resolution & Contextual Embedding
IBM
ML数据整理过程通常由具有不同模式结构的异构和联合源系统组成;需要整理过程将不同模式的元数据标准化为可互操作的模式。这种手动的元数据协调和编目过程降低了ML-Ops生命周期的效率。我们展示了这个步骤的自动化与实体解析方法的帮助下，也通过使用认知数据库的Db2 Vec嵌入方法来捕获隐藏的列间和列内的关系，检测元数据的相似性，然后预测元数据列从源模式到任何标准化的模式。除了匹配模式，我们证明，它也可以推断出正确的本体结构的目标数据模型。
2020-12-01 cs.DB cs.LG
HumanAL: Calibrating Human Matching Beyond a Single Task
Northeastern University（东北大学）
这项工作提供了一个关于使用人类输入作为标签的新观点，承认人类可能会犯错。我们建立了一个人类注释者的行为配置文件，它被用作所提供的输入的特征表示。我们表明，通过利用黑盒机器学习，我们可以考虑到人类的行为和校准他们的输入，以提高标签质量。为了支持我们的主张，并提供一个概念证明，我们实验了三种不同的匹配任务，即模式匹配，实体匹配和文本匹配。我们的经验评估表明，该方法可以提高在多个设置，包括跨域（跨不同的匹配任务）收集的标签的质量。
2022-05-06 cs.DB cs.HC cs.LG
LOUC: Leave-One-Out-Calibration Measure for Analyzing Human Matcher Performance
本文提出了一种基于校准的新颖度量方法LOUC，用于评估和分析人类匹配器在模式匹配任务中的行为因素及其与性能的关系，以帮助提高标注质量。
2023-08-03 cs.DB cs.HC
Deep Learning to Jointly Schema Match, Impute, and Transform Databases
Washington University in St Louis（圣路易斯华盛顿大学）；Krembil Centre for Neuroinformatics, Centre for Addiction and Mental Health（成瘾与心理健康中心克雷姆比尔神经信息学中心）
数据科学所有领域面临的一个应用问题是协调数据源。将来自多个来源的数据与未映射且仅部分重叠的特征连接起来是开发和测试鲁棒的、可推广的算法的先决条件，特别是在医疗保健领域。我们在常见但困难的情况下处理这个问题的数值特征，如近高斯和二进制特征，其中单位的变化和变量移位使单变量摘要的简单匹配不成功。我们开发了两个新的程序来解决这个问题。首先，我们展示了多种方法的“指纹”的特征的基础上，其关联到其他功能。即使是在适度的先验信息的情况下，这也允许准确地识别大多数共享特征。其次，我们展示了一个用于数据库之间翻译的深度学习算法。与以前的方法不同，我们的算法利用发现的映射，同时识别非共享功能和学习转换的代理。在使用两个电子健康记录数据库的合成和现实世界的实验中，我们的算法在匹配变量集方面优于现有的基线，同时联合学习估算未共享或转换的变量。
2022-06-22 cs.DB cs.LG
An Automatic Schema-Instance Approach for Merging Multidimensional Data Warehouses
利用数据仓库对多维数据进行分析是企业决策中的一项重要任务，数据仓库的合并过程包括两个步骤：多维组件的匹配和多维组件的合并。当前的方法没有考虑多维数据仓库的所有特殊性，例如，只合并模式，而不合并实例;或者不利用层次结构和事实表。因此，在本文中，我们提出了一个自动合并方法的星型模式的数据仓库，工作在模式和实例级别。我们还提供了合并层次结构、维度和事实的算法。最后，我们实现了我们的合并算法，并使用合成和基准数据集验证它们。
2021-07-26 cs.DB
Multilingual Schema Matching for Wikipedia Infoboxes
最近的研究利用维基百科的多语言性作为跨语言信息检索和机器翻译的资源，以及提出了丰富其跨语言结构的技术。多语言文档的可用性也为查询结构化的维基百科内容开辟了新的机会，特别是支持跨语言的答案。作为支持这种查询的一步，在本文中，我们提出了一种方法，用于识别来自不同语言页面的信息框属性之间的映射。我们的方法以完全自动化的方式找到映射。因为它不需要训练数据，所以它是可扩展的：它不仅可以用来找到许多语言对之间的映射，而且对于代表性不足和缺乏足够训练样本的语言也很有效。我们的方法的另一个重要的好处是，它不依赖于属性名称之间的语法相似性，因此，它可以应用于具有不同形态的语言对。我们已经进行了广泛的实验评估，使用语料库组成的页面在葡萄牙语，越南语和英语。结果表明，我们的方法不仅获得了高精度和召回率，但它也优于国家的最先进的技术。我们还提出了一个案例研究表明，我们得到的多语言映射导致在维基百科内容的结构化查询的答案质量和覆盖率的大幅改善。
2011-10-30 cs.DB
Towards Scalable Schema Mapping using Large Language Models
Oregon State University（俄勒冈州立大学）；Portland State University（波特兰州立大学）
针对数据集成中手动模式映射的可扩展性挑战，本文指出了使用大语言模型进行模式映射的三个核心问题，并提出通过采样聚合、应对上下文窗口限制及数据类型预过滤等策略加以解决。
2025-05-30 cs.AI cs.DB
BDI-Kit Demo: A Toolkit for Programmable and Conversational Data Harmonization
New York University（纽约大学）
BDI-Kit通过Python API和AI辅助对话界面，解决数据协调中的异构问题，展示如何通过自动化匹配、AI推理和用户优化实现数据协调。
2026-04-07 cs.AI cs.DB
Synthesizing Products for Online Catalogs
一个高质量，全面的产品目录是必不可少的成功产品搜索引擎和购物网站，如雅虎！购物，谷歌产品搜索或必应购物。但是，保持目录最新成为一项具有挑战性的任务，需要自动化技术。在本文中，我们介绍了产品综合的问题，目录创建和维护的一个关键组成部分。给定一组由商家广告的产品，目标是识别新产品并将其与其（结构化）属性一起添加到目录中。一个根本的挑战是问题的规模：产品搜索引擎接收来自数千个商家和数百万个产品的数据;产品分类包含数千个类别，其中每个类别都有不同的模式;商家使用的产品表示与产品搜索引擎目录中使用的产品表示不同。我们提出了一个系统，提供了一个端到端的解决方案的产品综合问题，并包括组件提取，并解决问题的数据提取提供，模式和解，数据融合。我们开发了一种新颖且可扩展的模式匹配技术，该技术利用了关于报价和产品之间先前已知的实例级关联的知识;并且使用自动创建的训练集进行训练（不需要手动标记数据）。我们提出了一个实验评估我们的系统使用的数据从Bing购物超过800 K的报价，1000商家，和400个类别。评估证实，我们的方法是能够自动生成大量的准确的产品规格，我们的模式和解组件优于国家的最先进的模式匹配技术的精度和召回。
2011-05-21 cs.DB
LEAPME: Learning-based Property Matching with Embeddings
Universidad de Sevilla（塞维利亚大学）；Leipzig University（莱比锡大学）
诸如知识图谱的创建和扩展之类的数据集成任务涉及来自许多源的异构实体的融合。这些实体的匹配和融合还需要匹配和组合它们的属性（属性）。然而，以前的模式匹配方法大多只关注两个源，往往依赖于简单的相似性度量。因此，他们面临的问题，在具有挑战性的用例，如集成来自许多来源的异构产品实体。因此，我们提出了一种新的机器学习为基础的属性匹配方法称为LEAPME（学习为基础的属性匹配与嵌入），利用大量的属性名称和实例值的功能。该方法大量使用了词嵌入，以更好地利用属性名和实例值的特定于域的语义。监督机器学习的使用有助于利用词嵌入的预测能力。我们对几个多源数据集与真实世界数据的五个基线的比较评估显示了LEAPME的高有效性。我们还表明，我们的方法甚至是有效的，当训练数据从另一个领域（迁移学习）使用。
2020-10-05 cs.DB cs.LG
LEMON: Explainable Entity Matching
Norwegian University of Science and Technology（挪威科技大学）；Cognite（Cognite公司）
最先进的实体匹配（EM）方法很难解释，将可解释的AI引入EM具有重要价值。不幸的是，大多数流行的可解释性方法并不适用于EM的开箱即用，需要调整。在本文中，我们确定了三个挑战，应用本地事后特征归因方法实体匹配：跨记录的交互作用，不匹配的解释，和灵敏度的变化。我们提出了一种新的模型不可知和模式灵活的方法LEMON，它通过以下方式解决了所有三个挑战：（i）产生双重解释以避免跨记录交互效应，（ii）引入归因潜力的新概念来解释两个记录如何匹配，以及（iii）自动选择解释粒度以匹配匹配器和记录对的敏感性。在公开数据集上的实验表明，该方法对匹配器更忠实，更好地帮助用户理解匹配器的决策边界.此外，用户研究表明，与LIME标准改编的解释相比，人类受试者在看到我们所提出的方法的解释后构建反事实示例的比率从54%增加到64%，对于匹配和非匹配，从15%增加到49%。
2022-08-16 cs.CL cs.DB cs.HC
SERIMI - Resource Description Similarity, RDF Instance Matching and Interlinking
在关联数据云中发布的数据集的互连是一个具有挑战性的问题，也是语义Web成功的关键因素。基于规则的手动方法是解决这个问题的最有效的方法，但它们需要熟练的人类数据发布者经历一个费力、容易出错和耗时的过程，以手动描述两个数据集之间的规则映射实例。因此，解决这个问题的自动方法是非常受欢迎的。在本文中，我们提出了一种新的互连方法，SERIMI，自动解决这个问题。SERIMI匹配源数据集和目标数据集之间的实例，而无需事先了解这些数据集的数据、域或模式。与基准集合进行的实验表明，我们的方法大大优于国家的最先进的自动方法来解决关联数据云上的互连问题。
2011-07-06 cs.DB
Semantic Labeling Using a Deep Contextualized Language Model
Lehigh University（利哈伊大学）；Nokia Bell Labs（诺基亚贝尔实验室）
为数据表的列值自动生成模式标签具有许多数据科学应用，例如模式匹配、数据发现和链接。例如，自动提取的缺少标题的表可以由预测的模式标签填充，这大大减少了人工工作。此外，预测标签可以减少多个数据表中不一致名称的影响。了解列值和上下文信息之间的联系是一个重要但被忽视的方面，因为以前提出的方法独立地处理每个列。在本文中，我们提出了一个上下文感知的语义标记方法，同时使用列值和上下文。我们的新方法是基于语义标签的新设置，在这里我们顺序预测缺少标题的输入表的标签。我们使用预训练的上下文化语言模型BERT来合并每个数据列的值和上下文，该模型在多个自然语言处理任务中取得了显着改进。据我们所知，我们是第一个成功地应用BERT来解决语义标记任务。我们使用来自不同领域的两个真实世界的数据集来评估我们的方法，并且我们证明了在最先进的基于特征的方法的评估指标方面的实质性改进。
2020-10-30 cs.DB cs.IR cs.LG
Towards an Integrated Graph Algebra for Graph Pattern Matching with Gremlin (Extended Version)
图数据管理（也称为NoSQL）通过在查询表达性和模式灵活性之间进行不同的平衡，在灵活性和可伸缩性方面显示了有益的特性。这种独特的优势导致了一场前所未有的开发新的任务特定图系统、查询语言和数据模型的竞赛，如属性图、键值、宽列、资源描述框架（RDF）等。目前的图查询语言集中在灵活的图模式匹配上图计算框架的目标是提供指令的快速并行（分布式）执行，而图计算框架的目标是提供指令的快速并行（分布式）执行。各种基于图形的数据管理系统的快速增长导致了标准化的缺乏。Gremlin是一种图遍历语言，它提供了一个通用平台来支持任何图计算系统（如OLTP图数据库或OLAP图处理器）。我们提出了一个形式化的图模式匹配Gremlin查询。我们还研究，讨论和巩固现有的各种图代数运算到一个完整的图代数。
2019-09-07 cs.DB
Machamp: A Generalized Entity Matching Benchmark
实体匹配（Entity Matching，EM）是指确定两个不同的数据表示是否指向同一个真实世界实体的问题。它一直是数据管理社区的长期兴趣，并且在创建基准任务以及开发高级匹配技术方面付出了许多努力。然而，EM的现有基准测试任务仅限于实体的两个数据汇集是具有相同模式的结构化表的情况。同时，在数据科学的真实场景中，用于匹配的数据汇集可以是结构化的、半结构化的或非结构化的。本文提出了一个新的研究问题--广义实体匹配（GeneralizedEntityMatching），并建立了一个Machamp的基准，Machamp由七个具有不同特征的任务组成，因此能够很好地覆盖实际应用中的用例。我们总结了现有的EM基准任务的结构化表，并进行了一系列的处理和清理工作，将它们转换为不同结构的表之间的匹配任务。在此基础上，我们进一步对所提出的基准任务进行全面分析，并评估流行的实体匹配方法。在Machamp的帮助下，这是研究人员第一次可以在具有不同结构的数据汇集之间评估EM技术。
2021-06-15 cs.DB
MaDI-Bench: An End-to-End Data Integration Benchmark
提出首个端到端关系表集成基准MaDI-Bench，覆盖模式匹配、值归一化、实体匹配和冲突解决全流程，并设计任务变体缓解基准饱和，通过人工、最佳组合和基于LLM的流水线验证其有效性。
2026-10-06 cs.CL cs.DB
Sherlock: A Deep Learning Approach to Semantic Data Type Detection
MIT Media Lab（麻省理工学院媒体实验室）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Megagon Labs（Megagon实验室）
正确检测数据列的语义类型对于自动数据清理、模式匹配和数据发现等数据科学任务至关重要。现有的数据准备和分析系统依赖于字典查找和正则表达式匹配来检测语义类型。然而，这些基于匹配的方法通常对脏数据不健壮，并且仅检测有限数量的类型。我们介绍Sherlock，一个用于检测语义类型的多输入深度神经网络。我们通过将DBpedia中的$78$语义类型与列标题进行匹配，在从VizNet语料库检索的$686,765$数据列上对Sherlock进行训练。我们用描述列值的统计特性、字符分布、词嵌入和段落向量的$1,588$特征来表征每个匹配列。Sherlock的支持加权F $_1$得分为$0.89$，超过了机器学习基线、字典和正则表达式基准以及众包注释的一致性。
2019-05-25 cs.DB cs.IR cs.LG
Explain3D: Explaining Disagreements in Disjoint Datasets
数据在应用程序、分析过程和人类活动的许多方面发挥着重要作用。随着数据规模和复杂性的增长，我们迫切需要能够促进对数据相关操作的理解和解释的工具。关于解释的数据管理研究集中在这样一个假设上，即数据驻留在一个公共模式下的单个数据集中。但今天的数据的现实是，它经常是未集成的，来自不同的来源，具有不同的模式。当不同的数据集对语义相似的问题提供不同的答案时，理解差异的原因是具有挑战性的，并且无法通过现有的单数据集解决方案来处理。在本文中，我们提出了Explain 3D，一个用于解释不相交数据集（3D）之间的分歧的框架。Explain 3D的重点是确定两个语义相似的查询在两个数据集上操作的结果存在差异的原因，这些数据集具有潜在的不同模式。我们的框架利用查询执行语义映射，在其出处的相关部分，在这个映射点的差异查询的差异的原因。利用查询使Explain 3D比传统的模式匹配和记录链接技术更有优势，这些技术与查询无关。我们的工作有以下几个方面的贡献：（1）我们形式化的问题，推导出最佳的解释的语义相似的查询结果的差异不相交的数据集。(2)我们设计了一个解决最优解释问题的三阶段框架。(3)我们开发了一个智能分区优化器，提高了几个数量级的框架的效率。(4)~我们使用真实世界和合成数据进行实验，以证明Explain 3D可以有效地获得精确的解释。
2019-03-21 cs.DB
Lightning Fast Matching Dependency Discovery with Desbordante
Saint-Petersburg University（圣彼得堡大学）
研究针对匹配依赖发现算法HyMD的优化技术，采用新采样、泛化查找及依赖表示改进等方法，在Desbordante中实现优化版HyMD，实验证明其平均加速超40倍，改进版可双向集成Python供人使用。
2026-07-14 cs.AI cs.DB cs.LG
An End-to-end Point of Interest (POI) Conflation Framework
Singapore University of Technology and Design（新加坡科技设计大学）
兴趣点（POI）数据是一个有价值的语义信息源，在房地产、交通和城市规划中有许多地理空间应用。随着不同数据源的可用性，POI合并作为一种有价值的技术，通过合并来自多个源的POI数据来丰富数据质量和覆盖范围。本研究提出了一种新的端到端POI合并框架，包括六个步骤，从数据采购，模式标准化，分类映射，POI匹配，POI统一，数据验证。在新加坡东部地区进行的一项案例研究中证明了所提出的框架的可行性，其中来自五个数据源的POI数据被合并以形成统一的POI数据集。根据所进行的评估，发现生成的统一数据集比单独的五个兴趣点数据源中的任何一个都更全面和完整。此外，所提出的用于识别不同数据源之间的POI匹配的方法优于所有基线方法，当匹配超过12，000个POI以产生8，699个唯一POI时，匹配准确度为97.6%，平均运行时间低于3分钟，从而证明了该框架在密集城市环境中大规模实现的可扩展性。
2021-09-13 cs.DB cs.LG
Heterogeneity in Entity Matching: A Survey and Experimental Analysis
University of Western Ontario（韦仕敦大学）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
本文调查了实体匹配中的异质性问题，分析了不同异质性类型对匹配任务的影响，并评估了现有方法的局限性，提出了多模态匹配、人机协作等未来研究方向。
2026-02-06 cs.DB
Literature Review Of Attribute Level And Structure Level Data Linkage Techniques
数据链接是一个重要的步骤，可以为基于证据的决策提供有价值的见解，特别是对于关键事件。在包含数百万条记录的异构数据库中执行合理的查询是一项复杂的任务，需要完全理解每个贡献数据库的模式以定义其信息的结构。主要目标是将诱导数据的结构和内容近似为简洁的概要，以便提取和链接有意义的数据驱动事实。我们确定这样的问题作为四个主要的研究问题，在数据链接：相关成本在成对匹配，记录匹配的开销，语义流的信息限制，和单顺序分类的限制。本文对数据链接的研究现状进行了综述。本文的目的是建立对数据链接的基本理解，并讨论数据链接研究领域的背景。特别是，我们专注于在属性级和结构级的近似匹配算法的最新进展相关的文献。它们的效率、功能和局限性得到了批判性的分析，并暴露出了开放式的问题。
2015-10-07 cs.DB
Beyond Scale and Generation: Understanding Language Model-based Entity Matching
University of Amsterdam（阿姆斯特丹大学）
研究基于语言模型的实体匹配，通过控制因子研究Qwen3家族的多种架构、变体和大小，评估跨数据集可迁移性与计算成本，明确模型变体对双编码器的关键作用，以及不同匹配器架构性能差异因素，推动相关研究与基准设计发展。
2026-07-28 cs.CL cs.DB cs.LG
Ontology Based Information Integration: A Survey
本体构成了一个特殊的词汇表，它描述了感兴趣的领域以及该词汇表上术语的含义。基于规范的精确性，本体的概念包含多个数据和概念模型。本体的概念已经出现到广泛的应用，包括数据库集成，对等系统，电子商务，语义网等，它可以被认为是一个实用的工具，概念化的东西表示在计算机格式。本文致力于本体匹配作为信息集成的一种手段。已经从诸如数据库、信息系统和人工智能的各个领域提出了若干匹配解决方案。它们都利用了本体的不同属性，如结构，数据实例，语义和标签以及其他有价值的属性。这些解决方案有一些共同的技术，并处理类似的问题，但使用不同的方法来组合和利用他们的结果。信息集成是匹配被认为是可能的解决方案的第一类应用之一。信息集成包括数据集成、模式集成、目录集成和语义集成等多个方面。我们涵盖这些概念的本体论在我们提出的文件。
2019-09-26 cs.DB cs.IR
Contextual Graph Embeddings: Accounting for Data Characteristics in Heterogeneous Data Integration
针对异构数据集成中数据集特征影响未被深入考察、方法组合有限的问题，本研究提出整合结构细节与上下文元素的上下文图嵌入技术，其在多属性数据集测试中持续优于现有方法，为实用数据集成系统发展提供支持。
2025-11-12 cs.DB
Fast in-database cross-matching of high-cadence, high-density source lists with an up-to-date sky model
即将到来的高节奏宽视场光学望远镜将每分钟成像数十万个光源。除了检查瞬态和可变性事件的近实时数据流外，积累的数据档案是一个丰富的实验室，可用于进行补充科学发现。这项工作的目标是优化面向列的数据库技术，使建设一个完整的源和光变曲线数据库的大规模调查，这是由天文学界访问。我们采用了LOFAR的瞬态流水线作为基线，并对其进行了修改，以处理具有更高源密度的光学图像。管道将新的源列表添加到档案数据库中，同时将它们与已知的编目源进行交叉匹配，以构建完整的光变曲线档案。我们研究了几种索引和分区最大的表，允许更快的位置源查找交叉匹配算法的技术。我们监测了长期管道运行中的所有查询运行时间，其中我们处理了每个视场（$500,000$度$^{-2}$）图像源密度峰值超过$170,000$的IPHAS数据子集。我们的分析表明，一个度的decompensation宽度的水平表分区控制查询运行时间。使用索引策略，其中分区根据源decompression密集排序，产生另一个改进。由于依赖于输入源列表和结果集大小，大多数查询在次线性时间内运行，少数（<20%）在线性时间内运行。我们观察到，对于这个逻辑数据库分区模式，处理IPHAS数据的管道实现的限制节奏是25秒。
2018-03-07 astro-ph.IM cs.DB
Recognizing Variables from their Data via Deep Embeddings of Distributions
Amazon Web Services（亚马逊云科技）
自动分析和元学习的一个关键障碍是无法识别不同数据集何时包含相同变量的测量值。由于所提供的属性标签在实践中通常是无信息的，因此可以通过利用数据值本身而不是仅仅依赖于它们任意选择的变量名称来更稳健地解决该任务。在这里，我们提出了一种计算效率高的方法来识别给定的一组数据值和以前遇到的数据集的大型存储库之间的高置信度变量匹配。我们的方法比基于分布相似性的技术具有许多优势，因为我们利用了数据集的学习向量嵌入，这些数据集自适应地考虑了实践中遇到的自然形式的数据变化。基于深度集的神经架构，我们的嵌入可以针对数字和字符串数据进行计算。在数据集搜索和模式匹配任务中，我们的方法优于标准的统计技术，我们发现学习的嵌入很好地推广到新的数据源。
2019-09-11 cs.DB cs.LG stat.ML
