Reducing Uncertainty of Schema Matching via Crowdsourcing with Accuracy Rates
模式匹配是数据集成系统的核心挑战。受众包平台的流行和成功的启发，我们探索使用众包来减少模式匹配的不确定性。由于众包平台对简单问题最有效，因此我们假设每个对应正确性问题（CCQ）都要求人群决定给定的对应是否应该存在于正确的匹配中。此外，群体的成员有时可能会以不同的概率返回错误的答案。个体人群工作者的准确率是返回正确答案的概率，其可以是CCQ的属性以及个体工作者的评价。我们证明了不确定性降低等于答案熵减去群体熵，并展示了如何获得它的上下界。我们提出了框架和有效的算法来动态管理CCQ，以最大限度地减少在有限的问题预算的不确定性。我们开发了两种新的方法，即“单CCQ”和“多CCQ”，自适应地选择，发布和管理问题。我们通过模拟和实际实施来验证我们的解决方案的价值。
2018-09-11 cs.DB
Nonparametric Bayesian Modeling for Automated Database Schema Matching
合并数据库的问题出现在许多政府和商业应用中。模式匹配是常见的第一步，它识别数据库之间的等效字段。我们引入了一个模式匹配框架，为每个字段建立非参数贝叶斯模型，并通过计算单个模型可能生成两个字段的概率来比较它们。我们的实验表明，我们的方法是更准确和更快的比现有的基于实例的匹配算法的一部分，因为使用非参数贝叶斯模型。
2015-07-06 cs.DB cs.IR
It's AI Match: A Two-Step Approach for Schema Matching Using Embeddings
TU Darmstadt（达姆施塔特工业大学）；KIT（卡尔斯鲁厄理工学院）；Hochschule Karlsruhe（卡尔斯鲁厄应用技术大学）
由于数据通常存储在不同的源中，因此需要将其集成以收集所需的全局视图，以便从中创造价值并获取知识。数据集成的关键步骤是模式匹配，其目的是找到两个模式元素之间的语义对应关系。为了减少模式匹配中涉及的手动工作，已经开发了许多用于模式对应的自动确定的解决方案。在本文中，我们提出了一种新的端到端的模式匹配方法的基础上神经嵌入。主要思想是使用两步方法，包括表匹配步骤和属性匹配步骤。在这两个步骤中，我们使用不同级别的嵌入，表示整个表或单个属性。我们的研究结果表明，我们的方法是能够确定的对应关系，在一个强大的和可靠的方式相比，传统的模式匹配方法可以找到非平凡的对应关系。
2022-03-08 cs.CL cs.DB
Template-Based Schema Matching of Multi-Layout Tenancy Schedules:A Comparative Study of a Template-Based Hybrid Matcher and the ALITE Full Disjunction Model
本文提出一种基于模板的混合模式匹配器，结合模式级与实例级指标及匈牙利算法，将多布局租赁计划表对齐到目标模式，并在与 ALITE 的对比中取得更高 F1 分数和更低空值率。
2025-07-02 cs.DB
Schema Matching using Machine Learning
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
模式匹配是一种查找在语言上彼此相似或表示相同信息的属性的方法。在这个项目中，我们采取了一种混合的方法来解决这个问题，通过使用提供的数据和模式名称来执行一对一的模式匹配，并引入了一个全局字典的创建来实现一对多的模式匹配。我们实验了两种一对一匹配的方法，并根据它们的F分数，精确度和召回率进行比较。我们还比较了我们的方法与以前建议的方法，并强调它们之间的差异。
2019-11-24 cs.AI cs.DB cs.IR
ReMatch: Retrieval Enhanced Schema Matching with LLMs
Microsoft（微软公司）
本文提出ReMatch，一种基于检索增强LLM的模式匹配方法，无需预定义映射、模型训练或源数据访问，在大型真实模式上表现有效，适用于现实场景。
2024-05-30 cs.AI cs.DB
RACT: Retrieval Augmented Column-Table Learning and Prediction for Multi-Table Schema Matching
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Utrecht University（乌特勒支大学）；Technical University of Cologne（科隆技术大学）
提出RACT自监督框架，通过检索候选表约束列匹配空间，在多表模式匹配中优于相似性基线，精度和完整性提升高达70%。
2026-06-05 cs.DB cs.IR cs.LG
Rule-based Construction of Matching Processes
映射复杂的元数据结构在数据集成、本体对齐或模型管理等许多领域中至关重要。为了加速该过程，开发了自动匹配系统来计算可以由用户校正的映射建议。然而，构造和调优匹配策略仍然需要匹配专家的大量手动工作以及正确的映射来评估生成的映射。因此，我们提出了一个自我配置的模式匹配系统，能够自动适应给定的映射问题。我们的方法是基于分析输入模式以及中间匹配结果。各种匹配规则使用分析结果来自动构造和适配用于给定匹配任务的底层匹配过程。我们全面评估我们的方法对不同的映射问题，从模式，本体和模型管理域。评估表明，我们的系统是能够强大地返回良好的质量映射在不同的映射问题和域。
2011-08-09 cs.DB
Schema Matching with Large Language Models: an Experimental Study
UHasselt（哈塞尔特大学）；Data Science Institute（数据科学研究所）
本研究通过健康领域基准和多种任务范围，实验评估现成大语言模型仅基于名称和描述进行模式匹配，发现其质量受上下文信息量影响，但能启动匹配过程并加速数据工程师工作。
2024-07-16 cs.AI cs.DB
A Semi-Automated Hybrid Schema Matching Framework for Vegetation Data Integration
本文提出一种半自动混合匹配框架SAHM，结合模式级与实例级匹配及多元统计匹配技术，用于整合分散的植被数据，在准确率和效率上显著优于现有方法。
2023-05-11 cs.DB
Magneto: Combining Small and Large Language Models for Schema Matching
New York University；Federal University of Technology Paran\' a
针对模式匹配中SLM需训练数据、LLM计算成本高的问题，提出两阶段框架Magneto，结合二者优势，还构建了生物医学新基准，实验证明其可扩展且精度高。
2025-06-17 cs.DB cs.LG
Statistical Validation of Column Matching in the Database Schema Evolution of the Brazilian Public School Census
针对公开数据集版本迭代带来的数据库模式演化跟踪难题，本文提出统计方法验证巴西学校普查12年数据集的集成，用Kolmogorov-Smirnov检验实现约90%的跨版本列匹配。
2024-07-13 cs.DB
MinoanER: Schema-Agnostic, Non-Iterative, Massively Parallel Resolution of Web Entities
实体解析（ER）旨在识别不同知识库（KB）中引用同一实体的不同描述。ER受到数据网络中发布的实体描述的多样性、数量和准确性的挑战。为了解决这些问题，我们提出了MinoanER框架，它同时实现了完全自动化，支持高度异构的实体，以及ER过程的大规模并行化。MinoanER利用基于令牌的实体相似性来定义一个新的度量，该度量从最重要的关系中导出相邻实体的相似性，因为它们仅由统计数据表示。采用复合分块方法从实体的内容、邻居或名称中捕获匹配证据的不同来源。候选对比较的搜索空间是由一种新的析取块图和非迭代，大规模并行匹配算法，包括四个通用的，模式不可知的匹配规则，是相当强大的内部配置的处理。我们证明了MinoanER的有效性与现有的ER工具相比，表现出低品种的真正的知识库，但它优于他们显着匹配知识库与高品种。
2019-05-15 cs.DB
Validating and describing linked data portals using shapes
链接数据门户需要能够宣传和描述其内容的结构。一种充分表达和直观的模式语言将允许门户与这些结构进行通信。验证工具将有助于公布和维护链接数据，并提高其质量。最近出现了两种描述RDF图结构的模式语言：形状表达式（ShEx）和约束语言（SHACL）。在本文中，我们描述了如何使用这些形式主义可以在一个链接的数据门户网站的发展来描述和验证其内容。作为一个用例，我们指定了一个数据模型的灵感来自WebIndex数据模型，一个中等大小的链接数据门户，使用ShEx和SHACL，我们提出了一个基准，可以生成兼容的测试数据结构的任何大小。然后，我们进行了一些初步的实验，显示性能的一个验证引擎的基础上ShEx。
2017-01-31 cs.DB cs.NI
Schemora: schema matching via multi-stage recommendation and metadata enrichment using off-the-shelf llms
Principal Machine Learning Engineer Informatica（Informatica）；Computer Science University of Wisconsin-Madison（威斯康星大学麦迪逊分校计算机科学系）；Director of AI/ML Development Informatica（Informatica）
SCHEMORA提出一种结合大语言模型与混合检索的模式匹配框架，无需标注数据即可高效识别候选匹配，在MIMIC-OMOP上以HitRate@5提升7.49%达到新SOTA，并首次提供开源实现。
2025-07-18 cs.AI cs.DB cs.LG
Background Knowledge in Schema Matching: Strategy vs. Data
University of Mannheim（曼海姆大学）；SAP SE（SAP公司）
外部背景知识的使用对于自动匹配模式或本体的任务是有益的。在本文中，我们利用六个通用的知识图谱作为匹配任务的背景知识的来源。通过应用三种不同的开发策略对背景源进行了评价。我们发现，明确的战略仍然优于潜在的，战略的选择有一个更大的影响比实际的背景数据集上的策略应用于最终的对齐。虽然我们无法确定一个普遍的优势资源，但BabelNet取得了持续的良好结果。与其他匹配系统相比，我们使用BabelNet的最佳匹配器配置具有很强的竞争力，即使没有进行特定于网络的优化。
2021-06-29 cs.AI cs.DB cs.LG
Knowledge Graph-based Retrieval-Augmented Generation for Schema Matching
Aalborg University（奥尔堡大学）；Eötvös Loránd University（厄特沃什·罗兰大学）
针对传统模式匹配方法语义理解不足及大模型幻觉问题，提出基于知识图谱的检索增强生成模型KG-RAG4SM，通过多类图检索与排序策略增强LLM，在多个数据集上性能显著优于现有SOTA方法，且能缓解幻觉、适配大型知识图谱。
2026-11-09 cs.CL cs.DB cs.IR
Schema matching using Gaussian mixture models with Wasserstein distance
University of Warsaw（华沙大学）；QED Software（QED软件公司）
高斯混合模型作为一种强大的工具，主要是在聚类问题中，但在特征提取，模式识别，图像分割和一般的机器学习中也有适当的准备。当面临模式匹配问题时，在不同数据块上计算的不同混合模型可以保持关于数据集结构的关键信息。为了测量或比较混合模型的结果，Wasserstein距离可能非常有用，但对于混合分布来说，它并不容易计算。本文导出了高斯混合模型间Wasserstein距离的一种可能的近似，并将其化为线性问题。此外，有关现实世界的数据的应用实例。
2022-03-31 cs.DB cs.LG stat.ML
NEMA: Automatic Integration of Large Network Management Databases
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Cisco（思科）
网络管理，无论是故障分析，故障预测，性能监控和改进，通常涉及大量的数据来自不同的来源。为了有效地集成和管理这些数据源，自动找到它们的模式或本体之间的语义匹配是至关重要的。现有的数据库匹配方法主要分为两类。一种是基于模式属性（如字段名、数据类型、约束和模式结构）的模式级匹配。网络管理数据库包含大量表（例如，网络产品、事件、安全警报和日志），这些信息来自不同的部门和组，具有不统一的字段名称和架构特征。通过这些模式属性来匹配它们是不可靠的。另一类是基于实例级的匹配，使用一般的字符串相似性技术，这是不适用于大型网络管理数据库的匹配。在本文中，我们开发了一个匹配技术，大型网络MANNETWORK数据库（NEMA）部署的实例级匹配有效的数据集成和连接。我们设计的数值和非数值字段的匹配指标和分数，并提出匹配这些字段的算法。通过在大型网络管理数据库中进行基于地面真值字段对的实验，对NEMA的有效性和效率进行了评估。我们对包含1，458个字段的大型数据库进行了测量，每个字段包含超过1000万条记录，结果显示NEMA的准确率高达95%。与基线方法相比，它实现了2%-10%的精度和5倍-14倍的加速。
2020-06-01 cs.AI cs.DB
SMUTF: Schema Matching Using Generative Tags and Hybrid Features
本文提出 SMUTF 模式匹配方法，结合规则特征工程、预训练语言模型和生成式大语言模型，并引入生成式标签，同时开源 HDXSM 数据集，在多个数据集上显著超越现有最优模型。
2025-05-03 cs.AI cs.CL cs.DB
PoWareMatch: a Quality-aware Deep Learning Approach to Improve Human Schema Matching
Technion – Israel Institute of Technology（以色列理工学院）
模式匹配是任何数据集成过程的核心任务。在数据库、人工智能、语义Web和数据采掘领域研究多年，主要挑战仍然是在数据概念之间生成质量匹配的能力（例如，数据库属性）。在这项工作中，我们研究了一个新的角度对人类的行为匹配，研究匹配创建的过程。我们分析了常见的评价指标（精度，召回率和f-测量）的动态，相对于这个角度，并强调需要无偏匹配，以支持这种分析。无偏匹配，一个新定义的概念，描述了共同的假设，人类的决定代表可靠的评估模式对应，但是，不是一个固有的属性的人类匹配。在下文中，我们设计了PoWareMatch，其利用深度学习机制来校准和过滤遵循匹配质量的人类匹配决策，然后将其与算法匹配相结合以生成更好的匹配结果。我们提供了一个经验证据，建立在一个实验的基础上，超过200人类匹配超过共同的基准，PoWareMatch预测以及扩展匹配的好处与额外的对应关系，并产生高质量的匹配。此外，PoWareMatch的性能优于最先进的匹配算法。
2021-09-15 cs.DB cs.HC cs.LG
An Automatic Schema-Instance Approach for Merging Multidimensional Data Warehouses
利用数据仓库对多维数据进行分析是企业决策中的一项重要任务，数据仓库的合并过程包括两个步骤：多维组件的匹配和多维组件的合并。当前的方法没有考虑多维数据仓库的所有特殊性，例如，只合并模式，而不合并实例;或者不利用层次结构和事实表。因此，在本文中，我们提出了一个自动合并方法的星型模式的数据仓库，工作在模式和实例级别。我们还提供了合并层次结构、维度和事实的算法。最后，我们实现了我们的合并算法，并使用合成和基准数据集验证它们。
2021-07-26 cs.DB
Multilingual Schema Matching for Wikipedia Infoboxes
最近的研究利用维基百科的多语言性作为跨语言信息检索和机器翻译的资源，以及提出了丰富其跨语言结构的技术。多语言文档的可用性也为查询结构化的维基百科内容开辟了新的机会，特别是支持跨语言的答案。作为支持这种查询的一步，在本文中，我们提出了一种方法，用于识别来自不同语言页面的信息框属性之间的映射。我们的方法以完全自动化的方式找到映射。因为它不需要训练数据，所以它是可扩展的：它不仅可以用来找到许多语言对之间的映射，而且对于代表性不足和缺乏足够训练样本的语言也很有效。我们的方法的另一个重要的好处是，它不依赖于属性名称之间的语法相似性，因此，它可以应用于具有不同形态的语言对。我们已经进行了广泛的实验评估，使用语料库组成的页面在葡萄牙语，越南语和英语。结果表明，我们的方法不仅获得了高精度和召回率，但它也优于国家的最先进的技术。我们还提出了一个案例研究表明，我们得到的多语言映射导致在维基百科内容的结构化查询的答案质量和覆盖率的大幅改善。
2011-10-30 cs.DB
Prompt-Matcher: Leveraging Large Models to Reduce Uncertainty in Schema Matching Results
The Hong Kong Polytechnic University（香港理工大学）
针对模式匹配结果的不确定性降低问题，提出Prompt-Matcher方法，通过大模型提示进行细粒度对应关系验证，设计了$(1-1/e)$-近似选择算法与迭代更新机制，在基准数据集上实现了最先进的性能与鲁棒性。
2025-03-06 cs.AI cs.DB
Where is Linked Data in Question Answering over Linked Data?
Liber AI Research（Liber人工智能研究院）；University of Leipzig（莱比锡大学）；HTWK Leipzig（莱比锡应用技术大学）
我们认为，“知识库问答”和“关联数据上的问答”目前是同一问题的两个实例，尽管一个明确声明要处理关联数据。我们指出，缺乏现有的方法来评估问答的数据集，利用外部链接到云的其余部分或共享共同的模式。为此，我们建议创建新的评估设置，以利用语义Web的优势，实现AI完整的问答。
2020-05-07 cs.CL cs.DB
Improving the recall of decentralised linked data querying through implicit knowledge
除了抓取、索引和集中查询RDF数据之外，链接数据原则还允许通过取消引用URI来动态处理SPARQL查询。所提出的用于关联数据的链接遍历查询方法具有最新结果和分散（即，客户端）执行，但是在解引用文档中可用的不完整知识上操作，从而影响召回。在本文中，我们研究如何内隐知识-特别是通过owl：sameAs和RDFS推理发现-可以提高在这种情况下的召回。我们从一个大型抓取的实证分析开始，这个抓取包含4 m个关联数据源和1.1 g个四元组：我们（1）通过只考虑可解引用的信息来测量预期召回率，（2）通过考虑rdfs来测量召回率的提高：见以前的建议。我们进一步提出并衡量了额外考虑（3）owl：sameAs链接和（4）应用轻量级RDFS推理（特别是ρDF）的影响，以找到更多的结果，依赖于静态模式信息。我们评估我们的方法在我们的爬行实时查询。
2011-09-01 cs.DB
Correspondences as Decisions: JevNexus for Decision-Centric Schema Matching
University of New South Wales（新南威尔士大学）；University of Technology Sydney（悉尼科技大学）
JevNexus 将模式匹配视为有界的对应关系决策，结合类型化成对决策与证据，仅在证据不一致时进行列表式细化，在保持匹配质量的同时大幅降低延迟。
2026-10-08 cs.AI cs.DB cs.LG
GRAM: Generative Retrieval Augmented Matching of Data Schemas in the Context of Data Security
Amazon Web Services（亚马逊网络服务）
本研究在数据安全背景下，利用大语言模型在零样本和少样本场景下进行数据库模式匹配，通过仅分析极少量客户数据以保护隐私，实现了在严格安全约束下的准确属性匹配。
2024-06-04 cs.AI cs.CL cs.DB
Pleasantly Consuming Linked Data with RDF Data Descriptions
尽管RDF的目的是提供一种开放的、约束最小的信息表示方式，但越来越多的应用程序需要对RDF数据集的结构和值进行保证。在这方面缺少的是将RDF数据与类似于关系数据库的模式或XML中的DTD的质量保证联系起来的机制，特别是在将带有丰富的完整性约束集（如键或基数约束）的遗留数据转换为RDF时。针对这一缺点，我们提出了RDF数据描述语言（RDD），它使得有可能指定实例级的数据约束RDF。使这些约束显式化不仅有助于断言和维护数据质量，而且还为查询引擎开辟了新的优化机会，最重要的是，使用户和系统开发人员更容易制定查询。我们提出的设计目标，语法，和一个正式的，一阶逻辑为基础的RDD语义，并讨论消费关联数据的影响。
2013-12-06 cs.DB
KcMF: A Knowledge-compliant Framework for Schema and Entity Matching with Fine-tuning-free LLMs
Zhejiang University（浙江大学）；Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新区（滨江）区块链与数据安全研究院）
本文提出无需微调 LLM 的知识合规匹配框架 KcMF，通过伪代码任务分解、DaK/EaK 知识构建及结果集成，提升模式与实体匹配的准确性和输出稳定性。
2025-02-17 cs.AI cs.CL cs.DB
The Linked Data Benchmark Council (LDBC): Driving competition and collaboration in the graph data management space
本文介绍了LDBC组织及其过去十年的工作，其通过设计涵盖代表性图数据管理问题的标准基准以实现系统性能可比并促进竞争，同时开展图模式与查询语言研究。
2024-08-30 cs.DB
Synthesizing Products for Online Catalogs
一个高质量，全面的产品目录是必不可少的成功产品搜索引擎和购物网站，如雅虎！购物，谷歌产品搜索或必应购物。但是，保持目录最新成为一项具有挑战性的任务，需要自动化技术。在本文中，我们介绍了产品综合的问题，目录创建和维护的一个关键组成部分。给定一组由商家广告的产品，目标是识别新产品并将其与其（结构化）属性一起添加到目录中。一个根本的挑战是问题的规模：产品搜索引擎接收来自数千个商家和数百万个产品的数据;产品分类包含数千个类别，其中每个类别都有不同的模式;商家使用的产品表示与产品搜索引擎目录中使用的产品表示不同。我们提出了一个系统，提供了一个端到端的解决方案的产品综合问题，并包括组件提取，并解决问题的数据提取提供，模式和解，数据融合。我们开发了一种新颖且可扩展的模式匹配技术，该技术利用了关于报价和产品之间先前已知的实例级关联的知识;并且使用自动创建的训练集进行训练（不需要手动标记数据）。我们提出了一个实验评估我们的系统使用的数据从Bing购物超过800 K的报价，1000商家，和400个类别。评估证实，我们的方法是能够自动生成大量的准确的产品规格，我们的模式和解组件优于国家的最先进的模式匹配技术的精度和召回。
2011-05-21 cs.DB
XML Matchers: approaches and challenges
University of Messina（墨西拿大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）；University Mediterranea of Reggio Calabria（雷焦卡拉布里亚地中海大学）
模式匹配（SchemaMatching），即发现不同数据源模式中概念之间的语义对应关系的过程，多年来一直是数据库和人工智能研究领域的一个重要课题。在过去，它主要是针对经典数据库模型（例如，E/R模式、关系数据库等）。然而，近年来，XML在大多数不同的应用领域的广泛采用促使越来越多的研究人员设计特定于XML的模式匹配方法，称为XML Matchers，旨在发现DTD和XSD中定义的概念之间的语义匹配。XML匹配器不仅采用最初为其他数据模型设计的众所周知的技术并将其应用于DTD/XSD，而且还利用特定的XML特性（例如，DTD/XSD的层次结构）来提高模式匹配过程的性能。XML匹配器的设计是目前一个成熟的研究领域。本文的主要目标是提供一个详细的描述和分类的XML匹配器。我们首先描述DTD/XSD的特性在多大程度上影响了模式匹配任务。然后，我们介绍一个称为XML Matcher Template的模板，它描述了XML Matcher的主要组件，以及它们的角色和行为。我们说明了这些组件是如何在一些流行的XML匹配器中实现的。我们将XML Matcher模板视为客观比较方法的基准，这些方法乍看上去可能是不相关的。这个模板的引入在未来的XML匹配器的设计中会很有用。最后，我们分析了实现XML匹配器的商业工具，并介绍了与此主题密切相关的两个具有挑战性的问题，即XML源聚类和XML匹配器中的不确定…
2014-07-10 cs.AI cs.DB cs.IR
SERIMI - Resource Description Similarity, RDF Instance Matching and Interlinking
在关联数据云中发布的数据集的互连是一个具有挑战性的问题，也是语义Web成功的关键因素。基于规则的手动方法是解决这个问题的最有效的方法，但它们需要熟练的人类数据发布者经历一个费力、容易出错和耗时的过程，以手动描述两个数据集之间的规则映射实例。因此，解决这个问题的自动方法是非常受欢迎的。在本文中，我们提出了一种新的互连方法，SERIMI，自动解决这个问题。SERIMI匹配源数据集和目标数据集之间的实例，而无需事先了解这些数据集的数据、域或模式。与基准集合进行的实验表明，我们的方法大大优于国家的最先进的自动方法来解决关联数据云上的互连问题。
2011-07-06 cs.DB
Automated Metadata Harmonization Using Entity Resolution & Contextual Embedding
IBM
ML数据整理过程通常由具有不同模式结构的异构和联合源系统组成;需要整理过程将不同模式的元数据标准化为可互操作的模式。这种手动的元数据协调和编目过程降低了ML-Ops生命周期的效率。我们展示了这个步骤的自动化与实体解析方法的帮助下，也通过使用认知数据库的Db2 Vec嵌入方法来捕获隐藏的列间和列内的关系，检测元数据的相似性，然后预测元数据列从源模式到任何标准化的模式。除了匹配模式，我们证明，它也可以推断出正确的本体结构的目标数据模型。
2020-12-01 cs.DB cs.LG
LinkedCT: A Linked Data Space for Clinical Trials
Linked Clinical Trials（LinkedCT）项目旨在发布第一个开放的临床试验数据语义网数据源。LinkedCT公开的数据库是通过以下方式生成的：（1）将现有的临床试验数据源转换为RDF，以及（2）发现试验数据中的记录与其他几个数据源之间的语义链接。在本文中，我们讨论了这两个步骤所涉及的几个挑战，并提出了在LinkedCT中使用的方法来克服这些挑战。我们的语义链接发现的方法涉及使用国家的最先进的近似字符串匹配技术结合基于本体的语义匹配的记录，所有的声明性和易于使用的框架中进行。我们提出了一个评估我们提出的技术在几个链接发现的情况下，在LinkedCT的性能。
2009-08-04 cs.CE cs.DB cs.IR
The XML and Semantic Web Worlds: Technologies, Interoperability and Integration. A Survey of the State of the Art
在新兴的数据网络的背景下，大量的组织、机构和公司（例如，DBpedia、Geonames、PubMed ACM、IEEE、NASA、BBC）采用关联数据实践，并利用语义网（SW）技术发布其数据。另一方面，当今Web中信息交换的主导标准是XML。许多国际标准（例如，Dublin Core、MPEG-7、METS、TEI、IEEE LOM）已经用XML Schema表示，从而产生了大量的XML数据集。SW和XML世界及其开发的基础设施基于不同的数据模型、语义和查询语言。因此，提供互操作性和集成机制来弥合SW和XML世界之间的差距是至关重要的。在本章中，我们将对XML和SW世界所采用的技术和标准进行概述和比较。此外，我们还概述了W3C小组的最新工作，包括最新的工作草案和建议（例如，OWL 2、SPARQL 1.1、XML Schema 1.1）。此外，我们提出了一个调查的研究方法，旨在提供XML和SW世界之间的互操作性和集成。最后，我们提出了SPARQL 2XQuery和XS 2 OWL框架，它们弥合了这两个世界之间的差距，并创建了一个可互操作的环境。这些框架提供了以下机制：（a）查询转换（SPARQL到XQuery转换）;（b）映射规范和生成（本体到XML模式映射）;以及（c）模式转换（XML模式到OWL转换）。
2016-08-11 cs.DB
A Framework for Managing Evolving Information Resources on the Data Web
数据网络带来了保存和维持相互关联的数据集内不断变化的信息的需要;然而，数据保存的一个基本要求也是维护数据集的结构特征。由于开放数据往往使用不同和/或异构的数据模型和图式从一个来源到另一个来源，有必要调和这些不匹配，并在多个层面上提供共同的解释名称，以便能够保存和管理所产生的资源的演变。在本文中，我们提出了一个链接数据的方法，保存和归档的开放异构数据集，随着时间的推移，在结构和语义层。首先，我们提出了一套不断变化的链接数据集建模的要求。然后，我们继续概念化的建模框架不断发展的实体，并将这些在一个2x2的模型空间，包括语义和时间维度。
2015-05-05 cs.DB
LOUC: Leave-One-Out-Calibration Measure for Analyzing Human Matcher Performance
本文提出了一种基于校准的新颖度量方法LOUC，用于评估和分析人类匹配器在模式匹配任务中的行为因素及其与性能的关系，以帮助提高标注质量。
2023-08-03 cs.DB cs.HC
Deep Learning to Jointly Schema Match, Impute, and Transform Databases
Washington University in St Louis（圣路易斯华盛顿大学）；Krembil Centre for Neuroinformatics, Centre for Addiction and Mental Health（成瘾与心理健康中心克雷姆比尔神经信息学中心）
数据科学所有领域面临的一个应用问题是协调数据源。将来自多个来源的数据与未映射且仅部分重叠的特征连接起来是开发和测试鲁棒的、可推广的算法的先决条件，特别是在医疗保健领域。我们在常见但困难的情况下处理这个问题的数值特征，如近高斯和二进制特征，其中单位的变化和变量移位使单变量摘要的简单匹配不成功。我们开发了两个新的程序来解决这个问题。首先，我们展示了多种方法的“指纹”的特征的基础上，其关联到其他功能。即使是在适度的先验信息的情况下，这也允许准确地识别大多数共享特征。其次，我们展示了一个用于数据库之间翻译的深度学习算法。与以前的方法不同，我们的算法利用发现的映射，同时识别非共享功能和学习转换的代理。在使用两个电子健康记录数据库的合成和现实世界的实验中，我们的算法在匹配变量集方面优于现有的基线，同时联合学习估算未共享或转换的变量。
2022-06-22 cs.DB cs.LG
Towards Scalable Schema Mapping using Large Language Models
Oregon State University（俄勒冈州立大学）；Portland State University（波特兰州立大学）
针对数据集成中手动模式映射的可扩展性挑战，本文指出了使用大语言模型进行模式映射的三个核心问题，并提出通过采样聚合、应对上下文窗口限制及数据类型预过滤等策略加以解决。
2025-05-30 cs.AI cs.DB
Jekyll RDF: Template-Based Linked Data Publication with Minimized Effort and Maximum Scalability
在过去的几十年里，Web已经从一个人与人之间的通信网络发展成为一个复杂的人机交互网络。越来越多的数据以关联数据的形式提供，这使得机器能够“理解”数据，但RDF并不意味着人类可以理解。通过JekyllRDF，我们提出了一种方法，通过将RDF数据集发布为可定制的静态HTML站点，来缩小结构化数据和人类可访问的探索接口之间的差距。它由一个RDF资源映射系统、一个基于模式类的模板映射和一个置标语言组成，RDF资源映射系统用于为各自的IRI下的资源提供服务，模板映射用于定义呈现定制资源页面的模板。使用模板系统，可以在Linked Data资源旁边为RDF数据创建特定于域的浏览界面。这使得内容管理和知识管理系统能够以高度可定制、低工作量和可扩展的方式提供数据集，供机器和人类使用。
2021-12-10 cs.DB cs.NI
Luzzu - A Framework for Linked Data Quality Assessment
随着链接开放数据云[9]的日益普及和增长，RDFa，微格式和其他将数据嵌入普通网页的方式，以及schema.org等举措，Web目前正在补充数据网络。因此，数据网与原来的文件网有许多共同的特点，但质量也各不相同。这种异质性使得确定Web上发布的数据的质量以及随后将这些信息明确地提供给数据消费者变得非常具有挑战性。本文的主要贡献是LUZZU，一个关联开放数据的质量评估框架。除了提供可用于数据清理的质量元数据和质量问题报告外，LUZZU还具有可扩展性：第三方指标可以轻松插入框架中。该框架不依赖于SPARQL端点，因此没有随之而来的所有问题，比如查询超时。基于SPARQL的质量评估框架的另一个优点是，LUZZU中实现的度量可以具有比三重匹配更复杂的功能。使用该框架，我们进行了质量评估的LOD云上可用的一些统计链接的数据集。在这次评估中，实施了来自10个不同维度的25个指标。
2016-01-07 cs.DB cs.SE
Integrating Space, Time, Version and Scale Using Alexandrov Topologies
本文介绍了一种新的空间数据库设计方法。而不是扩展规范的固体-面-边-顶点模式，说，“hypersolid”这些类一般化到一个共同的类型SpatialEntity，和两个连续类之间的个别BoundedBy关系一般化到一个BoundedBy关系SpatialEntity实例。然后对（SpatialEntity，BoundedBy）是所谓的关联图。这种方法的新颖性使用了这样的观察，即关联图表示SpatialEntity实例的拓扑空间，因为BoundedBy关系为它们定义了所谓的Alexandrov拓扑，将它们变成拓扑空间。因此，空间数据成为数学拓扑学的一部分，拓扑学可以立即应用于空间数据。例如，空间数据的两个实例之间的连续函数允许泛化的一致建模。进一步，还可以建立空间数据维的形式化拓扑定义，任意维的每个拓扑数据模型都得到一个简单统一的数据模型。这个模型覆盖了时空，空间模型的版本历史也可以用Alexandrov拓扑来表示。通过将空间，时间，版本和规模集成到一个单一的模式中，通过拓扑结构实现了跨这些方面的拓扑查询。事实上，拓扑结构涵盖了空间的关系完备查询语言，并且可以被重新定义以相应地对它们的图表示进行操作。通过这些观察，开发了用于6维和更多维的空间数据模型的关系数据库模式。该模式无缝集成了4D时空、细节层次和版本历史，并且可以轻松扩展到包含非空间信息或链接到其他数据源。
2013-03-11 cs.DB
BDI-Kit Demo: A Toolkit for Programmable and Conversational Data Harmonization
New York University（纽约大学）
BDI-Kit通过Python API和AI辅助对话界面，解决数据协调中的异构问题，展示如何通过自动化匹配、AI推理和用户优化实现数据协调。
2026-04-07 cs.AI cs.DB
Towards an Integrated Graph Algebra for Graph Pattern Matching with Gremlin (Extended Version)
图数据管理（也称为NoSQL）通过在查询表达性和模式灵活性之间进行不同的平衡，在灵活性和可伸缩性方面显示了有益的特性。这种独特的优势导致了一场前所未有的开发新的任务特定图系统、查询语言和数据模型的竞赛，如属性图、键值、宽列、资源描述框架（RDF）等。目前的图查询语言集中在灵活的图模式匹配上图计算框架的目标是提供指令的快速并行（分布式）执行，而图计算框架的目标是提供指令的快速并行（分布式）执行。各种基于图形的数据管理系统的快速增长导致了标准化的缺乏。Gremlin是一种图遍历语言，它提供了一个通用平台来支持任何图计算系统（如OLTP图数据库或OLAP图处理器）。我们提出了一个形式化的图模式匹配Gremlin查询。我们还研究，讨论和巩固现有的各种图代数运算到一个完整的图代数。
2019-09-07 cs.DB
Machamp: A Generalized Entity Matching Benchmark
实体匹配（Entity Matching，EM）是指确定两个不同的数据表示是否指向同一个真实世界实体的问题。它一直是数据管理社区的长期兴趣，并且在创建基准任务以及开发高级匹配技术方面付出了许多努力。然而，EM的现有基准测试任务仅限于实体的两个数据汇集是具有相同模式的结构化表的情况。同时，在数据科学的真实场景中，用于匹配的数据汇集可以是结构化的、半结构化的或非结构化的。本文提出了一个新的研究问题--广义实体匹配（GeneralizedEntityMatching），并建立了一个Machamp的基准，Machamp由七个具有不同特征的任务组成，因此能够很好地覆盖实际应用中的用例。我们总结了现有的EM基准任务的结构化表，并进行了一系列的处理和清理工作，将它们转换为不同结构的表之间的匹配任务。在此基础上，我们进一步对所提出的基准任务进行全面分析，并评估流行的实体匹配方法。在Machamp的帮助下，这是研究人员第一次可以在具有不同结构的数据汇集之间评估EM技术。
2021-06-15 cs.DB
Explain3D: Explaining Disagreements in Disjoint Datasets
数据在应用程序、分析过程和人类活动的许多方面发挥着重要作用。随着数据规模和复杂性的增长，我们迫切需要能够促进对数据相关操作的理解和解释的工具。关于解释的数据管理研究集中在这样一个假设上，即数据驻留在一个公共模式下的单个数据集中。但今天的数据的现实是，它经常是未集成的，来自不同的来源，具有不同的模式。当不同的数据集对语义相似的问题提供不同的答案时，理解差异的原因是具有挑战性的，并且无法通过现有的单数据集解决方案来处理。在本文中，我们提出了Explain 3D，一个用于解释不相交数据集（3D）之间的分歧的框架。Explain 3D的重点是确定两个语义相似的查询在两个数据集上操作的结果存在差异的原因，这些数据集具有潜在的不同模式。我们的框架利用查询执行语义映射，在其出处的相关部分，在这个映射点的差异查询的差异的原因。利用查询使Explain 3D比传统的模式匹配和记录链接技术更有优势，这些技术与查询无关。我们的工作有以下几个方面的贡献：（1）我们形式化的问题，推导出最佳的解释的语义相似的查询结果的差异不相交的数据集。(2)我们设计了一个解决最优解释问题的三阶段框架。(3)我们开发了一个智能分区优化器，提高了几个数量级的框架的效率。(4)~我们使用真实世界和合成数据进行实验，以证明Explain 3D可以有效地获得精确的解释。
2019-03-21 cs.DB
HumanAL: Calibrating Human Matching Beyond a Single Task
Northeastern University（东北大学）
这项工作提供了一个关于使用人类输入作为标签的新观点，承认人类可能会犯错。我们建立了一个人类注释者的行为配置文件，它被用作所提供的输入的特征表示。我们表明，通过利用黑盒机器学习，我们可以考虑到人类的行为和校准他们的输入，以提高标签质量。为了支持我们的主张，并提供一个概念证明，我们实验了三种不同的匹配任务，即模式匹配，实体匹配和文本匹配。我们的经验评估表明，该方法可以提高在多个设置，包括跨域（跨不同的匹配任务）收集的标签的质量。
2022-05-06 cs.DB cs.HC cs.LG
DynaQuery: A Self-Adapting Framework for Querying Structured and Multimodal Data
Al Akhawayn University（阿尔阿克哈文大学）
本文提出自适应框架 DynaQuery，通过 SILE 将模式内省与链接纳入查询规划，并经多基准验证其相较非结构化 RAG 可显著消除模式幻觉、提升查询稳健性。
2025-10-20 cs.AI cs.DB
TermPicker: Enabling the Reuse of Vocabulary Terms by Exploiting Data from the Linked Open Data Cloud - An Extended Technical Report
在将数据建模为链接开放数据（LOD）时，决定使用哪些词汇表术语绝非易事。选择过于通用的词汇表术语，或来自其他LOD数据集不使用的词汇表的术语，可能会导致数据表示，这将更难被人类理解，也更难被链接数据应用程序使用。在这份技术报告中，我们提出了TermPicker：一种新的词汇重用方法，通过利用LOD云上的其他数据提供者如何使用RDF类型和属性来描述其数据的信息来推荐RDF类型和属性。为此，我们引入了所谓的模式级模式（SLP）的概念。它们捕获RDF类型集合如何通过某些数据汇集中的属性集合进行连接，例如，在LOD云上的数据集中。TermPicker使用这样的SLP并生成一个词汇表术语的排序列表以供重用。推荐术语的列表通过使用机器学习方法学习排序（L2 R）计算的排序模型来排序。TermPicker基于推荐质量进行评估，该质量使用前五个位置的平均平均精度（MAP）和平均倒数秩（MRR@5）进行测量。我们的研究结果表明，使用SLP时，推荐质量提高了29% - 36%，相比之前调查的基线推荐仅受欢迎的词汇术语或来自相同词汇的术语。结合使用SLP和学习排序算法随机森林可以获得总体最佳结果。
2016-01-11 cs.DB cs.IR
Heterogeneity in Entity Matching: A Survey and Experimental Analysis
University of Western Ontario（韦仕敦大学）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
本文调查了实体匹配中的异质性问题，分析了不同异质性类型对匹配任务的影响，并评估了现有方法的局限性，提出了多模态匹配、人机协作等未来研究方向。
2026-02-06 cs.DB
MGQL: An Executable, Small-Step Semantics of GQL
University of Texas at Austin（德克萨斯大学奥斯汀分校）
MGQL是首个基于ISO/IEC 39075标准的GQL机械化小步操作语义，解决了现有形式化方法的不足，为GQL规范与机械化实现搭建桥梁，可对查询正确性进行形式化推理。
2026-08-26 cs.DB cs.PL
LEAPME: Learning-based Property Matching with Embeddings
Universidad de Sevilla（塞维利亚大学）；Leipzig University（莱比锡大学）
诸如知识图谱的创建和扩展之类的数据集成任务涉及来自许多源的异构实体的融合。这些实体的匹配和融合还需要匹配和组合它们的属性（属性）。然而，以前的模式匹配方法大多只关注两个源，往往依赖于简单的相似性度量。因此，他们面临的问题，在具有挑战性的用例，如集成来自许多来源的异构产品实体。因此，我们提出了一种新的机器学习为基础的属性匹配方法称为LEAPME（学习为基础的属性匹配与嵌入），利用大量的属性名称和实例值的功能。该方法大量使用了词嵌入，以更好地利用属性名和实例值的特定于域的语义。监督机器学习的使用有助于利用词嵌入的预测能力。我们对几个多源数据集与真实世界数据的五个基线的比较评估显示了LEAPME的高有效性。我们还表明，我们的方法甚至是有效的，当训练数据从另一个领域（迁移学习）使用。
2020-10-05 cs.DB cs.LG
