RACT: Retrieval Augmented Column-Table Learning and Prediction for Multi-Table Schema Matching
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);Utrecht University(乌特勒支大学);Technical University of Cologne(科隆技术大学)
提出RACT自监督框架,通过检索候选表约束列匹配空间,在多表模式匹配中优于相似性基线,精度和完整性提升高达70%。
2026-06-05 cs.DB cs.IR cs.LG
PiLLar: Matching for Pivot Table Schema via LLM-guided Monte-Carlo Tree Search
Zhejiang University(浙江大学)
本文提出PiLLar框架,通过LLM引导的蒙特卡洛树搜索实现立方体表模式匹配,解决数据敏感性和匿名化数据带来的挑战,提升匹配精度和泛化能力。
2026-04-29 cs.DB
ReMatch: Retrieval Enhanced Schema Matching with LLMs
Microsoft(微软公司)
本文提出ReMatch,一种基于检索增强LLM的模式匹配方法,无需预定义映射、模型训练或源数据访问,在大型真实模式上表现有效,适用于现实场景。
2024-05-30 cs.AI cs.DB
SMUTF: Schema Matching Using Generative Tags and Hybrid Features
本文提出 SMUTF 模式匹配方法,结合规则特征工程、预训练语言模型和生成式大语言模型,并引入生成式标签,同时开源 HDXSM 数据集,在多个数据集上显著超越现有最优模型。
2025-05-03 cs.AI cs.CL cs.DB
ConStruM: A Structure-Guided LLM Framework for Context-Aware Schema Matching
University of Michigan(密歇根大学)
ConStruM通过结构引导的LLM框架,提供上下文感知的模式匹配,提升匹配准确性。
2026-11-05 cs.DB
Improving Schema Matching with Linked Data
随着当今公共数据集包含数十亿个数据项,越来越多的公司希望将外部数据与传统企业数据集成,以改善商业智能分析。然而,这些分布式数据源表现出异构的数据格式和术语,并且可能包含噪声数据。在本文中,我们提出了一种新的框架,使业务用户能够半自动地执行数据集成的潜在噪声的表格数据。这个框架提供了对Google Refine的扩展,它具有利用Freebase丰富类型的新颖模式匹配算法。第一个实验表明,使用关联数据将单元格值与实例和列标题与类型进行映射,可以显着提高匹配结果的质量,因此可以做出更明智的决策。
2012-05-15 cs.DB
Schema Matching with Large Language Models: an Experimental Study
UHasselt(哈塞尔特大学);Data Science Institute(数据科学研究所)
本研究通过健康领域基准和多种任务范围,实验评估现成大语言模型仅基于名称和描述进行模式匹配,发现其质量受上下文信息量影响,但能启动匹配过程并加速数据工程师工作。
2024-07-16 cs.AI cs.DB
Reducing Uncertainty of Schema Matching via Crowdsourcing with Accuracy Rates
模式匹配是数据集成系统的核心挑战。受众包平台的流行和成功的启发,我们探索使用众包来减少模式匹配的不确定性。由于众包平台对简单问题最有效,因此我们假设每个对应正确性问题(CCQ)都要求人群决定给定的对应是否应该存在于正确的匹配中。此外,群体的成员有时可能会以不同的概率返回错误的答案。个体人群工作者的准确率是返回正确答案的概率,其可以是CCQ的属性以及个体工作者的评价。我们证明了不确定性降低等于答案熵减去群体熵,并展示了如何获得它的上下界。我们提出了框架和有效的算法来动态管理CCQ,以最大限度地减少在有限的问题预算的不确定性。我们开发了两种新的方法,即“单CCQ”和“多CCQ”,自适应地选择,发布和管理问题。我们通过模拟和实际实施来验证我们的解决方案的价值。
2018-09-11 cs.DB
Magneto: Combining Small and Large Language Models for Schema Matching
New York University;Federal University of Technology Paran\' a
针对模式匹配中SLM需训练数据、LLM计算成本高的问题,提出两阶段框架Magneto,结合二者优势,还构建了生物医学新基准,实验证明其可扩展且精度高。
2025-06-17 cs.DB cs.LG
Schemora: schema matching via multi-stage recommendation and metadata enrichment using off-the-shelf llms
Principal Machine Learning Engineer Informatica(Informatica);Computer Science University of Wisconsin-Madison(威斯康星大学麦迪逊分校计算机科学系);Director of AI/ML Development Informatica(Informatica)
SCHEMORA提出一种结合大语言模型与混合检索的模式匹配框架,无需标注数据即可高效识别候选匹配,在MIMIC-OMOP上以HitRate@5提升7.49%达到新SOTA,并首次提供开源实现。
2025-07-18 cs.AI cs.DB cs.LG
Background Knowledge in Schema Matching: Strategy vs. Data
University of Mannheim(曼海姆大学);SAP SE(SAP公司)
外部背景知识的使用对于自动匹配模式或本体的任务是有益的。在本文中,我们利用六个通用的知识图谱作为匹配任务的背景知识的来源。通过应用三种不同的开发策略对背景源进行了评价。我们发现,明确的战略仍然优于潜在的,战略的选择有一个更大的影响比实际的背景数据集上的策略应用于最终的对齐。虽然我们无法确定一个普遍的优势资源,但BabelNet取得了持续的良好结果。与其他匹配系统相比,我们使用BabelNet的最佳匹配器配置具有很强的竞争力,即使没有进行特定于网络的优化。
2021-06-29 cs.AI cs.DB cs.LG
Template-Based Schema Matching of Multi-Layout Tenancy Schedules:A Comparative Study of a Template-Based Hybrid Matcher and the ALITE Full Disjunction Model
本文提出一种基于模板的混合模式匹配器,结合模式级与实例级指标及匈牙利算法,将多布局租赁计划表对齐到目标模式,并在与 ALITE 的对比中取得更高 F1 分数和更低空值率。
2025-07-02 cs.DB
Schema matching using Gaussian mixture models with Wasserstein distance
University of Warsaw(华沙大学);QED Software(QED软件公司)
高斯混合模型作为一种强大的工具,主要是在聚类问题中,但在特征提取,模式识别,图像分割和一般的机器学习中也有适当的准备。当面临模式匹配问题时,在不同数据块上计算的不同混合模型可以保持关于数据集结构的关键信息。为了测量或比较混合模型的结果,Wasserstein距离可能非常有用,但对于混合分布来说,它并不容易计算。本文导出了高斯混合模型间Wasserstein距离的一种可能的近似,并将其化为线性问题。此外,有关现实世界的数据的应用实例。
2022-03-31 cs.DB cs.LG stat.ML
GRAM: Generative Retrieval Augmented Matching of Data Schemas in the Context of Data Security
Amazon Web Services(亚马逊网络服务)
本研究在数据安全背景下,利用大语言模型在零样本和少样本场景下进行数据库模式匹配,通过仅分析极少量客户数据以保护隐私,实现了在严格安全约束下的准确属性匹配。
2024-06-04 cs.AI cs.CL cs.DB
Rule-based Construction of Matching Processes
映射复杂的元数据结构在数据集成、本体对齐或模型管理等许多领域中至关重要。为了加速该过程,开发了自动匹配系统来计算可以由用户校正的映射建议。然而,构造和调优匹配策略仍然需要匹配专家的大量手动工作以及正确的映射来评估生成的映射。因此,我们提出了一个自我配置的模式匹配系统,能够自动适应给定的映射问题。我们的方法是基于分析输入模式以及中间匹配结果。各种匹配规则使用分析结果来自动构造和适配用于给定匹配任务的底层匹配过程。我们全面评估我们的方法对不同的映射问题,从模式,本体和模型管理域。评估表明,我们的系统是能够强大地返回良好的质量映射在不同的映射问题和域。
2011-08-09 cs.DB
A Semi-Automated Hybrid Schema Matching Framework for Vegetation Data Integration
本文提出一种半自动混合匹配框架SAHM,结合模式级与实例级匹配及多元统计匹配技术,用于整合分散的植被数据,在准确率和效率上显著优于现有方法。
2023-05-11 cs.DB
PoWareMatch: a Quality-aware Deep Learning Approach to Improve Human Schema Matching
Technion – Israel Institute of Technology(以色列理工学院)
模式匹配是任何数据集成过程的核心任务。在数据库、人工智能、语义Web和数据采掘领域研究多年,主要挑战仍然是在数据概念之间生成质量匹配的能力(例如,数据库属性)。在这项工作中,我们研究了一个新的角度对人类的行为匹配,研究匹配创建的过程。我们分析了常见的评价指标(精度,召回率和f-测量)的动态,相对于这个角度,并强调需要无偏匹配,以支持这种分析。无偏匹配,一个新定义的概念,描述了共同的假设,人类的决定代表可靠的评估模式对应,但是,不是一个固有的属性的人类匹配。在下文中,我们设计了PoWareMatch,其利用深度学习机制来校准和过滤遵循匹配质量的人类匹配决策,然后将其与算法匹配相结合以生成更好的匹配结果。我们提供了一个经验证据,建立在一个实验的基础上,超过200人类匹配超过共同的基准,PoWareMatch预测以及扩展匹配的好处与额外的对应关系,并产生高质量的匹配。此外,PoWareMatch的性能优于最先进的匹配算法。
2021-09-15 cs.DB cs.HC cs.LG
NEMA: Automatic Integration of Large Network Management Databases
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);Cisco(思科)
网络管理,无论是故障分析,故障预测,性能监控和改进,通常涉及大量的数据来自不同的来源。为了有效地集成和管理这些数据源,自动找到它们的模式或本体之间的语义匹配是至关重要的。现有的数据库匹配方法主要分为两类。一种是基于模式属性(如字段名、数据类型、约束和模式结构)的模式级匹配。网络管理数据库包含大量表(例如,网络产品、事件、安全警报和日志),这些信息来自不同的部门和组,具有不统一的字段名称和架构特征。通过这些模式属性来匹配它们是不可靠的。另一类是基于实例级的匹配,使用一般的字符串相似性技术,这是不适用于大型网络管理数据库的匹配。在本文中,我们开发了一个匹配技术,大型网络MANNETWORK数据库(NEMA)部署的实例级匹配有效的数据集成和连接。我们设计的数值和非数值字段的匹配指标和分数,并提出匹配这些字段的算法。通过在大型网络管理数据库中进行基于地面真值字段对的实验,对NEMA的有效性和效率进行了评估。我们对包含1,458个字段的大型数据库进行了测量,每个字段包含超过1000万条记录,结果显示NEMA的准确率高达95%。与基线方法相比,它实现了2%-10%的精度和5倍-14倍的加速。
2020-06-01 cs.AI cs.DB
Statistical Validation of Column Matching in the Database Schema Evolution of the Brazilian Public School Census
针对公开数据集版本迭代带来的数据库模式演化跟踪难题,本文提出统计方法验证巴西学校普查12年数据集的集成,用Kolmogorov-Smirnov检验实现约90%的跨版本列匹配。
2024-07-13 cs.DB
KcMF: A Knowledge-compliant Framework for Schema and Entity Matching with Fine-tuning-free LLMs
Zhejiang University(浙江大学);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高新区(滨江)区块链与数据安全研究院)
本文提出无需微调 LLM 的知识合规匹配框架 KcMF,通过伪代码任务分解、DaK/EaK 知识构建及结果集成,提升模式与实体匹配的准确性和输出稳定性。
2025-02-17 cs.AI cs.CL cs.DB
MinoanER: Schema-Agnostic, Non-Iterative, Massively Parallel Resolution of Web Entities
实体解析(ER)旨在识别不同知识库(KB)中引用同一实体的不同描述。ER受到数据网络中发布的实体描述的多样性、数量和准确性的挑战。为了解决这些问题,我们提出了MinoanER框架,它同时实现了完全自动化,支持高度异构的实体,以及ER过程的大规模并行化。MinoanER利用基于令牌的实体相似性来定义一个新的度量,该度量从最重要的关系中导出相邻实体的相似性,因为它们仅由统计数据表示。采用复合分块方法从实体的内容、邻居或名称中捕获匹配证据的不同来源。候选对比较的搜索空间是由一种新的析取块图和非迭代,大规模并行匹配算法,包括四个通用的,模式不可知的匹配规则,是相当强大的内部配置的处理。我们证明了MinoanER的有效性与现有的ER工具相比,表现出低品种的真正的知识库,但它优于他们显着匹配知识库与高品种。
2019-05-15 cs.DB
Correspondences as Decisions: JevNexus for Decision-Centric Schema Matching
University of New South Wales(新南威尔士大学);University of Technology Sydney(悉尼科技大学)
JevNexus 将模式匹配视为有界的对应关系决策,结合类型化成对决策与证据,仅在证据不一致时进行列表式细化,在保持匹配质量的同时大幅降低延迟。
2026-10-08 cs.AI cs.DB cs.LG
Prompt-Matcher: Leveraging Large Models to Reduce Uncertainty in Schema Matching Results
The Hong Kong Polytechnic University(香港理工大学)
针对模式匹配结果的不确定性降低问题,提出Prompt-Matcher方法,通过大模型提示进行细粒度对应关系验证,设计了$(1-1/e)$-近似选择算法与迭代更新机制,在基准数据集上实现了最先进的性能与鲁棒性。
2025-03-06 cs.AI cs.DB
An Automatic Schema-Instance Approach for Merging Multidimensional Data Warehouses
利用数据仓库对多维数据进行分析是企业决策中的一项重要任务,数据仓库的合并过程包括两个步骤:多维组件的匹配和多维组件的合并。当前的方法没有考虑多维数据仓库的所有特殊性,例如,只合并模式,而不合并实例;或者不利用层次结构和事实表。因此,在本文中,我们提出了一个自动合并方法的星型模式的数据仓库,工作在模式和实例级别。我们还提供了合并层次结构、维度和事实的算法。最后,我们实现了我们的合并算法,并使用合成和基准数据集验证它们。
2021-07-26 cs.DB
Multilingual Schema Matching for Wikipedia Infoboxes
最近的研究利用维基百科的多语言性作为跨语言信息检索和机器翻译的资源,以及提出了丰富其跨语言结构的技术。多语言文档的可用性也为查询结构化的维基百科内容开辟了新的机会,特别是支持跨语言的答案。作为支持这种查询的一步,在本文中,我们提出了一种方法,用于识别来自不同语言页面的信息框属性之间的映射。我们的方法以完全自动化的方式找到映射。因为它不需要训练数据,所以它是可扩展的:它不仅可以用来找到许多语言对之间的映射,而且对于代表性不足和缺乏足够训练样本的语言也很有效。我们的方法的另一个重要的好处是,它不依赖于属性名称之间的语法相似性,因此,它可以应用于具有不同形态的语言对。我们已经进行了广泛的实验评估,使用语料库组成的页面在葡萄牙语,越南语和英语。结果表明,我们的方法不仅获得了高精度和召回率,但它也优于国家的最先进的技术。我们还提出了一个案例研究表明,我们得到的多语言映射导致在维基百科内容的结构化查询的答案质量和覆盖率的大幅改善。
2011-10-30 cs.DB
XML Matchers: approaches and challenges
University of Messina(墨西拿大学);Indiana University Bloomington(印第安纳大学伯明顿分校);University Mediterranea of Reggio Calabria(雷焦卡拉布里亚地中海大学)
模式匹配(SchemaMatching),即发现不同数据源模式中概念之间的语义对应关系的过程,多年来一直是数据库和人工智能研究领域的一个重要课题。在过去,它主要是针对经典数据库模型(例如,E/R模式、关系数据库等)。然而,近年来,XML在大多数不同的应用领域的广泛采用促使越来越多的研究人员设计特定于XML的模式匹配方法,称为XML Matchers,旨在发现DTD和XSD中定义的概念之间的语义匹配。XML匹配器不仅采用最初为其他数据模型设计的众所周知的技术并将其应用于DTD/XSD,而且还利用特定的XML特性(例如,DTD/XSD的层次结构)来提高模式匹配过程的性能。XML匹配器的设计是目前一个成熟的研究领域。本文的主要目标是提供一个详细的描述和分类的XML匹配器。我们首先描述DTD/XSD的特性在多大程度上影响了模式匹配任务。然后,我们介绍一个称为XML Matcher Template的模板,它描述了XML Matcher的主要组件,以及它们的角色和行为。我们说明了这些组件是如何在一些流行的XML匹配器中实现的。我们将XML Matcher模板视为客观比较方法的基准,这些方法乍看上去可能是不相关的。这个模板的引入在未来的XML匹配器的设计中会很有用。最后,我们分析了实现XML匹配器的商业工具,并介绍了与此主题密切相关的两个具有挑战性的问题,即XML源聚类和XML匹配器中的不确定…
2014-07-10 cs.AI cs.DB cs.IR
Deep Learning to Jointly Schema Match, Impute, and Transform Databases
Washington University in St Louis(圣路易斯华盛顿大学);Krembil Centre for Neuroinformatics, Centre for Addiction and Mental Health(成瘾与心理健康中心克雷姆比尔神经信息学中心)
数据科学所有领域面临的一个应用问题是协调数据源。将来自多个来源的数据与未映射且仅部分重叠的特征连接起来是开发和测试鲁棒的、可推广的算法的先决条件,特别是在医疗保健领域。我们在常见但困难的情况下处理这个问题的数值特征,如近高斯和二进制特征,其中单位的变化和变量移位使单变量摘要的简单匹配不成功。我们开发了两个新的程序来解决这个问题。首先,我们展示了多种方法的“指纹”的特征的基础上,其关联到其他功能。即使是在适度的先验信息的情况下,这也允许准确地识别大多数共享特征。其次,我们展示了一个用于数据库之间翻译的深度学习算法。与以前的方法不同,我们的算法利用发现的映射,同时识别非共享功能和学习转换的代理。在使用两个电子健康记录数据库的合成和现实世界的实验中,我们的算法在匹配变量集方面优于现有的基线,同时联合学习估算未共享或转换的变量。
2022-06-22 cs.DB cs.LG
Automated Metadata Harmonization Using Entity Resolution & Contextual Embedding
IBM
ML数据整理过程通常由具有不同模式结构的异构和联合源系统组成;需要整理过程将不同模式的元数据标准化为可互操作的模式。这种手动的元数据协调和编目过程降低了ML-Ops生命周期的效率。我们展示了这个步骤的自动化与实体解析方法的帮助下,也通过使用认知数据库的Db2 Vec嵌入方法来捕获隐藏的列间和列内的关系,检测元数据的相似性,然后预测元数据列从源模式到任何标准化的模式。除了匹配模式,我们证明,它也可以推断出正确的本体结构的目标数据模型。
2020-12-01 cs.DB cs.LG
LOUC: Leave-One-Out-Calibration Measure for Analyzing Human Matcher Performance
本文提出了一种基于校准的新颖度量方法LOUC,用于评估和分析人类匹配器在模式匹配任务中的行为因素及其与性能的关系,以帮助提高标注质量。
2023-08-03 cs.DB cs.HC
Information Integration using the Typed Graph Model
40多年来,模式和数据集成一直是一个挑战。虽然数据仓库技术是一个相当成功的故事,但仍然缺乏信息集成方法,特别是当数据源基于不同的数据模型或没有模式时。企业信息集成需要处理异构的数据源,需要最新的高质量信息为分析和决策提供可靠的依据。本文提出了虚拟集成使用类型化图模型来支持模式中介。集成过程首先将每个源的结构转换为类型化图模式,然后将其与中介模式进行匹配。映射规则定义模式之间的转换以协调语义。专家可以直观地验证映射。它提供了指标和规则来实现一致的模式映射,从而实现高数据完整性和质量。
2021-07-20 cs.DB
Static Analysis of Graph Database Transformations
本文研究由无环 C2RPQ 类 Datalog 规则定义的图转换,证明类型检查、等价性和目标模式引出在图模式下均为 EXPTIME 完全,并通过环反转将查询包含归约为描述逻辑理论下的可满足性问题。
2023-04-20 cs.DB
PromptEM: Prompt-tuning for Low-resource Generalized Entity Matching
实体匹配是数据管理中的一个基本问题,它的目的是确定两个关系表中的两个实体记录是否指向同一个真实世界的实体。传统的EM假设两个表是同构的,具有对齐的模式,而不同格式的实体记录(例如,关系型、半结构型或文本型)。由于格式不同,统一它们的模式是不切实际的。为了支持不同格式实体记录上的EM,近年来,广义实体匹配(GEM)被提出并得到了广泛的关注。为了进行GEM,现有的方法通常以监督学习的方式执行,这依赖于大量的高质量标记的示例。然而,标记过程是极其劳动密集型的,并且阻碍了GEM的使用。低资源GEM,即GEM这种只需要少量标注的例子,成为一种迫切的需求。为此,本文首次将重点放在低资源GEM,并提出了一种新的低资源GEM方法,称为ESTEM。ESTEM解决了三个具有挑战性的问题(即,设计GEM特定的提示微调、提高伪标签质量以及运行有效的自训练)。在八个真实基准上的大量实验结果证明了ESTEM在有效性和效率方面的优越性。
2022-07-16 cs.DB
Towards Scalable Schema Mapping using Large Language Models
Oregon State University(俄勒冈州立大学);Portland State University(波特兰州立大学)
针对数据集成中手动模式映射的可扩展性挑战,本文指出了使用大语言模型进行模式映射的三个核心问题,并提出通过采样聚合、应对上下文窗口限制及数据类型预过滤等策略加以解决。
2025-05-30 cs.AI cs.DB
BDI-Kit Demo: A Toolkit for Programmable and Conversational Data Harmonization
New York University(纽约大学)
BDI-Kit通过Python API和AI辅助对话界面,解决数据协调中的异构问题,展示如何通过自动化匹配、AI推理和用户优化实现数据协调。
2026-04-07 cs.AI cs.DB
HumanAL: Calibrating Human Matching Beyond a Single Task
Northeastern University(东北大学)
这项工作提供了一个关于使用人类输入作为标签的新观点,承认人类可能会犯错。我们建立了一个人类注释者的行为配置文件,它被用作所提供的输入的特征表示。我们表明,通过利用黑盒机器学习,我们可以考虑到人类的行为和校准他们的输入,以提高标签质量。为了支持我们的主张,并提供一个概念证明,我们实验了三种不同的匹配任务,即模式匹配,实体匹配和文本匹配。我们的经验评估表明,该方法可以提高在多个设置,包括跨域(跨不同的匹配任务)收集的标签的质量。
2022-05-06 cs.DB cs.HC cs.LG