Information Integration using the Typed Graph Model
40多年来,模式和数据集成一直是一个挑战。虽然数据仓库技术是一个相当成功的故事,但仍然缺乏信息集成方法,特别是当数据源基于不同的数据模型或没有模式时。企业信息集成需要处理异构的数据源,需要最新的高质量信息为分析和决策提供可靠的依据。本文提出了虚拟集成使用类型化图模型来支持模式中介。集成过程首先将每个源的结构转换为类型化图模式,然后将其与中介模式进行匹配。映射规则定义模式之间的转换以协调语义。专家可以直观地验证映射。它提供了指标和规则来实现一致的模式映射,从而实现高数据完整性和质量。
2021-07-20 cs.DB
A Collective, Probabilistic Approach to Schema Mapping: Appendix
KU Leuven(鲁汶大学);University of Maryland(马里兰大学);University of Toronto(多伦多大学);UC Santa Cruz(加州大学圣克鲁兹分校)
在本附录中,我们为“模式映射的集体、概率方法”提供了额外的补充材料。“我们包括一个额外的扩展示例,补充实验细节,以及主论文中所述复杂性结果的证明。
2017-02-11 cs.DB cs.LG
A ToolBox for Conservative XML Schema Evolution and Document Adaptation
本文提出了一套工具,以帮助处理XML数据库的演变。其目的是建立一个多系统环境,使全球综合系统与一些地方原有系统协调运作,从而能够双向转换数据,从而在两个层面开展活动。为了处理模式,我们提出了一个算法,计算能够获得一个全球性的模式,这是一个保守的原始本地模式的扩展映射。所获得的映射的作用是双重的:它确保模式的演变,通过组合和反转,它指导文档翻译器的建设,允许自动数据自适应w.r.t.类型进化本文应用,扩展和整理我们以前的一些贡献。
2014-06-05 cs.DB
Data Base Mappings and Theory of Sketches
本文将介绍数据库映射系统中数据库模式的两种基本操作(分离和数据联合),并解释为什么数据库映射的函子语义需要一个新的基范畴而不是通常的Set范畴。接着给出了模式数据库映射系统的图G的定义及其草图范畴Sch(G)的定义。在此基础上,我们提出了新的基础类别DB的数据库映射系统的函子语义。
2011-04-26 cs.DB
Composition with Target Constraints
众所周知,模式映射的组合,每个由源到目标tgds(st-tgds)指定,可以由二阶tgd(SO tgd)指定。我们考虑的问题时,会发生什么目标的限制是允许的。具体来说,我们考虑的问题,指定的标准模式映射的组合(那些指定的st-tgds,目标egds,和一个弱非循环的目标tgds集)。我们表明,SO tgds,即使与任意的源约束和目标约束的协助下,不能指定一般的两个标准模式映射的组成。因此,我们引入了源到目标的二阶依赖关系(st-SO依赖关系),它类似于SO tgds,但允许在结论中的方程。我们表明,ST-SO依赖(随着目标EGDS和目标TGDS)是足以表达的标准模式映射的每一个有限序列的组成,并进一步,每个ST-SO依赖指定这样的组合。除了这种表达能力,我们表明,ST-SO依赖享有其他可取的属性。特别是,它们具有生成普适解的多项式时间追踪。该通用解可用于在多项式时间内求出合取查询并的确定答案。很容易证明任意数量的标准模式映射的组合等价于仅两个标准模式映射的组合。我们发现,令人惊讶的是,类似的结果也适用于模式映射指定的只是ST-TGDS(没有目标约束)。这一点可以通过证明每个SO tgd都等价于一个非嵌套的SO tgd(一个没有函数符号嵌套的SO tgd)来证明。同样,我们证明了st-SO依赖的解嵌套结果,具有相同类型的后果。
2011-09-07 cs.DB
Data Migration using Datalog Program Synthesis
本文提出了一种新的技术迁移数据之间的不同模式。我们的方法表示的模式映射作为一个数据库程序,并自动合成一个数据库程序从简单的输入输出的例子来执行数据迁移。这种方法可以在不同类型的模式之间转换数据(例如,关系到图形,文档到关系),并通过利用Datalog的语义有效地执行合成。我们实现了所提出的技术作为一个工具,称为Dynamite,并通过评估Dynamite对28个现实的数据迁移方案显示其有效性。
2020-03-03 cs.DB cs.PL
Rule-based Construction of Matching Processes
映射复杂的元数据结构在数据集成、本体对齐或模型管理等许多领域中至关重要。为了加速该过程,开发了自动匹配系统来计算可以由用户校正的映射建议。然而,构造和调优匹配策略仍然需要匹配专家的大量手动工作以及正确的映射来评估生成的映射。因此,我们提出了一个自我配置的模式匹配系统,能够自动适应给定的映射问题。我们的方法是基于分析输入模式以及中间匹配结果。各种匹配规则使用分析结果来自动构造和适配用于给定匹配任务的底层匹配过程。我们全面评估我们的方法对不同的映射问题,从模式,本体和模型管理域。评估表明,我们的系统是能够强大地返回良好的质量映射在不同的映射问题和域。
2011-08-09 cs.DB
Towards Scalable Schema Mapping using Large Language Models
Oregon State University(俄勒冈州立大学);Portland State University(波特兰州立大学)
针对数据集成中手动模式映射的可扩展性挑战,本文指出了使用大语言模型进行模式映射的三个核心问题,并提出通过采样聚合、应对上下文窗口限制及数据类型预过滤等策略加以解决。
2025-05-30 cs.AI cs.DB
LLMATCH: A Unified Schema Matching Framework with Large Language Models
针对复杂多表模式匹配难题,提出统一模块化框架LLMatch,通过三阶段分解与Rollup-Drilldown两阶段优化策略,结合新基准SchemaNet,显著提升了匹配准确率与工程师生产力。
2025-07-15 cs.DB
HepToX: Heterogeneous Peer to Peer XML Databases
我们研究了一组异构的XML数据库,这些数据库维护相似和相关的信息,通过对等覆盖网络交换数据。在这种情况下,中介的全局模式是不现实的。然而,用户/应用程序希望通过一个对等体使用其模式来查询数据库。我们最近开发了一个P2P异构XML数据库系统HepToX。一个关键的想法是,每当一个对等点进入系统,它建立了一个熟人与少数对等数据库,可能与不同的模式。对等管理员使用箭头和框的非正式且直观的符号来提供本地模式与熟人模式之间的对应关系。我们开发了一种新的算法,推断出一组精确的映射规则之间的模式,从这些视觉注释。我们钉下这样的映射规则的查询翻译的语义,并提出了一种新的查询翻译算法的一个简单的,但富有表现力的片段的XQuery,采用在任何方向的映射规则。我们证明了翻译算法是正确的。最后,我们证明了我们的想法和算法的实用性和可扩展性,一组详细的实验上的Emulab,一个大规模的P2P网络仿真测试床。
2005-06-01 cs.DB
A Formal Category Theoretical Framework for Multi-model Data Transformations
在多存储和多模型数据库管理系统中的数据集成和迁移过程从数据和模式转换中受益匪浅。转换的严格建模是一个复杂的问题。数据和模式转换领域散布着多种不同的转换框架、工具和映射。这些通常是特定领域的,缺乏坚实的理论基础。我们的第一个目标是为关系、图和层次数据模型和实例定义范畴理论基础。每个数据实例都被表示为一个称为函子的范畴理论映射。我们形式化的数据和模式转换为Kan升降机利用函表示的实例。Kan提升是一种范畴理论构造,它由两个满足某种泛性质的映射组成。在这项工作中,这两个映射对应于模式转换和数据转换。
2022-01-13 cs.DB
Repairing mappings under policy views
数据交换问题涉及到源模式、目标模式以及两个模式之间的数据转换所产生的一组映射。我们研究的问题,数据交换中存在的隐私限制的来源。隐私限制表示为一组策略视图,表示可以安全地在源的所有实例上公开的信息。我们提出了一个协议,提供正式的隐私保证,是数据独立的,即,如果满足某些标准,则协议保证映射不泄漏与位于源中的数据无关的敏感信息。我们还提出了一个算法用于修复输入映射w.r.t.一组策略视图,以防输入映射泄漏敏感信息。我们的工作的实证评估表明,该算法是相当有效的,修复集300 s-t tgds在平均时间为5秒的商品机器上。据我们所知,我们的工作是第一个研究的问题,交换数据和修复映射下的隐私限制。此外,我们的工作是第一个提供实用算法的逻辑隐私保护范式,描述为一个开放的研究挑战,在以前的工作在这一领域。
2019-03-21 cs.DB
Towards a Complete Direct Mapping From Relational Databases To Property Graphs
通过图模型表示的复杂数据越来越常见。与关系模型相反,图提供了对复杂数据执行分析任务的高容量。由于大量的数据仍然以关系表的形式呈现,因此有必要了解如何将这些数据转换为图形。本文提出了一个完整的映射过程,允许转换任何关系数据库(模式和实例)到一个属性图数据库(模式和实例)。与现有的映射相反,我们的解决方案保留了三个基本的映射属性,即:信息保存,语义保存和查询保存。此外,我们研究映射任何SQL查询到一个等价的Cypher查询,这使得我们的解决方案的实用。现有的解决方案要么是不完整的,要么是基于不实用的查询语言。因此,这项工作是第一个完整的和实用的解决方案映射关系图。
2022-10-02 cs.DB
A Unified Metamodel for NoSQL and Relational Databases
本文提出U-Schema统一元模型,可表示四种主流NoSQL范式及关系数据库的逻辑模式,通过正式映射、模式提取策略和性能优化,支持结构可变性并提升多模型数据管理的可集成性。
2021-05-17 cs.DB
Enhanced Inversion of Schema Evolution with Provenance
长期的数据驱动研究在许多科学领域已经变得不可或缺。通常,数据的数据格式、结构和语义随着时间的推移而改变,数据集也在演变。因此,几十年来的研究特别需要考虑改变数据库模式。这些数据库的发展在某些时候导致了大量的模式,这些模式必须被存储和管理,成本高,耗时长。然而,在研究数据的可再现性的意义上,每个数据库版本必须是可重构的,很少的努力。因此,以前发表的结果可以随时验证和复制。然而,在许多情况下,这种演变无法完全重建。本文对15个最常用的模式修改操作符进行了分类,并为每个操作定义了相关的逆操作。为了避免信息丢失,它还定义了必须存储哪些附加来源信息。我们定义了四个类处理悬空元组,重复和出处不变的运营商。每个班级将由一名代表介绍。通过使用和扩展模式映射及其逆查询,数据分析,为什么出处和模式进化的理论,我们能够结合数据分析应用程序与出处不断变化的数据库结构,以使科学结果的再现性在较长的时间内。虽然大多数用于分析或进化的模式映射的逆是不准确的,但只有准逆,添加出处信息使我们能够重建一个子数据库的研究数据,足以保证再现性。
2022-11-24 cs.DB
Compound Schema Registry
UC Berkeley(加州大学伯克利分校);System Design Studio(系统设计工作室)
本文提出基于复合AI系统和大语言模型的广义模式演化方法,通过模式转换语言生成中间表示,以提升模式映射的准确性与效率。
2024-06-17 cs.AI cs.DB
ReMatch: Retrieval Enhanced Schema Matching with LLMs
Microsoft(微软公司)
本文提出ReMatch,一种基于检索增强LLM的模式匹配方法,无需预定义映射、模型训练或源数据访问,在大型真实模式上表现有效,适用于现实场景。
2024-05-30 cs.AI cs.DB
Multilingual Schema Matching for Wikipedia Infoboxes
最近的研究利用维基百科的多语言性作为跨语言信息检索和机器翻译的资源,以及提出了丰富其跨语言结构的技术。多语言文档的可用性也为查询结构化的维基百科内容开辟了新的机会,特别是支持跨语言的答案。作为支持这种查询的一步,在本文中,我们提出了一种方法,用于识别来自不同语言页面的信息框属性之间的映射。我们的方法以完全自动化的方式找到映射。因为它不需要训练数据,所以它是可扩展的:它不仅可以用来找到许多语言对之间的映射,而且对于代表性不足和缺乏足够训练样本的语言也很有效。我们的方法的另一个重要的好处是,它不依赖于属性名称之间的语法相似性,因此,它可以应用于具有不同形态的语言对。我们已经进行了广泛的实验评估,使用语料库组成的页面在葡萄牙语,越南语和英语。结果表明,我们的方法不仅获得了高精度和召回率,但它也优于国家的最先进的技术。我们还提出了一个案例研究表明,我们得到的多语言映射导致在维基百科内容的结构化查询的答案质量和覆盖率的大幅改善。
2011-10-30 cs.DB
Directly Mapping RDF Databases to Property Graph Databases
RDF三重存储和属性图数据库是两种数据管理的方法,它们基于对图形数据的建模、存储和查询。尽管有这些共同的原则,但它们提供了使数据库互操作性任务复杂化的特殊功能。虽然有一些方法可以将RDF图转换为属性图,反之亦然,但它们缺乏兼容性和坚实的形式化基础。提出了将RDF数据库转换为属性图数据库的三种直接映射(模式相关和模式无关),包括数据和模式。我们证明了两个建议的映射满足语义保存和信息保存的属性。这两种映射的存在使我们可以得出结论,属性图数据模型包含了RDF数据模型的信息容量。
2020-06-03 cs.AI cs.DB
Algebraic Property Graphs
我们提出了一个应用范畴理论的案例研究,从一个应用领域的角度写的:在企业设置中使用基本结构的类型论和范畴理论,包括限制和co-limit草图的形式化的广泛使用的属性图数据模型。观察到代数数据类型是我们在实践中处理的大多数企业模式语言的共同基础,对于图数据或其他,我们引入了代数属性图的类型论,其中类型表示函数编程意义上的代数数据类型和数据库理论意义上的联合E/R图。我们还提供了理论基础,图转换沿模式映射的语义一致性的建设保证。我们的数据模型起源于Uber开发的数据集成工具包的形式化,该工具包沿着数据交换语言(如Apache Avro,Apache Thrift和Protocol Buffers)与图形语言(包括具有OWL或基于SHACL的模式的RDF)之间的可组合映射携带数据和模式。
2022-07-20 cs.DB
Assignment of Different-Sized Inputs in MapReduce
MapReduce算法可以通过映射模式来描述,该映射模式将输入分配给一组归约器,使得对于每个所需的输出,存在接收参与该输出的计算的所有输入的归约器。归约器有一个容量,它限制了可以分配给它们的输入集。然而,各个输入可能在大小方面有所不同。我们认为,第一次,映射模式的输入大小的考虑和限制的一部分。在任何MapReduce作业中需要优化的重要参数之一是map和reduce阶段之间的通信成本。通信成本可以通过最小化发送到归约器的输入的副本的数量来优化。通信成本与用于适当地容纳输入的受限容量的减速器的数量密切相关,从而满足输入必须在减速器中满足的要求。在这项工作中,我们考虑一个家庭的问题,它需要每个输入满足彼此的输入在至少一个减速器。我们还考虑了一个稍微不同的问题族,其中,一个集合X的每个输入都需要满足另一个集合Y的每个输入,至少在一个reducer中。我们证明了为这类问题寻找一个最优映射方案是NP-难的,并给出了几个寻找近优映射方案的近似算法。
2015-01-27 cs.DB
Modélisation et extraction de données pour un entrepôt objet
本文描述了一种用于设计复杂的、时变的数据仓库数据的面向对象模型。主要贡献是仓库类的概念,它通过时态和归档过滤器以及映射函数扩展了类的概念。过滤器允许保留相关的数据更改,而映射函数则从全局数据源模式定义仓库类模式。该方法考虑了静态特性以及动态特性。行为提取是基于使用矩阵的概念。
2010-05-03 cs.DB
Transforming Shape Schemas with Composable Property-Graph Queries (Extended Version)
The Software Languages Team(软件语言团队);University of Koblenz(科伦茨大学);Institute for Artificial Intelligence(人工智能研究所);University of Stuttgart(斯图加特大学);University of Southampton(南安普顿大学)
研究在给定输入模式(ProGS)和查询(G-CORE)时推断输出模式的问题,通过映射到RDF、SHACL和SPARQL CONSTRUCT利用描述逻辑推理器实现模式约束的自动推断。
2026-06-15 cs.AI cs.DB cs.LO
CHESS: Contextual Harnessing for Efficient SQL Synthesis
Stanford University(斯坦福大学);University of Alberta(阿尔伯塔大学)
针对文本转SQL面临的数据库规模、模式推理等挑战,提出基于LLM的多智能体框架CHESS,通过四个专用智能体解决对应问题,在工业级数据库支持、隐私保护性能和计算可扩展性上表现优异。
2024-11-25 cs.AI cs.DB cs.LG
Synthesizing Products for Online Catalogs
一个高质量,全面的产品目录是必不可少的成功产品搜索引擎和购物网站,如雅虎!购物,谷歌产品搜索或必应购物。但是,保持目录最新成为一项具有挑战性的任务,需要自动化技术。在本文中,我们介绍了产品综合的问题,目录创建和维护的一个关键组成部分。给定一组由商家广告的产品,目标是识别新产品并将其与其(结构化)属性一起添加到目录中。一个根本的挑战是问题的规模:产品搜索引擎接收来自数千个商家和数百万个产品的数据;产品分类包含数千个类别,其中每个类别都有不同的模式;商家使用的产品表示与产品搜索引擎目录中使用的产品表示不同。我们提出了一个系统,提供了一个端到端的解决方案的产品综合问题,并包括组件提取,并解决问题的数据提取提供,模式和解,数据融合。我们开发了一种新颖且可扩展的模式匹配技术,该技术利用了关于报价和产品之间先前已知的实例级关联的知识;并且使用自动创建的训练集进行训练(不需要手动标记数据)。我们提出了一个实验评估我们的系统使用的数据从Bing购物超过800 K的报价,1000商家,和400个类别。评估证实,我们的方法是能够自动生成大量的准确的产品规格,我们的模式和解组件优于国家的最先进的模式匹配技术的精度和召回。
2011-05-21 cs.DB
Schemaless Queries over Document Tables with Dependencies
IBM Research(IBM研究院);Google, Inc.(谷歌公司)
非结构化的企业数据,如报告、手册和指南,通常包含表格。从这些表中集成数据的传统方法是通过两步过程:表检测/提取和将表布局映射到适当的模式。这可能是一个昂贵的过程。在本文中,我们表明,通过使用语义技术(RDF/SPARQL和数据库依赖)配对一个简单但强大的方式来转换表与非关系布局,它可以提供查询应答服务,这些表与最少的手工工作或特定于域的映射。我们的方法使用户能够利用嵌入在文档中的表中的数据,很少的努力,不仅对于简单的检索查询,而且对于结构化查询,需要加入多个相互关联的表。
2019-11-21 cs.AI cs.DB cs.IR
Exchange-Repairs: Managing Inconsistency in Data Exchange
在具有目标约束的数据交换设置中,通常情况下给定的源实例没有解决方案。在这种情况下,目标查询的语义变得平凡化。本文的目的是介绍和探索一个新的框架,使有意义的语义在这种情况下,通过使用交换修复的概念。非正式地说,源实例的交换修复是另一个源实例,它与第一个源实例的差别很小,但有一个解决方案。交换修复产生了一个自然的概念,交换修复某些答案(XR-某些答案)的目标查询。我们证明了,对于由源到目标GAV依赖和目标相等生成依赖(egds)指定的模式映射,目标合取查询的XR确定答案可以重写为一致答案(在标准数据库修复的意义上)相对于源模式上的一组EGD的源模式上的合取查询的并集,使得可以使用一致的查询-应答系统来计算数据交换中的XR确定的应答。然后,我们研究了一般情况下的模式映射指定的源到目标GLAV约束,一个弱的非循环的一组目标TGDS和一组目标EGDS。的主要结果断言,对于这样的设置,XR-一定的答案的合取查询可以被重写为一定的答案的联合合取查询相对于稳定模型的析取逻辑程序在一个适当的扩展的源模式。
2015-09-21 cs.DB
Semantic Query Reformulation in Social PDMS
我们认为社会对等数据管理系统(PDMS),其中每个对等体保持其模式和一些熟人之间的语义映射,并与对等朋友的社会联系。在这种情况下,从一个对等体的模式到其他对等体的模式重新制定一个查询是一个困难的问题,因为它可能会产生尽可能多的重写作为一组映射从该对等体到外部和传递,最终遍历整个网络。然而,并非所有获得的重写都与给定查询相关。在本文中,我们通过检查语义映射和社会联系来解决这个问题,只找到相关的重写。我们提出了一个新的概念的“相关性”的查询相对于映射,并在此基础上,一个新的语义查询重构方法的社会PDMS,它实现了很大的准确性和灵活性。为了快速找到最有趣的映射,我们结合了几种技术:(一)社会链接表示为FOAF(朋友的朋友)的链接,以表征同行的友谊和紧凑的映射摘要被用来获得映射描述;(二)本地语义视图是特殊的视图,包含有关外部映射的信息;和(iii)八卦技术提高了相关映射的搜索。我们的实验评估,基于原型上的PeerSim和模拟网络表明,我们的解决方案产生更大的召回,相比传统的查询翻译方法在文献中提出的。
2011-11-25 cs.DB cs.SI
Type- and Content-Driven Synthesis of SQL Queries from Natural Language
本文提出了一种从自然语言自动合成SQL查询的新技术。我们的技术是完全自动化的,适用于任何数据库,而不需要额外的定制,也不需要用户知道底层的数据库模式。我们的方法通过结合自然语言处理、程序合成和自动程序修复来实现这些目标。给定用户的英文描述,我们的技术首先使用语义解析来生成查询草图,随后使用类型导向的程序合成完成查询草图,并使用数据库内容分配置信度分数。然而,由于用户的描述可能无法准确地反映实际的数据库模式,我们的方法也执行故障定位和修复草图的错误部分。重复该合成-修复循环,直到算法推断出具有足够高的置信度分数的查询。我们已经实现了所提出的技术在一个工具称为Sqlizer和评估它在三个不同的数据库。我们的实验表明,在接近90%的情况下,所需的查询是排名前5名的候选人。
2017-02-03 cs.DB cs.PL
LYNX: Analytical Program Synthesis via Grounding and Closed-Loop Refinement
Zhejiang University(浙江大学);Zhejiang Geely Holding Group Co., Ltd.(浙江吉利控股集团有限公司)
LYNX是一个多智能体框架,通过规划、生成、验证、优化的闭环工作流及SSD-SAA技术,在NL-to-SQL基准上实现了高执行准确率与低token消耗,具备良好泛化性和实用性。
2026-10-14 cs.AI cs.DB
Template-Based Schema Matching of Multi-Layout Tenancy Schedules:A Comparative Study of a Template-Based Hybrid Matcher and the ALITE Full Disjunction Model
本文提出一种基于模板的混合模式匹配器,结合模式级与实例级指标及匈牙利算法,将多布局租赁计划表对齐到目标模式,并在与 ALITE 的对比中取得更高 F1 分数和更低空值率。
2025-07-02 cs.DB
The XML and Semantic Web Worlds: Technologies, Interoperability and Integration. A Survey of the State of the Art
在新兴的数据网络的背景下,大量的组织、机构和公司(例如,DBpedia、Geonames、PubMed ACM、IEEE、NASA、BBC)采用关联数据实践,并利用语义网(SW)技术发布其数据。另一方面,当今Web中信息交换的主导标准是XML。许多国际标准(例如,Dublin Core、MPEG-7、METS、TEI、IEEE LOM)已经用XML Schema表示,从而产生了大量的XML数据集。SW和XML世界及其开发的基础设施基于不同的数据模型、语义和查询语言。因此,提供互操作性和集成机制来弥合SW和XML世界之间的差距是至关重要的。在本章中,我们将对XML和SW世界所采用的技术和标准进行概述和比较。此外,我们还概述了W3C小组的最新工作,包括最新的工作草案和建议(例如,OWL 2、SPARQL 1.1、XML Schema 1.1)。此外,我们提出了一个调查的研究方法,旨在提供XML和SW世界之间的互操作性和集成。最后,我们提出了SPARQL 2XQuery和XS 2 OWL框架,它们弥合了这两个世界之间的差距,并创建了一个可互操作的环境。这些框架提供了以下机制:(a)查询转换(SPARQL到XQuery转换);(b)映射规范和生成(本体到XML模式映射);以及(c)模式转换(XML模式到OWL转换)。
2016-08-11 cs.DB
Amalgam: Hybrid LLM-PGM Synthesis Algorithm for Accuracy and Realism
Aalborg University(奥尔堡大学)
本文提出Amalgam算法,结合LLM和PGM的优势,实现高准确性和真实性的数据合成,实验显示其在现实感评分上优于现有方法。
2026-03-28 cs.AI cs.DB
Discovering new technique for mapping relational database based on semantic web technology
Web上的大部分数据仍然存储在关系数据库中。因此,在关系数据库和本体之间建立对应关系,以存储Web数据就显得尤为重要。本文提出了一种将存储在关系数据库中的数据映射到语义Web的新方法,利用基于数据库模式规范的简单映射,并解释了如何使用关系数据库来定义关系数据库与OWL本体之间的映射机制。开发了一个框架,成功地将关系数据库迁移到OWL文档中。实验结果表明,该方法是可行和有效的。
2021-09-30 cs.DB
Auditable and reusable crosswalks for fast, scaled integration of scattered tabular data
本文提出一个开源策展工具包,通过模式到模式的高层交叉映射脚本,实现分散表格数据的可审计、可复用和规模化整合,并提供 Python 包与无代码可视化 Web 应用。
2024-09-03 cs.DB
Graphify: Automated Synthesis of Type-Safe Graph Backends via $O(S)$ GraphQL-to-Gremlin Transpilation
Northwestern University(西北大学)
Graphify通过O(S)复杂度的转换生成类型安全的图后端,支持完整的CRUD操作和嵌套查询,提升图数据库的灵活性和安全性。
2026-04-29 cs.DB
Mapping XML Data to Relational Data: A DOM-Based Approach
XML已经成为在万维网上表示和交换数据的标准。拥有有效的机制来存储和查询XML数据以充分利用这项新技术的能力是至关重要的。一些研究人员提出使用关系数据库来存储和查询XML数据。虽然已经提出了几种模式映射和查询映射的算法,但是将XML数据映射到关系数据的问题,即,在文献中还没有彻底地解决将XML SQL语句映射到SQL语句序列的问题。在本文中,我们提出了一个有效的线性算法映射XML数据到关系数据。该算法是基于我们以前提出的映射DTD到关系模式的内联算法,可以很容易地适应其他内联算法。
2010-10-08 cs.DB cs.DS
SynSQL: Synthesizing Relational Databases for Robust Evaluation of Text-to-SQL Systems
University of Alberta(阿尔伯塔大学);Department of Computing Science(计算机科学系)
SynSQL通过合成语义一致的关系数据库,揭示了文本到SQL系统在固定基准数据库外的性能下降,为研究LLM的结构化数据合成能力提供新视角。
2026-04-29 cs.DB
Efficient Query Answering over Conceptual Schemas of Relational Databases : Technical Report
我们开发了一个查询应答系统,在工作的核心是一个想法的查询应答重写。为此,我们扩展了DL DL-Lite的能力,以支持n元关系,获得DL DLR-Lite,这仍然是多项式的数据的大小。我们设计了一种灵活的方式映射的概念级的关系级,它提供了一个类似SQL的查询语言查询语言的概念模式的用户。重写技术增加了传统查询应答技术的价值,允许制定更简单的查询,具有推断用户查询中未明确说明的附加信息的能力。概念模式的形式化和开发的推理技术允许检查数据库和概念模式之间的一致性,从而提高了信息系统的可信度。
2009-02-11 cs.DB cs.LO
Explain3D: Explaining Disagreements in Disjoint Datasets
数据在应用程序、分析过程和人类活动的许多方面发挥着重要作用。随着数据规模和复杂性的增长,我们迫切需要能够促进对数据相关操作的理解和解释的工具。关于解释的数据管理研究集中在这样一个假设上,即数据驻留在一个公共模式下的单个数据集中。但今天的数据的现实是,它经常是未集成的,来自不同的来源,具有不同的模式。当不同的数据集对语义相似的问题提供不同的答案时,理解差异的原因是具有挑战性的,并且无法通过现有的单数据集解决方案来处理。在本文中,我们提出了Explain 3D,一个用于解释不相交数据集(3D)之间的分歧的框架。Explain 3D的重点是确定两个语义相似的查询在两个数据集上操作的结果存在差异的原因,这些数据集具有潜在的不同模式。我们的框架利用查询执行语义映射,在其出处的相关部分,在这个映射点的差异查询的差异的原因。利用查询使Explain 3D比传统的模式匹配和记录链接技术更有优势,这些技术与查询无关。我们的工作有以下几个方面的贡献:(1)我们形式化的问题,推导出最佳的解释的语义相似的查询结果的差异不相交的数据集。(2)我们设计了一个解决最优解释问题的三阶段框架。(3)我们开发了一个智能分区优化器,提高了几个数量级的框架的效率。(4)~我们使用真实世界和合成数据进行实验,以证明Explain 3D可以有效地获得精确的解释。
2019-03-21 cs.DB
Kamino: Constraint-Aware Differentially Private Data Synthesis
组织越来越依赖数据来支持决策。当数据包含私有和敏感信息时,数据所有者通常希望发布与真实数据类似有用的合成数据库实例,同时确保各个数据记录的隐私。现有的差异私有数据合成方法旨在基于应用生成有用的数据,但是它们未能保持结构化数据的最基本的数据属性之一-元组和属性之间的潜在相关性和依赖性(即,数据的结构)。这种结构通常表示为完整性和模式约束,或者具有概率生成过程。因此,合成的数据对于需要保留此结构的任何下游任务都是无用的。这项工作提出了卡米诺,一个数据合成系统,以确保差分隐私,并保留在原始数据集中存在的结构和相关性。Kamino将数据库实例及其模式(包括完整性约束)作为输入,并生成具有差分隐私和结构保留保证的合成数据库实例。我们的经验表明,在保留数据结构的同时,Kamino在训练分类模型和回答边缘查询的应用中实现了可比甚至更好的实用性,而不是最先进的差分私有数据合成方法。
2021-04-15 cs.CR cs.DB
SynQL: A Controllable and Scalable Rule-Based Framework for SQL Workload Synthesis for Performance Benchmarking
School of Technology, Dhirubhai Ambani University(德吉巴伊·安巴尼大学技术学院)
SynQL通过遍历数据库外键图生成结构多样且可执行的SQL工作负载,解决现有合成工具在训练数据缺口上的不足,通过配置向量控制连接拓扑和分析强度,实验表明其合成数据能有效训练成本模型。
2026-04-09 cs.DB
xDBTagger: Explainable Natural Language Interface to Databases Using Keyword Mappings and Schema Graph
University of Waterloo(滑铁卢大学);The Central Bank of the Republic of Türkiye(土耳其共和国中央银行);Bilkent University(比尔肯特大学)
在关系数据库接口中将自然语言查询(NLQ)转换为结构化查询语言(SQL)是一项具有挑战性的任务,已经被来自数据库和自然语言处理社区的研究人员广泛研究。已经提出了许多工作来攻击自然语言数据库接口(NLIDB)问题,无论是传统的基于流水线的解决方案还是基于端到端深度学习的解决方案。然而,无论首选的方法是什么,这种解决方案都表现出黑盒性质,这使得这些系统所针对的潜在用户难以理解为生成翻译后的SQL而做出的决策。为此,我们提出了xDBTagger,一个可解释的混合翻译管道,解释了一路上向用户的文本和视觉的决定。我们还评估xDBTagger在三个现实世界的关系数据库定量。评估结果表明,除了完全可解释,xDBTagger是有效的准确性和翻译查询更有效地相比,其他国家的最先进的基于流水线的系统高达10000倍。
2022-10-07 cs.AI cs.CL cs.DB
Bridging the Semantic Gap with SQL Query Logs in Natural Language Interfaces to Databases
构建数据库的自然语言接口(NLIDB)的一个关键挑战是弥合自然语言查询(NLQ)和底层数据之间的语义鸿沟。这个挑战的两个具体表现方式是通过关键字映射和连接路径推理。关键字映射是将原始NLQ中的各个关键字映射到数据库元素(例如关系,属性或值)的任务。这是具有挑战性的,由于在映射用户的心理模型和措辞的模式定义和底层数据库的内容的模糊性。连接路径推断是在最终SQL查询的FROM子句中选择关系和连接条件的过程,并且是困难的,因为NLIDB用户缺乏数据库模式或SQL的知识,因此不能显式地指定构造最终SQL查询所需的中间表和连接。在本文中,我们建议利用数据库的SQL查询日志中的信息来提高现有NLIDBs的性能,以应对这些挑战。我们提出了一个可用于增强现有NLIDB的系统Templar。我们广泛的实验评估表明,我们的方法的有效性,导致高达138%的改善前1的准确性,在现有的NLIDBs利用SQL查询日志信息。
2019-01-31 cs.DB
Constraint-based Query Distribution Framework for an Integrated Global Schema
分布式异构数据源需要使用全局模式进行统一查询。对全局模式的查询被重新制定,以便它可以在本地数据源上执行。全局架构和映射中的约束用于源选择、查询优化以及查询分区和复制的数据源。所提供的系统都是基于XML的,它以XML形式提出查询,转换并将本地结果集成到XML文档中。贡献包括在我们现有的全球模式,有助于在源选择和查询优化,和查询分布式异构数据源的全球查询分布框架的约束的使用。
2010-04-13 cs.DB cs.DC cs.IR
SQL-Exchange: Transforming SQL Queries Across Domains
University of Alberta(阿尔伯塔大学)
SQL-Exchange通过跨领域转换SQL查询提升文本到SQL系统的上下文学习性能。
2026-02-22 cs.AI cs.CL cs.DB
A Model-Driven Approach to Database Migration with a Unified Data Model
Facultad de Informática, Universidad de Murcia(穆尔西亚大学计算机学院)
本文提出基于U-Schema统一数据模型的数据库迁移方法,通过定义不同数据模型与U-Schema的映射,减少转换步骤并实现异构模型间的模式转换,实验验证了其在结构保留、语义保持和性能方面的有效性。
2026-09-28 cs.DB
Seamless Data Migration between Database Schemas with DAMI-Framework: An Empirical Study on Developer Experience
North Carolina State University(北卡罗来纳州立大学);Universidade da Coruña(拉科鲁尼亚大学);Centro de Investigación CITIC(CITIC研究中心)
本文提出DAMI框架,通过领域特定语言和解析器简化数据库模式间的数据迁移,实验证明其在可读性和易用性方面优于传统SQL,减少了迁移工作量。
2025-04-24 cs.DB cs.SE
FOCUS: Boosting Schema-aware Access for KV Stores via Hierarchical Data Management
本文提出 FOCUS,一种基于日志结构并支持层次化数据组织与 schema 感知访问的 KV 存储,通过引入层次化 KV 模型解决结构化数据扁平映射导致的 I/O 放大问题,在 YCSB SQL 工作负载下吞吐量提升 2.1-5.9 倍。
2025-05-30 cs.DB
FAIR 2.0: Extending the FAIR Guiding Principles to Address Semantic Interoperability
针对FAIR数据的语义互操作性问题,提出FAIR 2.0指导原则,通过补充实体映射、模式交叉转换及FAIR服务,实现机器与人类间可靠的语义通信。
2024-05-06 cs.DB
Relational Foundations For Functorial Data Migration
我们研究的数据转换能力与模式,提出了有向多重图和路径方程。与大多数将基于图的模式视为关系模式的缩写的方法不同,我们将基于图的模式视为类别。模式$S$是有限表示的范畴,并且所有$S$ -实例的集合形成范畴$S$ -inst.模式$S$和$T$之间的函子$F$可以从图之间的可视映射生成,其诱导三个伴随数据迁移函子$Σ_F:S$ -instPDMATHABMQ-inst.,$Π_F: S$ -inst. $\to T$ -inst.,和$Δ_F:T$ -inst $\to S$ -inst。我们提出了一种基于这些函子的代数查询语言FQL,证明了FQL在组合下是封闭的,证明了FQL可以用扩展了键生成操作的选择-项目-乘积-并关系代数(SPCU)来实现,并证明了SPCU可以用FQL实现。
2015-07-24 cs.DB math.CT math.LO
Assignment Problems of Different-Sized Inputs in MapReduce
MapReduce算法可以通过映射模式来描述,该映射模式将输入分配给一组归约器,使得对于每个所需的输出,存在接收参与该输出的计算的所有输入的归约器。归约器有一个容量,它限制了可以分配给它们的输入集。然而,各个输入可能在大小方面有所不同。我们认为,第一次,映射模式的输入大小的考虑和限制的一部分。在任何MapReduce作业中需要优化的重要参数之一是map和reduce阶段之间的通信成本。通信成本可以通过最小化发送到归约器的输入的副本的数量来优化。通信成本与用于适当地容纳输入的受限容量的减速器的数量密切相关,从而满足输入必须在减速器中满足的要求。在这项工作中,我们考虑一个家庭的问题,它需要每个输入满足彼此的输入在至少一个减速器。我们还考虑了一个稍微不同的问题族,其中,列表X的每个输入都需要满足另一个列表Y的每个输入,至少在一个reducer中。我们证明了寻找这些问题族的最佳映射方案是NP-困难的,并提出了一个基于装箱的近似算法寻找一个近最佳的映射方案。
2016-10-20 cs.CC cs.DB cs.DC
SEGSys: A mapping system for segmentation analysis in energy
客户细分分析可以为住宅建筑的能源效率提供有价值的见解。本文提出了一种映射系统,SEGSys,使分割分析在个人和邻居的水平。SEGSys支持根据客户的日常消费模式和消费强度对客户进行线上和线下分类。它还支持根据单个家庭或社区的客户的社会特征以及空间几何形状进行细分分析。SEGSys使用三层体系结构来建模分段系统,包括数据层、服务层和表示层。数据层将数据建模为数据仓库内的星型模式,服务层通过REST风格的接口提供数据服务,表示层通过可视化地图与用户交互。本文利用用电数据集对系统进行了细分分析,验证了系统的有效性。
2020-12-11 cs.DB
DBCopilot: Natural Language Querying over Massive Databases via Schema Routing
Institute of Software, CAS(中国科学院软件研究所);Hangzhou Institute for Advanced Study, UCAS(中国科学院大学杭州高等研究院);University of Chinese Academy of Sciences (UCAS)(中国科学院大学);Alibaba Cloud Intelligence Group(阿里巴巴云智能集团)
针对海量数据库下模式无关NL2SQL的现实挑战,提出DBCopilot框架,将任务解耦为模式路由与SQL生成,用轻量可微索引实现关系感知联合检索,还引入反向生成范式自动适配路由,经实验验证具备可扩展性与有效性。
2025-02-22 cs.CL cs.DB cs.IR