JSON Schema Inclusion through Refutational Normalization: Reconciling Efficiency and Completeness
Sorbonne Université, LIP6 UMR 7606（索邦大学）；Université Paris-Dauphine – PSL（巴黎第九大学）；Università di Pisa（比萨大学）；Universität Passau（帕绍大学）；Università della Basilicata（巴西利卡塔大学）
本文提出一种协调规则方法效率与见证生成方法完备性的新方法，通过归一化技术提升JSON Schema包含检查的性能与完备性。
2026-08-11 cs.DB
Negation-Closure for JSON Schema
JSON Schema是描述JSON文档族的一个不断发展的标准。它是一种逻辑语言，基于一组描述分析中JSON值特征的断言，以及这些断言的逻辑或结构组合子，包括否定运算符。大多数带有否定的逻辑语言都享有否定闭包，也就是说，对于每个运算符，它们都有一个表示其否定的否定对偶。我们表明，这不是JSON模式的情况下，我们研究如何改变与草案的最新版本，我们讨论如何相应地丰富语言。在这个过程中，我们定义了一个代数重新表述的JSON模式，我们成功地采用了原型系统生成模式证人。
2022-02-27 cs.DB cs.PL
Elimination of annotation dependencies in validation for Modern JSON Schema
针对 Modern JSON Schema 的注解依赖阻碍可满足性理论与算法扩展的问题，本文研究向 Classical JSON Schema 的重写，证明维度指数增长下界，并给出实践表现良好的消除算法。
2025-03-14 cs.DB cs.PL
Witness Generation for JSON Schema
JSON Schema是一种重要的、不断发展的JSON文档族标准模式语言。它基于结构断言和布尔断言的复杂组合，并具有否定和递归功能。JSON Schema文档的静态分析包括实际相关的问题，包括模式可满足性、包含性和等价性。这三个问题可以简化为见证生成：给定一个模式，如果存在，则生成该模式的一个元素，否则报告失败。模式可满足性、包含性和等价性已经被证明是可判定的，通过在交替树自动机中约简到可达性。然而，还没有证据生成算法被正式描述。我们贡献了第一个，直接的JSON模式见证生成算法。我们研究了它的有效性和效率，在实验中的几个模式集合，包括成千上万的现实世界的模式。我们的重点是语言的完整性，其中我们只排除uniqueItems运算符，以及算法在合理的时间内在大量真实世界的例子上运行的能力，尽管潜在问题的指数复杂性。
2022-07-16 cs.DB cs.PL
Validation of Modern JSON Schema: Formalization and Complexity
本研究首次形式化描述现代JSON Schema，证明其数据验证为PSPACE完全问题，根源在动态引用，并通过实验验证了动静态引用的渐近复杂度差异。
2024-02-01 cs.DB cs.PL
A Survey of JSON-compatible Binary Serialization Specifications
在本文中，我们介绍了突出JSON兼容的二进制序列化规范的特点的最新进展。我们通过涵盖从20世纪60年代到21世纪初以及以后的几年中二进制序列化规范的历史和演变来激发讨论。我们分析了各行业中最流行的序列化规范的用例。借鉴模式驱动（ASN.1，Apache Avro，Microsoft Bond，Cap'n Proto，FlatBuffers，Protocol Buffers和Apache Thrift）和无模式（BSON，CBOR，FlexBuffers，MessagePack，Smile和UBJSON）JSON兼容的二进制序列化规范，我们通过分析比较和对比它们的内部工作原理。我们探索了一组非标准化的二进制整数编码技术（ZigZag整数编码和小尾数法的Base 128可变长度整数编码），这些技术对于理解各种JSON兼容的二进制序列化规范至关重要。我们系统地讨论了历史，特点和选择模式驱动的和无模式的二进制序列化规范的序列化过程，我们确定了与模式演变的背景下，二进制序列化的挑战。通过反思练习，我们解释了我们对选择JSON兼容的二进制序列化规范的观察。本文旨在指导读者在模式驱动或无模式JSON兼容的二进制序列化规范之间做出明智的选择。
2022-01-10 cs.DB cs.SE
Blaze: Compiling JSON Schema for 10x Faster Validation
Blaze 通过将 JSON Schema 提前编译为高效表示并融合多项独特优化，在多种数据集上实现平均约 10 倍的验证加速，同时严格遵循规范并避免现有验证器的错误结果。
2025-03-11 cs.DB cs.SE
The Forgotten Document-Oriented Database Management Systems: An Overview and Benchmark of Native XML DODBMSes in Comparison with JSON DODBMSes
在当前的大数据背景下，已经提出并实现了许多新的NoSQL解决方案，用于存储，管理和从半结构化数据中提取信息和模式。这些解决方案通过引入半结构化和灵活的模式设计来缓解关系数据库中存在的刚性数据结构的问题。由于当前由不同来源和设备生成的数据，特别是来自物联网传感器和执行器的数据，根据应用程序的不同，使用XML或JSON格式，因此需要以XML格式存储和查询半结构化数据的数据库技术。因此，原生XML数据库最初被设计为使用标准化的查询语言来操作XML数据，即，XQuery和MySQL被重新命名为NoSQL面向文档的数据库系统。目前，这些解决方案中的大多数已经被更现代的基于JSON的数据库管理系统所取代。但是，我们相信基于XML的解决方案仍然可以在异构集合上执行复杂查询时提供性能。不幸的是，现在的研究缺乏对以XML存储和查询文档的数据库技术与更现代的JSON格式的可伸缩性和性能的明确比较。此外，据我们所知，这些数据库技术没有符合大数据的基准。在本文中，我们提出了一个比较选定的面向文档的数据库系统，要么使用XML格式编码的文件，即，BaseX、eXist-db和Sedna，或者JSON格式，即，MongoDB、CouchDB和Couchbase。为了强调性能差异，我们还提出了一个基准测试，使用一个大型DBLP语料库上的异构复杂模式。
2021-02-03 cs.DB
Fast Discovery of Nested Dependencies on JSON Data
函数依赖和包含依赖是数据分析中使用最广泛的数据依赖类别，因为它们能够识别数据中的关系，例如主键和外键。在处理JSON等嵌套数据格式时，这些关系同样重要。然而，函数依赖和包含依赖的定义利用了平面的、非嵌套的关系模型，这错过了涉及嵌套数据模型的对数据的许多有用的依赖类型。在这项工作中，我们确定了传统的功能和包含依赖关系没有捕获的依赖关系类型，但仍然捕获嵌套数据之间有意义的关系。我们还演示了如何挖掘这些传统的依赖关系的算法也可以适用于挖掘嵌套的依赖关系。第一种策略简单地将输入数据转换为未修改的现有算法。我们提出了第二种策略，该策略将算法调整为有效地处理JSON数据作为输入，在某些情况下，这会导致实际数据集的运行时间减少多个数量级。我们进一步展示了如何调整这些算法，以产生有用的结果，在存在一定比例的不完整或无效的数据。
2021-11-19 cs.DB
LinkML-Scala: a Robust, Fast, and Portable Implementation of LinkML
Warsaw University of Technology（华沙理工大学）
针对LinkML此前Python实现的性能等问题，提出用Scala 3编写的LinkML-Scala，它运行于多环境且有多种分发形式，在基准测试中性能远超Python实现，推动LinkML更广泛应用并确保其互操作性与稳定性。
2026-07-27 cs.DB
Valentine: Evaluating Matching Techniques for Dataset Discovery
如今，数据科学家搜索大型数据湖来发现和集成数据集。为了将不同的数据源聚集在一起，数据集发现方法依赖于某种形式的模式匹配：在数据集之间建立对应关系的过程。传统上，模式匹配用于查找源模式和目标模式之间的匹配列对。然而，模式匹配在数据集发现方法中的使用与其原始用途不同。如今，模式匹配作为一个构建块，用于指示和排名数据集间的关系。令人惊讶的是，尽管发现方法的成功高度依赖于底层匹配算法的质量，但由于缺乏具有地面实况、参考方法实现和评估指标的开放可用数据集，最新的发现方法以自组织方式采用现有的模式匹配算法。在本文中，我们的目的是纠正的问题，评估模式匹配方法的有效性和效率的数据集发现的特定需求。为此，我们提出情人节，一个可扩展的开源实验套件，执行和组织大规模的自动匹配实验的表格数据。Valentine包含了一些重要的模式匹配方法的实现，这些方法要么是从头开始实现的（由于缺乏开源代码），要么是从开放的存储库中导入的。Valentine的贡献是：i）数据集发现方法中遇到的四种模式匹配场景的定义，ii）针对数据集发现方法的范围定制的原则性数据集制作过程，以及iii）迄今为止对模式匹配技术的最全面评估，提供对现有技术的优势和劣势的洞察，这可以作为在未来的数据集发现方法中采用模式匹配的指南。
2021-02-13 cs.DB
MORTAL: A Tool of Automatically Designing Relational Storage Schemas for Multi-model Data through Reinforcement Learning
考虑到关系数据库在处理安全性、用户认证、查询优化等方面具有强大的能力，若干商业和学术框架重用关系数据库来存储和查询半结构化数据（例如，XML、JSON）或图形数据（例如，RDF，属性图）。然而，这些工作集中于使用RDBMS管理上述数据模型之一。也就是说，它没有利用底层工具来自动生成用于存储多模型数据的关系模式。在这个演示中，我们提出了一种新的基于强化学习的工具，称为MORTAL。具体来说，给定包含不同数据模型的多模型数据和一组查询，它可以自动设计一个关系模式来存储这些数据，同时具有很好的查询性能。为了清楚地说明它，我们围绕着以下模块：基于加载的多模型数据生成初始状态，通过设置参数来影响学习过程，通过提供语义约束来控制生成的关系模式，通过指定查询来提高关系模式的查询性能，以及当用户调整生成的关系模式时显示查询性能和存储消耗的高度交互式界面。
2021-09-01 cs.DB
Comprehending Semantic Types in JSON Data with Graph Neural Networks
Rochester Institute of Technology（罗切斯特理工学院）
本文提出用图神经网络理解 JSON 数据中的语义类型，基于 JSON 路径进行标注，在多个案例中优于现有最先进模型，展示了处理复杂 JSON 数据的潜力。
2023-07-24 cs.AI cs.DB
PG-HIVE: Hybrid Incremental Schema Discovery for Property Graphs
CNRS, Univ. Grenoble Alpes（法国国家科学研究中心，格勒诺布尔阿尔卑斯大学）；Harokopio University of Athens（雅典哈罗基皮奥大学）
PG-HIVE 通过混合增量模式发现方法，实现属性图的自动模式发现，提升查询效率和准确性。
2025-11-30 cs.DB
Mining Documentation to Extract Hyperparameter Schemas
IBM Research（IBM研究院）
人工智能自动化工具需要机器可读的超参数模式来定义其搜索空间。与此同时，AI库通常带有良好的人类可读文档。虽然这样的文档包含了大部分必要的信息，但不幸的是，它还没有准备好被工具使用。本文描述了如何自动挖掘AI库中的Python文档字符串，以提取JSON模式的超参数。我们评估我们的方法对119 Transformers和估计器从三个不同的图书馆，发现它是有效的提取机器可读的模式。我们的愿景是减轻人工智能自动化工具手动创建和维护此类模式的负担，并将自动化的范围扩大到更大的库和更丰富的模式。
2020-07-02 cs.DB cs.LG stat.ML
Schema-agnostic Progressive Entity Resolution (extended version)
实体解析（ER）是查找对应于同一真实世界实体的实体配置文件的任务。渐进式ER的目标是在有限的时间和/或计算资源可用时有效地解决大型数据集。在实践中，它的目标是提供最好的部分解决方案，通过近似的最佳比较顺序的实体配置文件。到目前为止，Progressive ER仅在结构化（关系）数据源的上下文中进行了研究，因为现有方法依赖于模式知识来节省不必要的比较：它们在基于模式的块键的帮助下将其搜索空间限制为相似的实体（即，表示实体简档的签名）。因此，这些解决方案不适用于大数据集成应用程序，其中涉及大型和异构数据集，如关系和RDF数据库，JSON文件，Web语料库等，为了弥补这一差距，我们提出了一个家庭的模式不可知的渐进ER方法，它不需要模式信息，从而适用于任何模式的异构数据源品种。首先，我们介绍了两个天真的模式无关的方法，表明直接的解决方案表现出不好的性能，不能很好地扩展到大量的数据。然后，我们提出了四种不同的先进方法。通过对7个真实世界的已建立数据集进行广泛的实验评估，我们表明，所有先进的方法在很大程度上都优于朴素的和最先进的基于模式的方法。我们还研究了先进方法的相对性能，为方法选择提供指导。
2019-05-15 cs.DB
The Pneuma Project: Reifying Information Needs as Relational Schemas to Automate Discovery, Guide Preparation, and Align Data with Intent
The University of Chicago（芝加哥大学）
Pneuma项目通过将信息需求转化为关系模式，利用语言模型实现自动化发现与文档生成，提升数据与意图的一致性。
2026-01-07 cs.DB
DBAutoDoc: Automated Discovery and Documentation of Undocumented Database Schemas via Statistical Analysis and Iterative LLM Refinement
Tasio Labs (a Blue Cypress company)（Tasio实验室（Blue Cypress公司旗下））
DBAutoDoc通过统计分析与迭代LLM细化技术，自动发现并文档化未记录的关系数据库模式，其核心是通过图结构问题迭代解决，结合神经网络反向传播的结构，实现语义校正，最终在基准数据库上取得96.1%的综合评分。
2026-03-24 cs.AI cs.DB
Illuminating Patterns of Divergence: DataDios SmartDiff for Large-Scale Data Difference Analysis
DataDios
针对现有数据差异比对工具在模式漂移、异构类型下表现差且可解释性不足的问题，提出整合模式感知映射、特定类型比较器与并行执行的SmartDiff系统，搭配LLM辅助标注流水线，在性能与解释性上均优于基线，可用于多类数据质量相关场景。
2025-08-30 cs.DB cs.LG
Towards Schema Inference for Data Lakes
数据湖是具有未来分析潜力的数据存储库。然而，发现数据湖中的数据和探索相关的数据集都需要付出巨大的努力，因为数据湖可能包含大量的异构数据。在本文中，我们提出了使用模式推理来支持数据湖中数据的解释。如果数据湖要支持schema-on-read范式，那么理解数据湖相关部分的现有模式似乎是一个先决条件。在本文中，我们利用可用于数据发现的近似索引来推断数据湖的模式，包括实体类型和它们之间的关系。具体方法通过聚类来自数据湖的相似数据集来识别候选实体类型，然后使用不同聚类中的数据集之间的关系来通知实体类型之间的关系的识别。该方法使用真实世界的数据存储库进行评估，以确定该建议在哪些方面是有效的，并为确定进一步工作的领域提供信息。
2022-06-08 cs.DB
From Research Questions to Columns: Operationalization-Aware Data Discovery
University of Michigan（密歇根大学）
该研究提出感知操作化的数据发现（OADD）任务，构建基准OADD-Bench，评估多种方法后发现OADD仍是未解决问题，其中OADD定向智能体表现最佳。
2026-08-06 cs.DB
Conceptual Schema Inference for Tabular Datasets using Large Language Models
针对异构表格数据源，提出两种基于大语言模型的方法（GeSI和EmSI），分别利用生成式和嵌入技术从列标题和单元格值中自动推断概念模式，包括实体类型、属性和类型间关系。
2026-05-25 cs.DB
cjdb: a simple, fast, and lean database solution for the CityGML data model
本文提出cjdb，一种基于PostgreSQL和JSON的CityGML数据存储方案，仅需3张表，相比3DCityDB节省约10倍存储空间，并提升导入导出速度，检索性能相当。
2023-07-13 cs.DB
Example-Driven Query Intent Discovery: Abductive Reasoning using Semantic Similarity
传统的关系数据接口需要对潜在的复杂模式进行精确的结构化查询。这些严格的数据检索机制给非专家用户带来了障碍，他们通常缺乏语言专业知识，不熟悉模式的细节。示例查询（QBE）方法提供了一种替代机制：用户提供他们想要的查询输出的示例，QBE系统需要推断出想要的查询。然而，这些方法专注于示例的结构相似性，而忽略了数据中存在的更丰富的上下文。因此，它们通常会产生过于笼统的查询，并且无法有效地捕获用户的意图。在本文中，我们提出了SQuID，一个系统，执行语义相似性感知查询意图发现。我们的工作做出了以下贡献：（1）我们设计了一个端到端的系统，自动制定选择项目连接查询在一个开放的世界设置，可选的分组聚合和交叉运算符;一个更大的类比以前的QBE技术。(2)我们表达的问题，查询意图发现使用概率溯因模型，推断查询作为最有可能的解释所提供的例子。(3)我们引入了一个绑架准备数据库的概念，它预先计算语义属性和相关的统计数据，使SQuID实现实时性能。(4)我们对三个真实世界的数据集进行了广泛的实证评估，包括用户意图案例研究，证明SQuID是高效和有效的，优于机器学习方法，以及相关查询逆向工程问题的最新技术。
2019-06-25 cs.DB
PIPE-RDF: An LLM-Assisted Pipeline for Enterprise RDF Benchmarking
UC San Deigo（加州大学圣地亚哥分校）
PIPE-RDF通过反向查询和检索增强提示构建企业RDF基准测试，生成450个问题-SPARQL对，实现100%有效性验证。
2026-02-15 cs.AI cs.DB
AI-Driven Generation of Data Contracts in Modern Data Engineering Systems
Senior Member, IEEE（IEEE高级成员）；Senior Data and AI Specialist, LTIMindtree.com（LTIMindtree公司高级数据与人工智能专家）
针对数据合约人工编写维护成本高的问题，提出基于LoRA、PEFT微调大语言模型的AI驱动框架，可自动生成多格式数据合约并集成到主流数据平台，大幅减少人工工作量，助力可扩展敏捷数据治理。
2025-05-04 cs.AI cs.DB
Survive the Schema Changes: Integration of Unmanaged Data Using Deep Learning
Arizona State University（亚利桑那州立大学）；University at Buffalo, State University of New York（纽约州立大学布法罗分校）
数据是AI时代的王者。然而，数据集成通常是一项艰巨的任务，很难自动化。模式更改是端到端数据集成过程自动化的一个重要障碍。虽然存在诸如查询发现和模式修改语言之类的机制来处理该问题，但是这些方法只能在模式由数据库维护的假设下工作。然而，我们观察到的异构数据和开放数据，其中大部分没有定义模式的多样化模式的变化。在这项工作中，我们建议使用深度学习来自动处理模式变化，通过超级单元表示和自动注入扰动到训练数据，使模型对模式变化具有鲁棒性。我们的实验结果表明，我们提出的方法是有效的两个现实世界的数据集成场景：冠状病毒数据集成，机器日志集成。
2020-10-15 cs.DB cs.LG
Conceptual Schema Inference for Tabular Datasets using Large Language Models
The University of Manchester（曼彻斯特大学）
本文提出两种基于大型语言模型的方法，从原始表格中自动推断概念模式，包括实体类型、属性和类型间关系，以解决异构表格数据的一致性问题。
2026-05-25 cs.AI cs.DB
Schemora: schema matching via multi-stage recommendation and metadata enrichment using off-the-shelf llms
Principal Machine Learning Engineer Informatica（Informatica）；Computer Science University of Wisconsin-Madison（威斯康星大学麦迪逊分校计算机科学系）；Director of AI/ML Development Informatica（Informatica）
SCHEMORA提出一种结合大语言模型与混合检索的模式匹配框架，无需标注数据即可高效识别候选匹配，在MIMIC-OMOP上以HitRate@5提升7.49%达到新SOTA，并首次提供开源实现。
2025-07-18 cs.AI cs.DB cs.LG
An advanced AI driven database system
Pace University（佩斯大学）；New York University（纽约大学）；CUNY（纽约市立大学）
本文提出一种集成LLM与先进机器学习算法的AI驱动数据库系统，通过NLP界面、自动查询生成、模式推理与格式选择降低数据库使用门槛并减少手动调优和人为错误。
2025-07-22 cs.AI cs.DB cs.SE
Towards an open registry of Earth observation instruments
Leipzig University（莱比锡大学）；Universitat de València（瓦伦西亚大学）；UFZ（赫尔姆霍茨环境研究中心）
针对地球观测仪器元数据分散问题，提出一个基于GitHub的开放注册表，采用可扩展的通用模式，支持自动验证与人工审核，以促进仪器发现和数据互操作。
2026-06-15 cs.DB cs.DL
Taxonomy Inference for Tabular Data Using Large Language Models
The University of Manchester（曼彻斯特大学）
本文提出EmTT和GeTT两种基于大型语言模型的方法，用于表格数据的分类法推断，通过嵌入和迭代提示构建实体类型层次，实验证明与真值高度一致。
2025-03-25 cs.AI cs.CL cs.DB
Relational Deep Dive: Error-Aware Queries Over Unstructured Data
University of Toronto（多伦多大学）
针对非结构化数据分析查询的抽取挑战，提出框架ReDD，通过两阶段流水线动态发现查询模式并填充关系表，结合统计校准方法SCAPE进行错误感知抽取，将错误率降至1%以下。
2025-11-04 cs.DB cs.IR
