JSON Schema Inclusion through Refutational Normalization: Reconciling Efficiency and Completeness
Sorbonne Université, LIP6 UMR 7606（索邦大学）；Université Paris-Dauphine – PSL（巴黎第九大学）；Università di Pisa（比萨大学）；Universität Passau（帕绍大学）；Università della Basilicata（巴西利卡塔大学）
本文提出一种协调规则方法效率与见证生成方法完备性的新方法，通过归一化技术提升JSON Schema包含检查的性能与完备性。
2026-08-11 cs.DB
Negation-Closure for JSON Schema
JSON Schema是描述JSON文档族的一个不断发展的标准。它是一种逻辑语言，基于一组描述分析中JSON值特征的断言，以及这些断言的逻辑或结构组合子，包括否定运算符。大多数带有否定的逻辑语言都享有否定闭包，也就是说，对于每个运算符，它们都有一个表示其否定的否定对偶。我们表明，这不是JSON模式的情况下，我们研究如何改变与草案的最新版本，我们讨论如何相应地丰富语言。在这个过程中，我们定义了一个代数重新表述的JSON模式，我们成功地采用了原型系统生成模式证人。
2022-02-27 cs.DB cs.PL
Elimination of annotation dependencies in validation for Modern JSON Schema
针对 Modern JSON Schema 的注解依赖阻碍可满足性理论与算法扩展的问题，本文研究向 Classical JSON Schema 的重写，证明维度指数增长下界，并给出实践表现良好的消除算法。
2025-03-14 cs.DB cs.PL
Witness Generation for JSON Schema
JSON Schema是一种重要的、不断发展的JSON文档族标准模式语言。它基于结构断言和布尔断言的复杂组合，并具有否定和递归功能。JSON Schema文档的静态分析包括实际相关的问题，包括模式可满足性、包含性和等价性。这三个问题可以简化为见证生成：给定一个模式，如果存在，则生成该模式的一个元素，否则报告失败。模式可满足性、包含性和等价性已经被证明是可判定的，通过在交替树自动机中约简到可达性。然而，还没有证据生成算法被正式描述。我们贡献了第一个，直接的JSON模式见证生成算法。我们研究了它的有效性和效率，在实验中的几个模式集合，包括成千上万的现实世界的模式。我们的重点是语言的完整性，其中我们只排除uniqueItems运算符，以及算法在合理的时间内在大量真实世界的例子上运行的能力，尽管潜在问题的指数复杂性。
2022-07-16 cs.DB cs.PL
Validation of Modern JSON Schema: Formalization and Complexity
本研究首次形式化描述现代JSON Schema，证明其数据验证为PSPACE完全问题，根源在动态引用，并通过实验验证了动静态引用的渐近复杂度差异。
2024-02-01 cs.DB cs.PL
A Survey of JSON-compatible Binary Serialization Specifications
在本文中，我们介绍了突出JSON兼容的二进制序列化规范的特点的最新进展。我们通过涵盖从20世纪60年代到21世纪初以及以后的几年中二进制序列化规范的历史和演变来激发讨论。我们分析了各行业中最流行的序列化规范的用例。借鉴模式驱动（ASN.1，Apache Avro，Microsoft Bond，Cap'n Proto，FlatBuffers，Protocol Buffers和Apache Thrift）和无模式（BSON，CBOR，FlexBuffers，MessagePack，Smile和UBJSON）JSON兼容的二进制序列化规范，我们通过分析比较和对比它们的内部工作原理。我们探索了一组非标准化的二进制整数编码技术（ZigZag整数编码和小尾数法的Base 128可变长度整数编码），这些技术对于理解各种JSON兼容的二进制序列化规范至关重要。我们系统地讨论了历史，特点和选择模式驱动的和无模式的二进制序列化规范的序列化过程，我们确定了与模式演变的背景下，二进制序列化的挑战。通过反思练习，我们解释了我们对选择JSON兼容的二进制序列化规范的观察。本文旨在指导读者在模式驱动或无模式JSON兼容的二进制序列化规范之间做出明智的选择。
2022-01-10 cs.DB cs.SE
Blaze: Compiling JSON Schema for 10x Faster Validation
Blaze 通过将 JSON Schema 提前编译为高效表示并融合多项独特优化，在多种数据集上实现平均约 10 倍的验证加速，同时严格遵循规范并避免现有验证器的错误结果。
2025-03-11 cs.DB cs.SE
The Forgotten Document-Oriented Database Management Systems: An Overview and Benchmark of Native XML DODBMSes in Comparison with JSON DODBMSes
在当前的大数据背景下，已经提出并实现了许多新的NoSQL解决方案，用于存储，管理和从半结构化数据中提取信息和模式。这些解决方案通过引入半结构化和灵活的模式设计来缓解关系数据库中存在的刚性数据结构的问题。由于当前由不同来源和设备生成的数据，特别是来自物联网传感器和执行器的数据，根据应用程序的不同，使用XML或JSON格式，因此需要以XML格式存储和查询半结构化数据的数据库技术。因此，原生XML数据库最初被设计为使用标准化的查询语言来操作XML数据，即，XQuery和MySQL被重新命名为NoSQL面向文档的数据库系统。目前，这些解决方案中的大多数已经被更现代的基于JSON的数据库管理系统所取代。但是，我们相信基于XML的解决方案仍然可以在异构集合上执行复杂查询时提供性能。不幸的是，现在的研究缺乏对以XML存储和查询文档的数据库技术与更现代的JSON格式的可伸缩性和性能的明确比较。此外，据我们所知，这些数据库技术没有符合大数据的基准。在本文中，我们提出了一个比较选定的面向文档的数据库系统，要么使用XML格式编码的文件，即，BaseX、eXist-db和Sedna，或者JSON格式，即，MongoDB、CouchDB和Couchbase。为了强调性能差异，我们还提出了一个基准测试，使用一个大型DBLP语料库上的异构复杂模式。
2021-02-03 cs.DB
LinkML-Scala: a Robust, Fast, and Portable Implementation of LinkML
Warsaw University of Technology（华沙理工大学）
针对LinkML此前Python实现的性能等问题，提出用Scala 3编写的LinkML-Scala，它运行于多环境且有多种分发形式，在基准测试中性能远超Python实现，推动LinkML更广泛应用并确保其互操作性与稳定性。
2026-07-27 cs.DB
MORTAL: A Tool of Automatically Designing Relational Storage Schemas for Multi-model Data through Reinforcement Learning
考虑到关系数据库在处理安全性、用户认证、查询优化等方面具有强大的能力，若干商业和学术框架重用关系数据库来存储和查询半结构化数据（例如，XML、JSON）或图形数据（例如，RDF，属性图）。然而，这些工作集中于使用RDBMS管理上述数据模型之一。也就是说，它没有利用底层工具来自动生成用于存储多模型数据的关系模式。在这个演示中，我们提出了一种新的基于强化学习的工具，称为MORTAL。具体来说，给定包含不同数据模型的多模型数据和一组查询，它可以自动设计一个关系模式来存储这些数据，同时具有很好的查询性能。为了清楚地说明它，我们围绕着以下模块：基于加载的多模型数据生成初始状态，通过设置参数来影响学习过程，通过提供语义约束来控制生成的关系模式，通过指定查询来提高关系模式的查询性能，以及当用户调整生成的关系模式时显示查询性能和存储消耗的高度交互式界面。
2021-09-01 cs.DB
Comprehending Semantic Types in JSON Data with Graph Neural Networks
Rochester Institute of Technology（罗切斯特理工学院）
本文提出用图神经网络理解 JSON 数据中的语义类型，基于 JSON 路径进行标注，在多个案例中优于现有最先进模型，展示了处理复杂 JSON 数据的潜力。
2023-07-24 cs.AI cs.DB
Schema-agnostic Progressive Entity Resolution (extended version)
实体解析（ER）是查找对应于同一真实世界实体的实体配置文件的任务。渐进式ER的目标是在有限的时间和/或计算资源可用时有效地解决大型数据集。在实践中，它的目标是提供最好的部分解决方案，通过近似的最佳比较顺序的实体配置文件。到目前为止，Progressive ER仅在结构化（关系）数据源的上下文中进行了研究，因为现有方法依赖于模式知识来节省不必要的比较：它们在基于模式的块键的帮助下将其搜索空间限制为相似的实体（即，表示实体简档的签名）。因此，这些解决方案不适用于大数据集成应用程序，其中涉及大型和异构数据集，如关系和RDF数据库，JSON文件，Web语料库等，为了弥补这一差距，我们提出了一个家庭的模式不可知的渐进ER方法，它不需要模式信息，从而适用于任何模式的异构数据源品种。首先，我们介绍了两个天真的模式无关的方法，表明直接的解决方案表现出不好的性能，不能很好地扩展到大量的数据。然后，我们提出了四种不同的先进方法。通过对7个真实世界的已建立数据集进行广泛的实验评估，我们表明，所有先进的方法在很大程度上都优于朴素的和最先进的基于模式的方法。我们还研究了先进方法的相对性能，为方法选择提供指导。
2019-05-15 cs.DB
An LSM-based Tuple Compaction Framework for Apache AsterixDB (Extended Version)
文档数据库系统存储自我描述的半结构化记录，如JSON，“原样”，而不需要用户预先定义模式。这为用户提供了更改传入记录结构的灵活性，而不必担心使系统脱机或妨碍当前运行的查询的性能。然而，这种系统的灵活性并不自由。记录中的大量冗余可能会引入不必要的存储开销并影响查询性能。我们在本文中的重点是解决存储开销问题，通过引入元组压缩器框架，推断和提取模式的自我描述的半结构化记录在数据摄取。由于许多著名的文档存储，如MongoDB和Couchbase，在其存储引擎中采用日志结构化合并（LSM）树，我们的框架利用LSM生命周期事件来搭载模式推理和提取操作。我们已经实现并经验评估了我们的方法，以衡量其对Apache AsterixDB环境中的存储，数据摄取和查询性能的影响。
2020-05-11 cs.DB
Illuminating Patterns of Divergence: DataDios SmartDiff for Large-Scale Data Difference Analysis
DataDios
针对现有数据差异比对工具在模式漂移、异构类型下表现差且可解释性不足的问题，提出整合模式感知映射、特定类型比较器与并行执行的SmartDiff系统，搭配LLM辅助标注流水线，在性能与解释性上均优于基线，可用于多类数据质量相关场景。
2025-08-30 cs.DB cs.LG
Practical Study of Deterministic Regular Expressions from Large-scale XML and Schema Data
正则表达式是计算机科学中的一个基本概念，广泛应用于各种应用中。在本文中，我们重点讨论了确定性正则表达式（DRES）。考虑到研究者以前没有大的数据集作为证据，我们首先从网络上收集了大量的真实数据，然后进行了一个实际的研究，以调查使用的DREs。我们的工作的一个特点是，数据集是足够大的相比，以前的工作，这是使用我们提出的几个数据汇集策略。结果表明，Relax NG中超过98%的表达式是DRE，RegExLib中超过56%的表达式是DRE，而Relax NG和RegExLib都没有确定性约束。这些意见表明，销毁去除率在实践中得到普遍使用。这些结果也表明进一步研究DRE的亚类是必要的。据我们所知，我们是第一个分析Relax NG和RegExLib的DRE的确定性和子类，并给出这些结果。此外，我们还对该数据集进行了一些讨论和应用.我们从原始数据中获得了一个DRE数据集，这在实践中将是有用的，它本身就有价值。我们发现，目前对DREs新亚类的研究还不够，因此有必要做进一步的研究。分析了XSD之间的引用关系，定义了可用于XML Schema设计的SchemaRank。
2018-05-31 cs.DB
cjdb: a simple, fast, and lean database solution for the CityGML data model
本文提出cjdb，一种基于PostgreSQL和JSON的CityGML数据存储方案，仅需3张表，相比3DCityDB节省约10倍存储空间，并提升导入导出速度，检索性能相当。
2023-07-13 cs.DB
PIPE-RDF: An LLM-Assisted Pipeline for Enterprise RDF Benchmarking
UC San Deigo（加州大学圣地亚哥分校）
PIPE-RDF通过反向查询和检索增强提示构建企业RDF基准测试，生成450个问题-SPARQL对，实现100%有效性验证。
2026-02-15 cs.AI cs.DB
AI-Driven Generation of Data Contracts in Modern Data Engineering Systems
Senior Member, IEEE（IEEE高级成员）；Senior Data and AI Specialist, LTIMindtree.com（LTIMindtree公司高级数据与人工智能专家）
针对数据合约人工编写维护成本高的问题，提出基于LoRA、PEFT微调大语言模型的AI驱动框架，可自动生成多格式数据合约并集成到主流数据平台，大幅减少人工工作量，助力可扩展敏捷数据治理。
2025-05-04 cs.AI cs.DB
Baseline: Operation-Based Evolution and Versioning of Data
Independent, Boston, MA, USA（独立研究者）；Charles University, Prague, Czechia（布拉格查理大学）
提出Baseline平台，通过操作差分技术实现数据在时间、空间和设计变化下的版本控制，支持模式变更下的高保真差异比较与合并，并实现查询的操作化。
2026-06-18 cs.DB
SQLAgent: Learning to Explore Before Generating as a Data Engineer
Westlake University（西湖大学）；University of California, Merced（加州大学默塞德分校）；Centre for Frontier AI Research (CFAR) & CATOS, A*STAR（前沿人工智能研究中心及CATOS，A*STAR）
SQLAgent通过两阶段框架实现数据库探索与查询生成解耦，利用蒙特卡洛树搜索策略构建知识库，并通过双代理系统提升SQL查询准确性。
2026-02-02 cs.DB
An advanced AI driven database system
Pace University（佩斯大学）；New York University（纽约大学）；CUNY（纽约市立大学）
本文提出一种集成LLM与先进机器学习算法的AI驱动数据库系统，通过NLP界面、自动查询生成、模式推理与格式选择降低数据库使用门槛并减少手动调优和人为错误。
2025-07-22 cs.AI cs.DB cs.SE
O-Funnel: Lossless Structural Capture and Requirement-Driven Extraction from Drifting, Heterogeneous Documents
Intellusion
O-Funnel通过分离值描述与定位，将异构文档转为类型化树，融合多源证据提取字段，在漂移模式下保持高F1，并支持自我改进。
2026-10-01 cs.DB cs.IR
Taxonomy Inference for Tabular Data Using Large Language Models
The University of Manchester（曼彻斯特大学）
本文提出EmTT和GeTT两种基于大型语言模型的方法，用于表格数据的分类法推断，通过嵌入和迭代提示构建实体类型层次，实验证明与真值高度一致。
2025-03-25 cs.AI cs.CL cs.DB
