A ToolBox for Conservative XML Schema Evolution and Document Adaptation
本文提出了一套工具,以帮助处理XML数据库的演变。其目的是建立一个多系统环境,使全球综合系统与一些地方原有系统协调运作,从而能够双向转换数据,从而在两个层面开展活动。为了处理模式,我们提出了一个算法,计算能够获得一个全球性的模式,这是一个保守的原始本地模式的扩展映射。所获得的映射的作用是双重的:它确保模式的演变,通过组合和反转,它指导文档翻译器的建设,允许自动数据自适应w.r.t.类型进化本文应用,扩展和整理我们以前的一些贡献。
2014-06-05 cs.DB
Analysing complexity of XML Schemas in geospatial web services
XML Schema是用于定义基于OGC的Web服务客户端和提供者之间交换的消息结构的语言。随着时间的推移,这些模式的规模一直在增长,达到了一个使其理解和有效应用成为一项艰巨任务的状态。处理这种情况的第一步是提供不同的方法来度量模式的复杂性。在这方面,我们在本文中提出的OGC Web服务的XML模式的复杂性分析。我们使用一组在文献中找到的指标,并引入新的指标来衡量这些模式的大小和/或复杂性。使用适当的度量使我们能够量化模式的复杂性,质量和其他属性,这在不同的场景中非常有用。
2011-10-02 cs.DB
"Almost automatic" and semantic integration of XML Schemas at various "severity" levels
本文提出了一种新的方法来集成一组XML模式。所提出的方法是专门为XML,几乎是自动的,语义和“轻”。作为进一步的,原始的,特点,它是参数w.r.t.执行集成任务所依据的“严重性”级别。本文详细介绍了该方法,说明了各种理论结果,提出了我们已经进行了测试,最后,它与各种相关的方法已经在文献中提出的实验。
2009-11-18 cs.DB
On Typechecking Top-Down XML Tranformations: Fixed Input or Output Schemas
类型检查包括静态验证XML转换的输出是否始终符合满足给定输入类型的文档的输出类型。在这个常规设置中,输入和输出模式以及转换都是问题输入的一部分。然而,输入或输出模式可以被认为是固定的情况在实践中非常常见。在目前的工作中,我们调查的计算复杂性的类型检查问题,在后者的设置。
2006-06-22 cs.DB cs.PL
Schemas for Unordered XML on a DIME
我们调查模式语言的无序XML没有兄弟姐妹之间的相对顺序。首先,我们提出了无序正则表达式(URES),本质上是具有无序连接而不是标准连接的正则表达式,其定义了无序单词的语言来对节点的允许内容进行建模(即,儿童标签的集合)。然而,不受限制的URES计算太昂贵,因为我们显示URES的两个基本决策问题的棘手性:成员的无序字的语言的一个URES和包含两个URES。因此,我们提出了一个实用的和易于处理的限制URES,析取区间多重性表达式(DIMEs)。接下来,我们使用DIME定义无序树的语言,并提出了两种模式语言:析取区间多重性模式(DIMS),和它的限制,无析取区间多重性模式(IMS)。我们研究了以下静态分析问题的复杂性:模式可满足性,成员的树的语言的模式,模式的包容性,以及小枝查询可满足性,蕴涵,并在存在模式的包容。最后,我们研究了所提出的模式语言的表达能力,并将它们与无序树(FO,MSO和Presburger约束)和DTD交换闭包下的标尺语言进行比较。我们的研究结果表明,所提出的模式语言能够表达许多实用的语言无序树,并享有理想的计算性能。
2014-10-28 cs.DB
The XML and Semantic Web Worlds: Technologies, Interoperability and Integration. A Survey of the State of the Art
在新兴的数据网络的背景下,大量的组织、机构和公司(例如,DBpedia、Geonames、PubMed ACM、IEEE、NASA、BBC)采用关联数据实践,并利用语义网(SW)技术发布其数据。另一方面,当今Web中信息交换的主导标准是XML。许多国际标准(例如,Dublin Core、MPEG-7、METS、TEI、IEEE LOM)已经用XML Schema表示,从而产生了大量的XML数据集。SW和XML世界及其开发的基础设施基于不同的数据模型、语义和查询语言。因此,提供互操作性和集成机制来弥合SW和XML世界之间的差距是至关重要的。在本章中,我们将对XML和SW世界所采用的技术和标准进行概述和比较。此外,我们还概述了W3C小组的最新工作,包括最新的工作草案和建议(例如,OWL 2、SPARQL 1.1、XML Schema 1.1)。此外,我们提出了一个调查的研究方法,旨在提供XML和SW世界之间的互操作性和集成。最后,我们提出了SPARQL 2XQuery和XS 2 OWL框架,它们弥合了这两个世界之间的差距,并创建了一个可互操作的环境。这些框架提供了以下机制:(a)查询转换(SPARQL到XQuery转换);(b)映射规范和生成(本体到XML模式映射);以及(c)模式转换(XML模式到OWL转换)。
2016-08-11 cs.DB
Dealing with large schema sets in mobile SOS-based applications
虽然OGC Web服务在服务器、桌面和Web应用程序中的采用已经取得了成功,但它在移动设备中的渗透速度一直很慢。其中一个主要原因是与XML处理相关的性能问题,因为它消耗大量的内存和处理时间,而这在移动终端中是稀缺资源。在本文中,我们提出了一个算法来生成有效的代码,XML数据绑定的移动基于SOS的应用程序。该算法利用了这样一个事实,即单个实现只使用标准模式的一部分,这允许通过使用符合这些模式的XML实例文件的子集,以特定于应用程序的方式简化大型XML模式集。
2011-10-02 cs.DB
HepToX: Heterogeneous Peer to Peer XML Databases
我们研究了一组异构的XML数据库,这些数据库维护相似和相关的信息,通过对等覆盖网络交换数据。在这种情况下,中介的全局模式是不现实的。然而,用户/应用程序希望通过一个对等体使用其模式来查询数据库。我们最近开发了一个P2P异构XML数据库系统HepToX。一个关键的想法是,每当一个对等点进入系统,它建立了一个熟人与少数对等数据库,可能与不同的模式。对等管理员使用箭头和框的非正式且直观的符号来提供本地模式与熟人模式之间的对应关系。我们开发了一种新的算法,推断出一组精确的映射规则之间的模式,从这些视觉注释。我们钉下这样的映射规则的查询翻译的语义,并提出了一种新的查询翻译算法的一个简单的,但富有表现力的片段的XQuery,采用在任何方向的映射规则。我们证明了翻译算法是正确的。最后,我们证明了我们的想法和算法的实用性和可扩展性,一组详细的实验上的Emulab,一个大规模的P2P网络仿真测试床。
2005-06-01 cs.DB
XML Matchers: approaches and challenges
University of Messina(墨西拿大学);Indiana University Bloomington(印第安纳大学伯明顿分校);University Mediterranea of Reggio Calabria(雷焦卡拉布里亚地中海大学)
模式匹配(SchemaMatching),即发现不同数据源模式中概念之间的语义对应关系的过程,多年来一直是数据库和人工智能研究领域的一个重要课题。在过去,它主要是针对经典数据库模型(例如,E/R模式、关系数据库等)。然而,近年来,XML在大多数不同的应用领域的广泛采用促使越来越多的研究人员设计特定于XML的模式匹配方法,称为XML Matchers,旨在发现DTD和XSD中定义的概念之间的语义匹配。XML匹配器不仅采用最初为其他数据模型设计的众所周知的技术并将其应用于DTD/XSD,而且还利用特定的XML特性(例如,DTD/XSD的层次结构)来提高模式匹配过程的性能。XML匹配器的设计是目前一个成熟的研究领域。本文的主要目标是提供一个详细的描述和分类的XML匹配器。我们首先描述DTD/XSD的特性在多大程度上影响了模式匹配任务。然后,我们介绍一个称为XML Matcher Template的模板,它描述了XML Matcher的主要组件,以及它们的角色和行为。我们说明了这些组件是如何在一些流行的XML匹配器中实现的。我们将XML Matcher模板视为客观比较方法的基准,这些方法乍看上去可能是不相关的。这个模板的引入在未来的XML匹配器的设计中会很有用。最后,我们分析了实现XML匹配器的商业工具,并介绍了与此主题密切相关的两个具有挑战性的问题,即XML源聚类和XML匹配器中的不确定…
2014-07-10 cs.AI cs.DB cs.IR
A Grammatical Inference Approach to Language-Based Anomaly Detection in XML
误报是基于异常的入侵检测系统中的一个问题。针对这个问题,我们讨论了异常检测的可扩展置标语言(XML)的语言理论的观点。我们认为,许多基于XML的攻击目标的语法水平,即树结构或元素的内容,和XML文档的语法验证减少了攻击面。XML提供了所谓的模式来进行验证,但在现实世界中,模式通常不可用、被忽略或过于通用。在这篇正在进行的论文中,我们描述了一种语法推理方法,从示例XML文档中学习自动机,用于检测具有异常语法的文档。我们讨论了XML的属性和表达能力,以理解可学习性的局限性。我们的贡献是一个XML模式兼容的词汇数据类型系统抽象的XML内容和学习算法明显下推自动机(VPA)直接从一组例子。该算法不需要XML的树表示,因此可以处理大型文档或流。然后,所得到的确定性VPA允许文档的流验证,以识别底层树结构或数据库中的偏差。
2013-06-25 cs.CR cs.DB
Affinity-based XML Fragmentation
在本文中,我们解决了高度分布式数据库的碎片问题。在这样的环境中,合适的分段策略可以通过最小化分布式事务来提供可伸缩性和可用性。我们提出了一种XML碎片的方法,作为输入的应用程序的预期工作量和存储阈值,并产生作为输出的XML碎片模式。我们的工作负载感知方法旨在通过将相关数据打包到一小部分片段中来最大限度地减少分布式事务的执行。我们目前的实验比较替代碎片模式,表明我们的技术产生的一个提供了更细粒度的结果和更好的系统吞吐量。
2013-04-24 cs.DB
Learning Restricted Regular Expressions with Interleaving
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
为XML文档提供XML模式的优点有很多。然而,实际上许多XML文档并没有伴随着模式或有效的模式。Relax NG是一种流行的、功能强大的模式语言,它支持无约束交织运算符。针对Relax NG的推理问题,提出了一种新的带交错的正则表达式子类,并设计了一种多项式推理算法。在大规模真实数据和三个XML数据库上进行了一系列实验,实验结果表明,本文提出的算法具有更好的实用性,推理出的正则表达式更精确。
2019-04-30 cs.AI cs.DB
Discovering Restricted Regular Expressions with Interleaving
从给定的XML文档中发现一个简洁的模式是XML应用中的一个重要问题。在本文中,我们专注于从一组给定的XML示例中学习无序模式的问题,这实际上是一个学习的问题,限制正则表达式交错使用正例字符串。具有交错的模式可以呈现有意义的知识,这些知识不能被先前的推理技术所揭示。此外,推理的最小模式交织是具有挑战性的。发现一个最小的模式与交织的问题是NP-难的。因此,我们开发了一个近似算法和一个启发式的解决方案来解决这个问题,使用不同的技术从已知的推理算法。我们在真实世界的数据集上进行实验,以证明我们的方法的有效性。事实证明,我们的启发式算法产生的结果非常接近最优。
2015-04-01 cs.DB
Type-Based Detection of XML Query-Update Independence
本文提出了一种新的静态分析技术来检测XML查询更新的独立性,在一个模式的存在。而不是类型,我们的系统推断类型链。每个链表示在查询/更新评估期间可以在有效文档上遍历的路径。由此产生的独立性分析是精确的,尽管它提出了一个具有挑战性的问题:递归模式可能导致推断出无限多个链。一个健全的和完整的近似技术,确保在任何情况下的有限分析,连同一个有效的实施执行链为基础的分析多项式的空间和时间。
2012-05-30 cs.DB
Practical Study of Deterministic Regular Expressions from Large-scale XML and Schema Data
正则表达式是计算机科学中的一个基本概念,广泛应用于各种应用中。在本文中,我们重点讨论了确定性正则表达式(DRES)。考虑到研究者以前没有大的数据集作为证据,我们首先从网络上收集了大量的真实数据,然后进行了一个实际的研究,以调查使用的DREs。我们的工作的一个特点是,数据集是足够大的相比,以前的工作,这是使用我们提出的几个数据汇集策略。结果表明,Relax NG中超过98%的表达式是DRE,RegExLib中超过56%的表达式是DRE,而Relax NG和RegExLib都没有确定性约束。这些意见表明,销毁去除率在实践中得到普遍使用。这些结果也表明进一步研究DRE的亚类是必要的。据我们所知,我们是第一个分析Relax NG和RegExLib的DRE的确定性和子类,并给出这些结果。此外,我们还对该数据集进行了一些讨论和应用.我们从原始数据中获得了一个DRE数据集,这在实践中将是有用的,它本身就有价值。我们发现,目前对DREs新亚类的研究还不够,因此有必要做进一步的研究。分析了XSD之间的引用关系,定义了可用于XML Schema设计的SchemaRank。
2018-05-31 cs.DB
Enhanced XML Validation using SRML
随着互联网上系统消耗和传输的数据量不断增长,数据验证变得越来越重要。重要的是要确保发送的数据是有效的,因为它可能包含输入错误,这些错误可能会被不同的系统消耗,从而导致进一步的错误。XML已经成为数据传输的事实标准。创建XML模式定义语言(XSD)是为了帮助XML结构验证并为数据类型限制提供模式,但是它不允许更复杂的情况。在这篇文章中,我们介绍了一种方法,通过扩展和改进我们的SRML元语言,提供基于规则的XML验证和纠正。我们还探索了在数据库中应用它作为CRUD操作的触发器的选项,允许在原子级别上进行更细粒度的数据集验证,从而允许更复杂的数据集记录验证规则。
2013-11-16 cs.DB
Search Driven Analysis of Heterogenous XML Data
XML存储库上的分析处理通常是通过设计复杂的数据转换来实现的,这些转换将文档分解为一个通用的数据仓库模式。这可能非常耗时和昂贵,尤其是当底层XML数据在结构上有很多变化,并且只有属性的子集构成有意义的维度和事实时。今天,还没有工具来探索XML数据集,发现有趣的属性、维度和事实,并快速原型化OLAP解决方案。在本文中,我们提出了一个系统,称为SEDA,使用户能够从简单的关键字风格的查询,并以交互方式完善查询的结果摘要的基础上。然后,SEDA将查询结果映射到一组已知的或新创建的事实和维度上,并导出一个星型模式及其实例,以供输入现成的OLAP工具进行进一步分析。
2009-09-09 cs.DB
Constraint-based Query Distribution Framework for an Integrated Global Schema
分布式异构数据源需要使用全局模式进行统一查询。对全局模式的查询被重新制定,以便它可以在本地数据源上执行。全局架构和映射中的约束用于源选择、查询优化以及查询分区和复制的数据源。所提供的系统都是基于XML的,它以XML形式提出查询,转换并将本地结果集成到XML文档中。贡献包括在我们现有的全球模式,有助于在源选择和查询优化,和查询分布式异构数据源的全球查询分布框架的约束的使用。
2010-04-13 cs.DB cs.DC cs.IR
An Integrated Approach for Extraction of Objects from XML and Transformation to Heterogeneous Object Oriented Databases
CERN(欧洲核研究组织)的WISDOM项目使用XML在异构操作系统环境中的不同数据存储库之间复制数据。为了交换来自Web驻留数据库的数据,需要将数据转换为XML,然后再转换回数据库格式。许多不同的方法被用来做这个转换。本文讨论的问题,使这项工作比现有的方法更有效和强大。它在数据库-XML关系中结合了万维网联盟(W3C)XML模式规范。XML模式的引入在XML内容使用方面表现出显著的改进,并减少了基于DTD的数据库XML服务的限制。其次,本文探讨了XML与不同数据库之间的数据转换与数据库无关的可能性。它提出了一个标准的XML格式,每个序列化的对象都应该遵循。这使得使用XML无缝地使用异构数据库的对象成为可能。
2004-02-02 cs.DB cs.SE
XML content warehousing: Improving sociological studies of mailing lists and web data
在本文中,我们提出了一个基于XML的Web数据的社会学研究,如分析邮件列表或数据库在线的方法的指导方针。使用XML仓库是存储和处理这类数据的灵活解决方案。我们提出了一个实施的解决方案,并显示可能的应用程序与我们的案例研究的轮廓参与W3C标准制定活动的专家。我们说明了社会学使用的半结构化数据库,提出我们的XML模式的邮件列表仓库。XML模式允许在不修改现有数据集的情况下对数据源进行多次转换或交叉,同时允许可能的结构演变。我们还表明,隐藏数据的存在意味着传统的SQL用户的复杂性增加。XML内容仓库允许对内容进行详尽的仓库存储和递归查询,对初始存储的依赖性要小得多。最后,我们提出了将存储在仓库中的数据导出到常用的高级软件中进行社会学分析的可能性。
2011-08-23 cs.DB
Warehousing Web Data
在数据仓库过程中,掌握数据准备阶段可以在执行多维分析或使用数据采掘算法时在时间和性能方面获得实质性的收益。此外,数据仓库可能需要外部数据。在这种情况下,网络是一个普遍的数据源。在本文中,我们提出了一个建模过程,将不同的和异构的(所谓的多形式)数据集成到一个统一的格式。此外,模式定义在我们的数据仓库上下文中提供了一流的元数据。在概念层次上,一个复杂的对象用UML表示。我们的逻辑模型是一个XML模式,可以用DTD或XML-Schema语言描述。最后,我们设计了一个Java原型,它将我们的多种形式的输入数据转换为表示我们的物理模型的XML文档。然后,我们获得的XML文档被映射到一个关系数据库中,我们将其视为ODS(操作数据存储),其内容必须以多维方式重新建模,以允许其存储在基于星型模式的仓库中,并在以后进行分析。
2007-05-10 cs.DB
Mapping XML Data to Relational Data: A DOM-Based Approach
XML已经成为在万维网上表示和交换数据的标准。拥有有效的机制来存储和查询XML数据以充分利用这项新技术的能力是至关重要的。一些研究人员提出使用关系数据库来存储和查询XML数据。虽然已经提出了几种模式映射和查询映射的算法,但是将XML数据映射到关系数据的问题,即,在文献中还没有彻底地解决将XML SQL语句映射到SQL语句序列的问题。在本文中,我们提出了一个有效的线性算法映射XML数据到关系数据。该算法是基于我们以前提出的映射DTD到关系模式的内联算法,可以很容易地适应其他内联算法。
2010-10-08 cs.DB cs.DS
Janus: Automatic Ontology Builder from XSD Files
Orange Labs(奥兰奇实验室);University of Versailles(凡尔赛大学)
为一个大的领域构建一个参考本体仍然是一项艰巨的人工任务。这个过程有时会得到软件工具的帮助,这些软件工具有助于从文本语料库中提取信息抽取。尽管XML模式文件在互联网上,特别是在B2B领域中的大量使用,但提供XML模式完整语义分析的工具确实很少。在本文中,我们介绍Janus,一个工具,自动建立一个参考知识库从XML模式文件。Janus还提供了不同的有用视图来简化B2B应用程序集成。
2010-01-27 cs.AI cs.DB
Deterministic Regular Expressions With Back-References
大多数用于正则表达式匹配的现代库都允许反向引用(即,重复操作符),这大大提高了表达能力,但也导致棘手。为了在可表达性和易处理性之间找到更好的平衡,我们将它们与XML DTD和XML Schema中使用的正则表达式的确定性概念结合起来。这包括一个合适的自动机模型的定义,和一个推广的Glushkov建设。我们证明,与它们的非确定性超类相比,这些具有反向引用的确定性正则表达式具有理想的算法属性(即,在静态分析中,正则表达式是一个有效的可解的隶属度问题和一些可判定的问题),同时,它的表达能力超过了没有反向引用的确定性正则表达式。
2018-02-05 cs.DB cs.FL
The Forgotten Document-Oriented Database Management Systems: An Overview and Benchmark of Native XML DODBMSes in Comparison with JSON DODBMSes
在当前的大数据背景下,已经提出并实现了许多新的NoSQL解决方案,用于存储,管理和从半结构化数据中提取信息和模式。这些解决方案通过引入半结构化和灵活的模式设计来缓解关系数据库中存在的刚性数据结构的问题。由于当前由不同来源和设备生成的数据,特别是来自物联网传感器和执行器的数据,根据应用程序的不同,使用XML或JSON格式,因此需要以XML格式存储和查询半结构化数据的数据库技术。因此,原生XML数据库最初被设计为使用标准化的查询语言来操作XML数据,即,XQuery和MySQL被重新命名为NoSQL面向文档的数据库系统。目前,这些解决方案中的大多数已经被更现代的基于JSON的数据库管理系统所取代。但是,我们相信基于XML的解决方案仍然可以在异构集合上执行复杂查询时提供性能。不幸的是,现在的研究缺乏对以XML存储和查询文档的数据库技术与更现代的JSON格式的可伸缩性和性能的明确比较。此外,据我们所知,这些数据库技术没有符合大数据的基准。在本文中,我们提出了一个比较选定的面向文档的数据库系统,要么使用XML格式编码的文件,即,BaseX、eXist-db和Sedna,或者JSON格式,即,MongoDB、CouchDB和Couchbase。为了强调性能差异,我们还提出了一个基准测试,使用一个大型DBLP语料库上的异构复杂模式。
2021-02-03 cs.DB
XRecursive: An Efficient Method to Store and Query XML Documents
将XML文档存储在关系数据库中是一种很有前途的解决方案,因为关系数据库是成熟的,并且可伸缩性很好,并且它们具有以下优点:在关系数据库中,XML数据和结构化数据可以共存,这使得构建涉及这两种数据的应用程序成为可能,而不需要额外的工作。在本文中,我们提出了一个算法模式命名为XRecursive的XML文档转换到关系数据库根据建议的存储结构。给出了在关系数据库中使用该存储结构存储和查询XML文档的步骤和算法。然后,我们报告我们的实验结果在一个真实的数据库中显示我们的方法在一些功能的性能。
2012-03-29 cs.DB
An Effective Algorithm for Learning Single Occurrence Regular Expressions with Interleaving
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing University of Technology(北京工业大学)
模式的存在所提供的优点是多方面的。然而,在实践中,许多XML文档并不伴随着一个(有效的)模式,使模式推理一个有吸引力的研究问题。XML模式学习的基本任务是推断正则表达式的受限子类。大多数以前的工作要么缺乏对交织的支持,要么只有有限的支持交织。在本文中,我们首先提出了一个新的子类单次出现的正则表达式与交织(SOIRE),它具有无限制的支持交织。然后,基于单次出现自动机和最大独立集,我们提出了一个算法iSOIRE推断SOIRE。最后,我们在真实数据集上进行了一系列实验,并与学术界的学习算法和工业界的工具进行了比较,以评估我们工作的有效性。实验结果验证了SOIRE的实用性和iSOIRE的有效性,表明了我们工作的高度精确性和简洁性。
2019-06-05 cs.AI cs.DB
Answering Queries using Views over Probabilistic XML: Complexity and Tractability
我们研究的复杂性,查询回答使用视图的概率XML设置,确定大类的查询-子和后代导航和谓词-有效率(PTime)算法。我们认为这个问题下的两种可能的语义XML查询结果:持久的节点标识符,并在他们的缺席。因此,我们考虑重写,可以利用一个单一的视图,通过补偿,和重写,可以使用多个视图,通过交叉。由于在概率设置中,查询返回具有概率的答案,因此重写的问题超出了从视图中检索XML答案的经典问题。对于这两种语义的XML查询,我们表明,即使XML的答案可以从视图中检索,其概率可能是不可计算的。对于只使用补偿的重写,我们描述了一个PTime决策过程,基于易于验证的标准,区分可行的情况下-当概率XML结果是可计算的-和不可行的。对于重写,可以使用多个视图,补偿和交叉,我们确定最宽容的条件,使概率重写可行,我们描述了一个算法,这是健全的一般情况下,并成为完整的相当宽容的限制下,运行在PTime模最坏情况下的指数时间等价性测试。这是我们所能期望的最好结果,因为交集使得查询等价已经在确定性数据上变得棘手。我们的算法运行在PTime只要确定性重写可以在PTime中找到。
2012-08-01 cs.DB
IVOA Recommendation: TAPRegExt: a VOResource Schema Extension for Describing TAP Services
本文档描述了一种XML编码标准,用于实现表访问协议TAP [TAP]的服务的元数据,称为TAPRegExt。实例文档是服务的注册表记录的一部分,也可以从服务本身获得。它们向人类和软件提供有关服务支持的语言、输出格式和上传方法的信息,以及由公开表实现的数据模型、可选语言功能和服务强制执行的某些限制。
2014-02-19 astro-ph.IM cs.DB
Web data modeling for integration in data warehouses
在数据仓库过程中,数据准备阶段至关重要。掌握这个阶段可以在执行多维分析或使用数据采掘算法时在时间和性能方面获得实质性的收益。此外,数据仓库可能需要外部数据。在这种情况下,网络是一个普遍的数据源,但在这种介质上广播的数据是非常异构的。在本文中,我们提出了一个复杂的对象表示任何有用的数据源(数据库,纯文本,HTML和XML文档,图像,声音,视频剪辑的超类UML概念模型。转换为逻辑模型是通过XML实现的,它有助于将所有这些不同的异构数据集成到统一的格式中,并且其模式定义在我们的数据仓库环境中提供了一流的元数据。此外,我们受益于XML的灵活性、可扩展性和半结构化数据模型的丰富性,但是如果需要更多的结构化,我们仍然能够在以后将XML文档映射到数据库中。
2007-05-10 cs.DB
Schema-based Scheduling of Event Processors and Buffer Minimization for Queries on Structured Data Streams
我们介绍了一个扩展的XQuery语言,FluX,支持基于事件的查询处理和有意识的处理主内存缓冲区。这种语言的基于事件的查询可以以非常直接的方式在流XML数据上执行。然后,我们开发了一种算法,允许有效地重写Xcovery到基于事件的Flux语言。此算法使用来自DTD的顺序约束来调度事件处理程序,从而最小化计算查询所需的缓冲量。我们讨论了我们的框架内的查询优化和查询评估的各种技术方面。这是补充与我们的方法的实验评估。
2004-06-07 cs.DB
ELCA Evaluation for Keyword Search on Probabilistic XML Data
随着概率数据管理的发展和关键字查询的普及,如何支持概率XML数据的关键字查询成为必然的问题。对于确定性XML文档的关键字查询,ELCA(Exclusive Lowest Common Ancestor)语义允许根在ELCA上的更多相关片段作为结果出现,与其他关键字查询结果语义(如SLCA)相比,ELCA语义更受欢迎。在本文中,我们研究如何评估ELCA结果的关键字查询概率XML文档。在根据可能世界语义定义了概率ELCA语义后,我们提出了一种在不生成可能世界的情况下计算ELCA概率的方法。然后,我们开发了一个有效的基于堆栈的算法,可以找到所有的概率ELCA结果和他们的ELCA概率为一个给定的关键字查询的概率XML文档。最后,我们实验评估所提出的ELCA算法,并将其与SLCA对应的结果有效性,时间和空间效率,可扩展性方面进行比较。
2011-10-13 cs.DB
MORTAL: A Tool of Automatically Designing Relational Storage Schemas for Multi-model Data through Reinforcement Learning
考虑到关系数据库在处理安全性、用户认证、查询优化等方面具有强大的能力,若干商业和学术框架重用关系数据库来存储和查询半结构化数据(例如,XML、JSON)或图形数据(例如,RDF,属性图)。然而,这些工作集中于使用RDBMS管理上述数据模型之一。也就是说,它没有利用底层工具来自动生成用于存储多模型数据的关系模式。在这个演示中,我们提出了一种新的基于强化学习的工具,称为MORTAL。具体来说,给定包含不同数据模型的多模型数据和一组查询,它可以自动设计一个关系模式来存储这些数据,同时具有很好的查询性能。为了清楚地说明它,我们围绕着以下模块:基于加载的多模型数据生成初始状态,通过设置参数来影响学习过程,通过提供语义约束来控制生成的关系模式,通过指定查询来提高关系模式的查询性能,以及当用户调整生成的关系模式时显示查询性能和存储消耗的高度交互式界面。
2021-09-01 cs.DB
Logics for XML
本文描述了XML处理语言的静态分析系统的理论和实践基础。该系统依赖于一个不动点的时间逻辑与逆,来自μ演算,其中模型是有限的树。这种演算的表现力足以捕捉规则的树类型以及树中的多向导航,同时具有单一的指数时间复杂度。具体地说,证明了该逻辑的可判定性在时间上为2^O(n),其中n是输入公式的大小。主要的XML概念被线性地转换为逻辑:XML导航和节点选择语义,以及常规树语言(包括DTD和XML模式)。基于这些嵌入,在XML应用程序中的几个主要重要的问题被减少到满足的逻辑。这些问题包括包含、空、等价、重叠、覆盖、存在或不存在常规树类型约束以及带注释查询的静态类型检查。然后重点是一个健全的和完整的算法来决定逻辑,以及详细的复杂性分析,和关键的实现技术,以建立一个有效的求解器。使用该系统的完整实现的实际实验。该系统似乎是有效的,在实践中的几个现实的情况。这项工作的主要应用是一个新的静态分析器类的程序设计语言使用的XML表达式和XML类型注释(输入和输出)。这样的分析器允许在编译时确保有价值的属性,如类型安全和优化,以实现更安全和更有效的XML处理。
2014-05-24 cs.DB cs.LO cs.PL
Validating XML Documents in the Streaming Model with External Memory
我们研究的问题验证XML文档的大小$N$对一般的DTD的流算法的上下文中。这项工作的出发点是一个众所周知的空间下界。有些XML文档和DTD的$p$ -pass流算法需要$Ω(N/p)$空间.我们表明,当允许访问外部存储器,有一个确定性的流算法,解决了这个问题的内存空间$O(\log^2 N)$,一个恒定数量的辅助读/写流,和$O(\log N)$总数量的通过XML文档和辅助流。该算法的一个重要中间步骤是以流的方式计算初始XML文档的第一子下兄弟(FCNS)编码。我们独立研究这个问题,我们还提供了内存高效的流算法解码的XML文档中的FCNS编码。此外,在没有外部存储器的情况下,可以使用次线性存储器来验证在通常的流模型中编码二叉树的XML文档。有一种使用$O(\sqrt{N \log N})$空间的一次通过算法和一种使用$O(\log^2 N)$空间的双向两次通过算法执行此任务。
2011-08-18 cs.DB cs.DS
A Tree Pattern Matching Algorithm for XML Queries with Structural Preferences
在XML社区中,精确查询允许用户精确地指定他们想要在XML文档中检查和/或检索的内容。当它们应用于半结构化文档或具有过于复杂模型的文档时,缺乏或忽略显式文档模型(DTD-文档类型定义、模式等)当查询太具体时,会增加获得空结果集的风险,或者当查询太模糊时,会增加获得太大结果集的风险(例如,它包含诸如"*"的通配符)。原因在于,在这两种情况下,用户都是根据他们心目中的文档模型编写查询的;这可能与实际上可以从文档中提取的模型相差甚远。相对于精确查询,偏好查询更加灵活,并且可以在其评估期间放宽以扩展搜索空间。事实上,在评估过程中,如果有必要,可以放松某些约束(它们包含的偏好),以避免精确的空结果;此外,可以过滤返回的答案,只保留最好的答案。本文提出了一种算法来评估这样的查询的启发,姚等人提出的TreeMatch算法。精确查询。在所提出的算法中,最佳答案是通过使用适应的天际线运营商(定义在关系数据库)的上下文中的文件(树)逐步过滤到部分解决方案集,那些满足最大的优先约束。对文件施加的唯一限制是无自我约束。
2019-06-07 cs.DB cs.IR
Illuminating Patterns of Divergence: DataDios SmartDiff for Large-Scale Data Difference Analysis
DataDios
针对现有数据差异比对工具在模式漂移、异构类型下表现差且可解释性不足的问题,提出整合模式感知映射、特定类型比较器与并行执行的SmartDiff系统,搭配LLM辅助标注流水线,在性能与解释性上均优于基线,可用于多类数据质量相关场景。
2025-08-30 cs.DB cs.LG
MultiCategory: Multi-model Query Processing Meets Category Theory and Functional Programming
数据的多样性是大数据时代的重要问题之一。数据自然地以不同的格式和模型组织,包括结构化数据、半结构化数据和非结构化数据。先前的研究设想了一种方法,抽象多模型数据与模式类别和实例类别,通过使用范畴理论。在本文中,我们展示了一个系统,称为MultiCategory,它处理多模型查询的基础上的范畴理论和函数式编程。本演示围绕四个主要场景来展示一个有形的系统。首先,我们将展示如何通过加载不同的数据模型(包括关系数据、XML数据、键值数据和图形数据)来构建模式类别和实例类别。其次,我们展示了一些使用函数式程序设计语言Haskell进行查询处理的示例。第三,我们演示了同一输入查询的不同数据模型的灵活输出。第四,为了更好地理解查询背后的类别理论结构,我们提供了各种图形钩子来探索和可视化查询作为关于模式类别的图形,以及Haskell的查询处理过程。
2021-08-30 cs.DB
The Typed Graph Model -- a Supermodel for Model Management and Data Integration
本文提出一种带属性和标签、受模式约束的类型化图模型,利用超节点和超边提升数据质量与分析能力,并证明其表达能力至少等价于主流数据模型,可作为模型管理和数据集成的超级模型。
2021-12-06 cs.DB
DRL: A Deterministic Relational Middleware Layer for Transaction-Safe Enterprise NL2SQL Under Schema-Graph Scaling
College of Medicine and Public Health, Flinders University(弗林德斯大学医学与公共卫生学院)
研究针对企业级NL2SQL在模式图扩展下的失效问题,提出DRL中间件层,通过动态剪枝等技术限制上下文并验证安全性,在数据库上评估后发现基准代码缺陷的影响,将NL2SQL重新定义为系统工程而非排行榜任务。
2026-08-28 cs.AI cs.DB
Not Your Usual Type(s): Data contracts as types across languages and engines
Bauplan Labs
研究跨语言和引擎的数据组合问题,核心方法是将数据契约视为类型,通过新SDK让用户用模式对象注释表,Bauplan在执行生命周期解释注释,主要贡献是解决生产故障及实现跨语言数据流推理。
2026-07-16 cs.DB
Taxonomy Inference for Tabular Data Using Large Language Models
The University of Manchester(曼彻斯特大学)
本文提出EmTT和GeTT两种基于大型语言模型的方法,用于表格数据的分类法推断,通过嵌入和迭代提示构建实体类型层次,实验证明与真值高度一致。
2025-03-25 cs.AI cs.CL cs.DB
$Υ$-DB: A system for data-driven hypothesis management and analytics
$Υ$ -DB的愿景将确定性科学假设作为一种不确定性和概率性数据引入,并为实现数据驱动的假设管理和分析提出了一些关键的技术挑战。$Υ$ -DB系统通过定义其架构的综合设计流水线解决了这些挑战。它处理假设,从基于XML的提取到编码为不确定的和概率的U关系数据,并最终在存在观察的情况下对其进行调节。在这个演示中,我们提出了$Υ$ -DB系统的第一个原型。我们通过计算科学中的用例场景展示了其核心创新功能,其中假设是从网络上的模型库中提取的,并作为概率数据进行评估(评级/排名)。
2014-11-26 cs.DB