Concept-oriented model: Modeling and processing data using functions
我们描述了一种新的逻辑数据模型,称为面向概念的模型(COM)。它使用数学函数作为数据表示和数据处理的第一级结构,而不是在传统的面向集合的模型中只使用集合。函数和函数组合分别被用作描述数据连接性的主要语义单位,而不是关系和关系组合(连接)。也可以通过使用(累加)函数来执行累加和聚合,为group-by和reduce操作提供了一种替代方法。该模型在一个开放的源数据处理工具包中实现,并通过实例说明了模型及其操作。该模型的主要优点是,与采用集合和集合操作相比,使用函数时,典型的数据处理任务变得更简单,更自然。
2019-11-17 cs.DB
Attribute oriented induction with star schema
本文将提出一种新的星型模式属性归纳,作为一种新的属性归纳范式,是对现有面向属性归纳的改进。通过实现基于特征规则的面向属性归纳方法和基于非规则概念层次的面向属性归纳方法,提出了一种新的星型模式属性归纳方法。在新的星型模式属性归纳算法中,采用了消除阈值数作为泛化结果的最大元组控制,取消了ANY作为最一般的概念,用概念树代替角色概念层次,简化了泛化策略步骤,并采用了面向消除属性的归纳算法。新的星型模式属性归纳比现有的面向属性的归纳更强大,因为它可以产生少量的最终泛化元组,并且结果中没有ANY。
2010-05-29 cs.DB
Two-Level Concept-Oriented Data Model
在本文中,我们描述了一种新的数据建模方法,称为面向概念的模型(CoM)。该模型以嵌套有序集的形式化为基础,利用包含关系产生集合的层次结构,利用有序关系产生元素之间的多维结构。嵌套有序集定义为一个有序集,其中每个元素本身可以是一个有序集。CoM中的排序关系用于定义数据语义和对数据的投影、反投影等操作。这种数据模型可以应用于非常不同的问题,本文描述了它的一些用途,如聚合和多维分析的分组。
2007-12-30 cs.DB
Concept-oriented model: inference in hierarchical multidimensional space
尽管它的根本重要性,推理一直没有多维模型和分析应用程序的固有功能。这些模型主要针对数字(定量)分析,其中推理和语义的概念没有很好地定义。在本文中,我们认为,推理可以而且应该是多维数据模型和分析应用程序的组成部分。它演示了如何推理可以定义只使用多维的术语,如轴和坐标,而不是使用基于逻辑的方法。我们提出了一种新的方法,在多维空间的基础上,面向概念的数据模型的推理,并引入基本操作,然后用于定义约束传播和推理过程。我们描述了一种带有推理算子的查询语言,并证明了它在解决复杂分析任务中的有用性。
2014-09-11 cs.DB
The Forgotten Document-Oriented Database Management Systems: An Overview and Benchmark of Native XML DODBMSes in Comparison with JSON DODBMSes
在当前的大数据背景下,已经提出并实现了许多新的NoSQL解决方案,用于存储,管理和从半结构化数据中提取信息和模式。这些解决方案通过引入半结构化和灵活的模式设计来缓解关系数据库中存在的刚性数据结构的问题。由于当前由不同来源和设备生成的数据,特别是来自物联网传感器和执行器的数据,根据应用程序的不同,使用XML或JSON格式,因此需要以XML格式存储和查询半结构化数据的数据库技术。因此,原生XML数据库最初被设计为使用标准化的查询语言来操作XML数据,即,XQuery和MySQL被重新命名为NoSQL面向文档的数据库系统。目前,这些解决方案中的大多数已经被更现代的基于JSON的数据库管理系统所取代。但是,我们相信基于XML的解决方案仍然可以在异构集合上执行复杂查询时提供性能。不幸的是,现在的研究缺乏对以XML存储和查询文档的数据库技术与更现代的JSON格式的可伸缩性和性能的明确比较。此外,据我们所知,这些数据库技术没有符合大数据的基准。在本文中,我们提出了一个比较选定的面向文档的数据库系统,要么使用XML格式编码的文件,即,BaseX、eXist-db和Sedna,或者JSON格式,即,MongoDB、CouchDB和Couchbase。为了强调性能差异,我们还提出了一个基准测试,使用一个大型DBLP语料库上的异构复杂模式。
2021-02-03 cs.DB
Columnar Storage and List-based Processing for Graph Database Management Systems
我们重新审视面向列的存储和查询处理技术的背景下,当代图形数据库管理系统(GDBMS)。与面向列的RDBMS类似,GDBMS支持读取繁重的分析工作负载,但与传统的分析工作负载相比,这些工作负载具有根本不同的数据访问模式。首先,我们推导出一套必要的优化存储和查询处理器的GDBMS的访问模式的基础上。然后,我们提出了设计的列存储,压缩和查询处理技术的基础上,这些desiderata。除了显示从列式RDBMS的现有技术的直接集成,我们还提出了新的GDBMS的优化。这些包括一个新的基于列表的查询处理器,它避免了传统的基于块的处理器在多对多连接下的昂贵的数据副本,一个新的数据结构,我们称之为单索引的边缘属性页和一个伴随的边缘ID计划,以及一个新的应用Jacobson的位向量索引压缩NULL值和空列表。我们将我们的技术集成到GraphflowDB内存GDBMS中。通过大量的实验,我们证明了我们的技术的可扩展性和查询性能的好处。
2021-10-27 cs.DB
Optimizing Query Predicates with Disjunctions for Column-Oriented Engines
本研究针对列式引擎中含析取的谓词优化问题,提出多项式时间最优算法BestD/Update,结合Hanani算法得到实用的EvalPred算法,实验证明其性能显著优于现有方案。
2023-11-09 cs.DB cs.DS
Attribute Oriented Induction with simple select SQL statement
利用面向属性归纳技术中的特征或分类/判别规则,在关系数据库中搜索学习或规则,以进行数据采掘,可以用简单的SQL语句快速、方便、简单地实现。只需一条简单的SQL语句,即可同时创建特征和分类规则。与任何其他应用软件协作SQL语句将增加创建t-权重作为特征规则中每个记录的典型性的度量和d-权重作为学习的分类/判别规则的判别行为的度量的能力,特别是用于特征规则中的进一步泛化。基于概念树的概念层次表化处理直接影响到简单SQL语句的成功执行,在概念层次表化的过程中,通过正确的标准知识将概念层次中的每一个概念树转化为一个表,可以使简单SQL语句正常运行。
2010-06-09 cs.DB
A Storage Advisor for Hybrid-Store Databases
借助SAP HANA数据库,SAP提供了一个高性能的内存混合存储数据库。混合存储数据库--即支持面向行和面向列的数据管理的数据库--正变得越来越突出。虽然列式管理提供了分析大量数据的高性能功能,但面向行的存储可以更有效地处理事务点查询以及插入和更新。为了同时有效地利用这两种存储,出现了一个新的问题,即是面向行还是面向列存储给定的数据。我们使用存储顾问工具来解决这个问题,该工具支持数据库管理员做出这一决定。我们提出的存储顾问建议基于数据和查询特征的最佳存储;其核心是一个成本模型,用于估计和比较不同存储的查询执行时间。除了按表决策之外,我们的工具还考虑对数据进行水平和垂直分区并管理不同存储上的分区。我们评估了存储顾问在SAP HANA数据库中的使用情况;我们展示了建议的质量以及将数据存储在最佳存储中对于提高查询性能的好处。
2012-08-21 cs.DB
Introducing PathQuery, Google's Graph Query Language
我们介绍PathQuery,一种图形查询语言,它的开发可以与Google的查询和数据量以及内部开发人员社区进行扩展。PathQuery支持灵活的声明式语义。我们已经发现,这使得查询开发人员认为在一个自然的“图形”设计空间,并避免额外的认知努力,协调许多连接和子查询往往需要表达一个等价的查询在关系空间。尽管它的语法风格是面向对象的,但PathQuery的基础是关系代数的一个自定义变体--我们目前推迟了对它的阐述--允许应用常见和新颖的优化。我们相信PathQuery在Google经受住了“时间的考验”,在大规模和低延迟的要求下。因此,我们在这里分享的语言设计,承认严格的声明性语义,在实践中扩展良好,并提供了一个自然的语法图遍历,同时也承认复杂的图形模式。
2021-06-17 cs.DB
Revisiting Task-Oriented Dataset Search in the Era of Large Language Models: Challenges, Benchmark, and Solution
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));The University of Hong Kong(香港大学);The Northwestern Polytechnical University(西北工业大学)
KATS通过构建任务-数据集知识图和混合查询引擎,解决任务导向型数据集搜索中的挑战,并通过CS-TDS基准测试展示其优越性。
2025-12-17 cs.DB
Conception et Evaluation de XQuery dans une architecture de médiation "Tout-XML"
XML已经成为表示和交换数据的主要语言,不仅在Web上,而且在企业中也是如此。XQuery正在成为XML的标准查询语言。因此,需要工具在XML查询和异构数据源之间进行调解,以集成XML中的数据。本文介绍了XMedia中介,一个独特的工具,集成和查询不同的异构信息作为统一的XML视图。它描述了中介器的体系结构,并重点介绍了该组件中实现的独特的分布式查询处理技术。查询计算基于原始的XML代数,只是简单地扩展了经典的操作符来处理树元素的元组。此外,我们提出了一套性能评估的关系基准,从而导致讨论可能的性能增强。
2008-06-30 cs.DB
Stream Containers for Resource-oriented RDF Stream Processing
我们引入了受链接数据平台启发的流容器,作为处理RDF流的替代方法。流容器表示可以以面向资源的方式访问的单个RDF数据流,这允许与现有的语义Web基础设施更好地互操作。流容器由负责实现S2R操作符的Web服务器管理,即为其客户端计算窗口。另一方面,客户端可以使用标准SPARQL处理器结合HTTP请求来进行RDF处理。通过将数据发布到流容器,可以将查询结果转换回RDF流(R2S操作符)。我们的面向资源的RDF流处理的方法可以导致更好的负载分布,从而更好的全球可扩展性。我们给出了一个总体概述所提出的架构以及整个系统的正式语义。
2022-02-28 cs.DB
Ontology Based Data Integration Over Document and Column Family Oriented NOSQL
万维网基础设施及其20多亿用户能够以前所未有的速度存储信息。这主要是由于存储在某些Web应用程序上执行的几乎所有最终用户交互的意愿。为了应对可伸缩性和可用性的限制,许多参与这一过程的Web公司最近开始设计自己的数据管理系统。其中许多被称为NOSQL数据库,代表“不仅仅是SQL”。随着它们的广泛采用,出现了新的需求,数据集成就是其中之一。在本文中,我们认为,存储在一组NOSQL源的信息的基于本体的表示是非常必要的。这种方法的主要动机是能够推理本体的元素,并以高效和分布式的方式检索信息。我们的贡献是:(1)我们分析了一组无模式的NOSQL数据库生成本地本体,(2)我们生成一个全局本体的基础上发现的本地本体之间的对应关系,最后(3)我们提出了一个查询翻译解决方案,从SPARQL到查询语言的来源。我们目前正在两个流行的NOSQL数据库上实现我们的数据集成解决方案:MongoDB作为文档数据库,Cassandra作为列族存储。
2013-07-09 cs.DB
Dolphin: An Actor-Oriented Database for Reactive Moving Object Data Management
针对反应式移动对象应用的低延迟可扩展数据管理需求,本文提出移动actor抽象与M-AODBs平台,实现了基于Microsoft Orleans的系统Dolphin,实验验证其具备多机扩展性与近实时反应性能。
2025-11-13 cs.DB
Finding a Second Wind: Speeding Up Graph Traversal Queries in RDBMSs Using Column-Oriented Processing
针对 RDBMS 中递归图遍历查询,本文利用列存延迟物化与数据位置设计 Volcano 风格算子,并在 PosDB 中验证,较 PostgreSQL 最高实现 6 倍加速。
2023-08-16 cs.DB cs.PF
GORAM: Graph-oriented ORAM for Efficient Ego-centric Queries on Federated Graphs
本文提出GORAM,一种基于MPC和图分区的ORAM启发式图导向数据结构,通过单分区查询实现联邦图上高效且保护隐私的自我中心查询,首次在MPC上以实用性能处理十亿级规模图。
2024-12-31 cs.DB cs.DS
Text-to-SQL Oriented to the Process Mining Domain: A PT-EN Dataset for Query Translation
Universidade de São Paulo(圣保罗大学)
本文提出了专为过程挖掘领域设计的双语基准数据集 text-2-SQL-4-PM,包含 1,655 条自然语言话语和 205 条 SQL 语句,并通过 GPT-3.5 Turbo 基线研究验证了其在 text-to-SQL 任务评估中的可行性与实用性。
2025-08-18 cs.AI cs.CL cs.DB
Airphant: Cloud-oriented Document Indexing
现代数据仓库可以独立于存储扩展计算节点。这些系统将其数据保存在云存储上,云存储始终可用且具有成本效益。然后,自组织计算节点按需从云存储中获取必要的数据。如果查询工作负载可能随时间变化,则这种快速扩展或缩小数据系统的能力非常有益。我们将这种新的架构应用于搜索引擎,重点是优化其在云环境中的延迟。然而,简单地将现有的搜索引擎(例如,Apache Lucene)在云存储之上显著增加了他们的端到端查询延迟(即,在我们的一项研究中平均超过6秒)。这是因为它们的索引由于它们的分层结构(例如,跳表、B树、学习索引)。为了解决这个问题,我们开发了一个新的统计指数(称为IoU Sketch)。对于查找,IoU Sketch并行发出多个异步网络请求。虽然IoU Sketch可以获取比现有索引更多的字节,但它显著减少了索引查找时间,因为并行请求不会相互阻塞。基于IoU Sketch,我们构建了一个端到端的搜索引擎,称为Airphant;我们描述了Airphant如何构建,优化和管理IoU Sketch;并最终支持基于关键字的查询。在我们对四个真实数据集的实验中,Airphant的平均端到端延迟在13毫秒到300毫秒之间,比Apache Lucence快8.97倍,比Elasticsearch快113.39倍。
2021-12-26 cs.DB cs.IR
Object-oriented solutions
在本文中简要概述的动机,使用的数学思想,预形式化和假设,对象作为函子建设,“软”类型和概念的建设,案例研究的基础上可变域的概念,提取计算背景,和评估的例子。
2001-06-11 cs.DB cs.LO cs.PL
A Rule-based Operational Semantics of Graph Query Languages
我们考虑一个核心语言的图形查询。这些查询被视为相对于面向图的数据库要解决的公式。为此,我们首先定义了一个图查询代数,其中指定了图和图同态集的一些操作。然后,引入模式的概念来表示图上一类递归定义的公式。提供了模式的语法和形式语义。之后,我们提出了一个新的声音和完整的演算来解决模式。这种演算是基于重写系统的,每个模式只需要求解一个推导。我们的演算是通用的,在这个意义上,它可以适应不同种类的图形数据库提供的图形和图形同态(匹配)的概念是很好地定义。
2022-02-21 cs.DB cs.LO
Optimizing SPARQL Query Answering over OWL Ontologies
University of Ulm(乌尔姆大学);National Technical University of Athens(雅典国家技术大学)
SPARQL查询语言目前正在由万维网联盟(W3C)用所谓的蕴涵机制进行扩展。蕴涵机制定义了如何在比SPARQL标准简单蕴涵更有表达力的语义下评估查询,SPARQL标准简单蕴涵基于子图匹配。查询是非常有表现力的,因为变量可以出现在复杂的概念中,也可以绑定到概念或角色名称。在本文中,我们描述了一个声音和完整的算法OWL直接语义蕴涵制度。我们进一步提出了一些新的优化,如确定一个良好的查询执行顺序,查询重写技术的战略,并显示如何专门的OWL推理任务和概念和角色层次结构,可以用来减少查询执行时间。为了确定一个良好的执行顺序,我们提出了一个基于成本的模型,其中的成本是基于信息的概念和角色的实例,从一个OWL推理建立的模型抽象提取。我们提出了两种排序策略:静态和动态的。对于动态的情况下,我们提高了性能,利用一个单独的聚类方法,允许计算成本函数的基础上,从一个集群的一个单独的样本。我们提供了一个原型实现,并评估所提出的优化的效率。我们的实验研究表明,静态排序通常优于动态的准确统计时,可用。然而,当统计数据不太准确时,这种情况会发生变化,例如,由于不确定性推理的决定。对于超越合取实例查询的查询,我们观察到由于所提出的优化,提高了三个数量级。
2014-02-04 cs.AI cs.DB
Mining tree-query associations in graphs
Hasselt University(哈瑟尔特大学);transnational University of Limburg(跨国林堡大学)
数据采掘的新应用,如在生物学、生物信息学或社会学中,都面临着以图的形式构造的大型数据集。我们介绍了一类新的树形模式称为树查询,并提出了算法挖掘树查询和树查询关联在一个大的数据图。我们的模式类的新颖之处在于,它们可以包含常量,并且可以包含在确定模式在数据图中出现的次数时不计数的存在节点。我们的算法有一些probableoptimality属性,这是基于合取数据库查询的理论。我们提出了一个实用的,面向数据库的SQL实现,并表明该方法在实践中的工作原理,通过实验的数据有关的食物网,蛋白质相互作用,和引文分析。
2010-08-16 cs.AI cs.DB