MQRLD: A Multimodal Data Retrieval Platform with Query-aware Feature Representation and Learned Index Based on Data Lake
本文提出基于数据湖的多模态检索平台MQRLD,通过查询感知特征表示、统一混合查询接口和高维学习型索引,显著提升复杂环境下多模态数据检索效率。
2025-02-08 cs.DB
A Novel Technique for Query Plan Representation Based on Graph Neural Nets
University of Ottawa(渥太华大学)
针对查询计划表示能力缺乏比较的问题,提出基于门控循环单元聚合双向图神经网络的新型树模型BiGG,显著提升了复杂工作负载下的成本估计和计划选择性能。
2024-06-05 cs.AI cs.DB
Compressed Representations of Conjunctive Query Results
关系查询,特别是连接查询,在对一个巨大的数据集执行时,通常会生成大量的输出结果。在这种情况下,如果我们计划在数据处理管道中进一步重用它,那么存储整个物化输出通常是不可行的。出于这个问题,我们研究的建设空间有效的压缩表示的输出的合取查询,与目标支持有效的访问的中间压缩结果为一个给定的访问模式。特别是,我们开始研究一个重要的权衡:最大限度地减少存储压缩结果所需的空间,与最大限度地减少响应时间和延迟的访问请求的结果。我们的主要贡献是一个新的参数化数据结构,它可以调整到权衡空间的回答时间。这种折衷使我们能够精确地控制数据结构的空间需求,并且依赖于查询的结构和访问模式。我们展示了如何使用数据结构与查询分解技术,以有效地表示几类合取查询的输出。
2018-03-27 cs.DB
A Principled Solution to the Disjunction Problem of Diagrammatic Query Representations
针对图示查询表示的长期未解决析取问题,本研究提出基于Relational Diagrams的扩展方案,统一并改进了过往方法,能保留含任意析取的合式TRC查询的关系模式与安全性,且规模可指数级更简洁。
2024-12-11 cs.DB cs.LO
Query Evaluation in DatalogMTL -- Taming Infinite Query Results
TU Wien(维也纳工业大学);University of Oxford(牛津大学)
在本文中,我们研究有限表示的DatalogMTL模型。首先,我们讨论检测具有有限模型的程序的充分条件。然后,我们研究无限的模型,最终成为常数,并引入足够的标准,允许这种表示的程序。我们继续考虑无限的模型,最终是周期性的,并表明这种表示包括所有DatalogMTL^FP程序,一个广泛讨论的片段。最后,我们提供了一个新的算法推理这样的有限表示程序。
2022-02-16 cs.AI cs.DB cs.LO
Learning State Representations for Query Optimization with Deep Reinforcement Learning
University of Washington(华盛顿大学);Microsoft(微软);Criteo Research(Criteo研究院)
深度强化学习正在迅速改变人工智能领域。这些模型能够捕获对其环境的高层次理解,使它们能够在各种领域中学习困难的动态任务。在数据库领域,查询优化一直是一个难题。我们在这项工作中的目标是在查询优化的背景下探索深度强化学习的功能。在每个状态下,我们增量地构建查询,并通过学习表示对子查询的属性进行编码。这里的挑战在于状态转换函数的形成,它定义了当前子查询状态如何与下一个查询操作(action)组合以产生下一个状态。作为这个方向的第一步,我们专注于状态表示问题和状态转移函数的形成。我们描述我们的方法,并显示初步结果。我们进一步讨论如何使用状态表示来使用强化学习改进查询优化。
2018-03-22 cs.AI cs.DB cs.LG
Succinct Structure Representations for Efficient Query Optimization
EPFL(洛桑联邦理工学院);Nanyang Technological University(南洋理工大学)
本文提出了一种紧凑的元分解表示,用于高效查询优化,通过在多项式时间内构造并枚举所有可能的连接树,提升了查询优化效率。
2026-08-19 cs.DB
Towards a query language for annotation graphs
语音数据库的多维性、异构性和时态性为语音数据的表示和查询提出了有趣的挑战。最近,注释图已被提出作为语音数据库的通用表示框架。注释图上的典型查询需要与半结构化查询语言中使用的路径表达式类似的路径表达式。然而,底层模型与半结构化数据的常规图模型有很大不同:图是无环的和无根的,时间和包含关系都很重要。我们开发了一个查询语言,并描述了底层关系表示的优化技术。
2000-07-13 cs.CL cs.DB
Unified Data Discovery across Query Modalities and User Intents
The University of Queensland(昆士兰大学);The University of Wollongong(伍伦贡大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61)
本文提出UniDisc框架,支持自然语言和表格查询,统一处理多样用户意图,通过上下文信号学习鲁棒表征,实现在不同数据发现场景中的统一相关性评估。
2026-04-29 cs.DB
Detecting DBMS Bugs by Constructing Equivalent Representations of Intermediate Query Results
Wuhan University(武汉大学)
该研究提出ERIQ方法,通过对比VIEW、CTE、TEMPT表示相同中间查询结果的SQL变体的结果一致性,在4款开源DBMS中检测到64个漏洞,其中54个为未知逻辑漏洞。
2026-09-01 cs.DB cs.SE
GraphQ IR: Unifying the Semantic Parsing of Graph Query Languages with One Intermediate Representation
Tsinghua University(清华大学);Huawei Cloud Computing Technologies Co., Ltd.(华为云计算技术有限公司)
由于自然语言和形式语言之间存在着巨大的语义鸿沟,神经语义解析在处理输入语义和输出语法方面的复杂性是其面临的主要问题。最近的工作已经提出了几种形式的补充监督,但没有一个是通用的跨多个形式语言。本文提出了一种统一的图查询语言中间表示(IR),命名为GraphQ IR,它具有一个类似自然语言的表达式,可以弥合语义鸿沟,并具有形式化定义的语法,可以维护图的结构。因此,神经语义解析器可以更精确地将用户查询转换为GraphQ IR,后者可以稍后被错误地编译为各种下游图查询语言。在标准i.i.d.下,对包括KQA Pro、Overnight、GrailQA和MetaQA-Cypher在内的多个基准测试进行了广泛的实验,分布外和低资源设置验证了GraphQ IR相对于先前最先进技术的优越性,最高精度提高了11%。
2022-11-07 cs.CL cs.DB
RSATree: Distribution-Aware Data Representation of Large-Scale Tabular Datasets for Flexible Visual Query
分析人员通常会调查由图表(如直方图和分箱散点图)表示的数据统计聚合中得出的数据分布,以可视化和分析大规模数据集。聚合查询是通过这样一个过程隐式执行的。数据集总是非常大;因此,应该通过计算预定义的数据立方体来加快响应时间。但是,查询仅限于预处理数据立方体的预定义装箱模式。这种局限性阻碍了分析人员灵活调整视觉规格以有效地研究数据中的隐含模式。特别是,RSATree使任意查询和灵活的装箱策略,利用三个方案,即,基于R树的空间划分方案,以捕捉数据分布,局部敏感的哈希技术,以实现局部保持随机访问数据项,和一个汇总区域表方案,以支持交互式查询的聚合值与线性计算复杂性。本文提出并实现了一个基于Web的可视化查询系统,该系统支持对大规模表格数据的可视化描述、查询和探索,粒度可由用户调整。我们证明了我们的方法的效率和实用性,通过在真实世界的数据集上进行各种实验,并分析时间和空间复杂度。
2019-10-11 cs.DB cs.HC
MavVStream: Extending Database Capabilities for Situation Monitoring Using Extracted Video Contents
基于查询的视频情况检测(与手动或定制算法相反)对于各种应用至关重要,例如交通监控、监视1和其他类型的环境/基础设施监控。视频内容在完全不同的对象类型和背景信息方面是复杂的。因此,除了使用最新的视觉技术(包括基于深度学习的视觉技术)提取复杂内容之外,它们的表示和查询也带来了不同类型的挑战。一旦我们有了一个表示来容纳提取的内容,对它的特别查询将需要新的运算符,以及它们的语义和算法来进行有效的计算。扩展数据库框架(表示和实时查询)处理查询的视频内容提取只有一次是至关重要的,这项工作是朝着这个方向迈出的第一步。在本文中,我们将传统的关系扩展到R++(向量属性)和数组,以适应视频内容和扩展CQL(连续查询语言)与一些新的操作符查询情况的扩展表示。本文讨论了向后兼容性、易用性、新操作符(包括空间和时间)以及有效执行的算法。查询的类别基于它们的复杂性来识别以相对于视频内容进行评估。已经使用了大量的小型和大型视频数据集(一些来自文献)来展示我们的工作如何在可用的数据集上使用。证明了人工地面实况查询的正确性,有效的评估以及算法的鲁棒性。我们的主要贡献是为一个问题建立了一个框架,这个问题作为基于新思想的大数据分析的一部分变得非常重要。
2022-11-25 cs.DB
KG-CQR: Leveraging Structured Relation Representations in Knowledge Graphs for Contextual Query Retrieval
Viettel AI, Viettel Group(越南 Viettel 集团 AI 部门);University of Engineering and Technology, Vietnam National University, Hanoi(越南国家大学河内工程大学);Department of Computer Engineering, Chung-Ang University(Chung-Ang 大学计算机工程系)
KG-CQR利用知识图谱结构化关系表示增强查询上下文,通过子图提取与补全提升RAG检索性能,在基准上实现mAP提升4-6%。
2025-09-06 cs.CL cs.DB
text2ql: Multi-Target Natural Language Querying via a Language-Agnostic Intermediate Representation
text2ql框架通过QueryIR中间表示和可插拔渲染器,解决传统数据库自然语言接口的三个局限,确定性模式实现100%执行准确率,消融研究证实感知模式提示对准确率提升作用显著。
2026-09-03 cs.AI cs.CL cs.DB
Relational Diagrams: a pattern-preserving diagrammatic representation of non-disjunctive Relational Queries
通过关系语言的逻辑表达能力来分析关系语言是很容易理解的。关系查询模式的模糊概念还没有得到很好的理解,甚至还没有正式化。什么是查询模式?我们如何在不同的关系语言中推理查询模式,而不管它们的语法和它们的过程性或声明性?在本文中,我们形式化的概念,查询模式的关系原子之间的模式保持映射的变体。这种形式主义使我们能够分析关系查询语言的相对模式表达能力,并创建一个层次结构的语言具有相同的逻辑表达能力,但不同的模式表达能力。在这种分析中,关系演算可以表达比关系代数的基本运算符更多的模式。我们还贡献了一个直观的,完整的,和声音的图形表示安全的关系演算,不仅是关系完整的,但也可以表达所有的逻辑模式的大型和有用的片段的非析取关系演算。在我们所知道的所有关系查询的图形表示中,这是唯一一个关系完整的,可以表示非析取片段中的所有逻辑模式。
2022-03-14 cs.DB cs.LO cs.PL
Survey and Open Problems in Privacy Preserving Knowledge Graph: Merging, Query, Representation, Completion and Applications
Ant Group(蚂蚁集团);Macquarie University(麦考瑞大学)
知识图谱(KG)因其能够以有意义的方式连接不同类型的数据,并支持丰富的数据服务,受到越来越多企业的关注。然而,数据隔离问题限制了KG的性能,并阻碍了其进一步发展。即是说,多个机构都有自己的幼儿园,但基于规管或竞争的理由,不能共用。因此,如何进行隐私保护的幼儿园成为一个重要的研究课题。也就是说,多方在保护多个幼儿园隐私的基础上协同进行幼儿园相关任务。到目前为止,很少有解决上述KG隔离问题的工作。在本文中,为了填补这一空白,我们总结了开放的问题,隐私保护KG在数据隔离设置,并提出了可能的解决方案。具体而言,我们从四个方面总结了隐私保护KG中存在的问题,即,合并、查询、表示和完成。我们详细介绍了这些问题,并提出了可能的技术解决方案。此外,我们提出了三个隐私保护KG感知的应用程序,并简单地描述了如何将我们提出的技术应用到这些应用程序。
2020-11-20 cs.CR cs.DB cs.LG
RoTaR: Efficient Row-Based Table Representation Learning via Teacher-Student Training
Tsinghua University(清华大学);MIT(麻省理工学院);U of Arizona(亚利桑那大学)
提出RoTaR,一种基于行的表格表示学习方法,通过生成可重用的查询无关行表示并结合细胞感知位置嵌入、师生训练和选择性反向传播技术,解决现有方法的效率与可扩展性问题。
2023-06-20 cs.DB cs.LG
Object-Relational Database Representations for Text Indexing
与数据库管理系统相比,信息检索系统的一个显著特征是它们为倒排列表提供更好的压缩,从而产生更好的I/O性能,从而更快地进行查询评估。在本文中,我们介绍了数据库表示的索引,减少大小(从而磁盘I/O)的倒排列表。这不是通过重新设计DBMS来实现的,而是通过利用现有对象关系DBM系统(RDBMS)已经提供的非1 NF特性来实现的。具体而言,四个不同的数据库表示,并详细的实验结果为100万页的报告。其中三种表示比普通关系表示的空间效率高一个数量级,并且(在查询评估中)更快。
2009-06-17 cs.DB cs.IR
Model Counting of Query Expressions: Limitations of Propositional Methods
元组独立概率数据库中的查询评估是在给定数据库实例中各个元组的独立概率的情况下计算查询的答案的概率的问题。这个问题有两种主要的方法:(1)在“接地推理”中,首先获得查询和数据库实例的世系作为布尔公式,然后对世系执行加权模型计数(即,计算世系的概率(给定其独立布尔变量的概率);(2)在称为“提升推理”或“扩展查询评估”的方法中,人们利用查询的高级结构作为一阶公式。虽然人们普遍认为,提升推理是严格的更强大的比接地推理的血统单独,没有正式的分离,以前已经显示查询评估。在本文中,我们首次展示了这样一个正式的分离。我们展示了一类查询,模型计数可以在多项式时间使用扩展查询评估,而在国家的最先进的精确模型计数器上使用的算法证明需要指数时间。我们对这些精确模型计数器的运行时间的下限来自这些模型计数器(显式或隐式)产生的谱系的d-DNNF表示的新指数大小下限。虽然这些查询中的一些已经研究过,这些查询的这些表示的大小没有非平凡的下限是以前已知的。
2013-12-15 cs.CC cs.DB
Modeling Relational Patterns for Logical Query Answering over Knowledge Graphs
University of Stuttgart(斯图加特大学);Bosch Center for Artificial Intelligence(博世人工智能中心);University of Southampton(南安普顿大学)
本文提出一种新颖的查询嵌入方法RoConE,通过在复数空间利用几何锥体和旋转算子建模关系模式,有效增强了一阶逻辑查询的回答性能。
2025-03-04 cs.AI cs.DB cs.LG
Reqo: A Comprehensive Learning-Based Cost Model for Robust and Explainable Query Optimization
University of Ottawa(渥太华大学)
Reqo提出了一种鲁棒且可解释的查询优化成本模型,通过增强计划生成、表示和选择三个阶段,提升查询优化的性能和可解释性。
2026-01-11 cs.AI cs.DB cs.LG