Incremental View Maintenance for Deductive Graph Databases Using Generalized Discrimination Networks
现在，当实体之间的关系在数据库查询的范围内时，采用图数据库以避免关系数据库的性能关键的连接操作。图查询用于查询和修改存储在图数据库中的图。图查询采用图模式匹配，其对于子图同构是NP完全的。可以采用图数据库视图，其在针对经常陈述的和复杂的图查询的预先计算的图模式匹配方面保持准备好的答案，以提高查询性能。然而，这样的图形数据库视图必须与存储在图形数据库中的图形保持一致。在本文中，我们描述了如何使用增量图模式匹配技术来维护图形数据库视图。我们提出了一个增量维护算法的图数据库视图，它适用于命令式和声明式指定的图查询。评估表明，我们的维护算法规模时，存储在图数据库中的节点和边的数量增加。此外，我们的评估表明，我们的方法可以优于现有的方法的增量维护图查询结果。
2016-12-06 cs.DB
Complexity of Consistent Query Answering in Databases under Cardinality-Based and Incremental Repair Semantics
一致性查询查询（CQA）是从数据库中计算查询的答案的问题，这些答案相对于数据库作为一个整体可能无法满足的某些完整性约束是一致的。一致的答案已经被表征为那些在数据库一致性的某些最小形式的恢复下是不变的。我们调查的算法和复杂性理论问题的CQA数据库修复，最小的偏离-wrt的对称差异的基数-从原始数据库。我们得到了第一个严格的复杂性界。我们还解决了CQA的复杂性增加的问题，自然发生时，原来一致的数据库变得不一致后，执行一系列的更新操作。在拒绝约束下，为各种语义提供了增量复杂性的严格界限。固定参数的易处理性也在这个动态的上下文中进行了研究，其中更新序列的大小成为相关的参数。
2006-04-02 cs.CC cs.DB
Probabilistic Voronoi Diagrams for Probabilistic Moving Nearest Neighbor Queries
大量的应用，如基于位置的服务和环境监测的不确定数据库的高效查询处理的需求。提出了一种概率沃罗诺伊图（PVD），用于处理不确定数据的移动最近邻查询，即概率移动最近邻查询（PMNN）。PMNN查询连续地找到移动查询点的最可能最近邻居。为了有效地处理PMNN查询，我们提供了两种技术：预计算方法和增量方法。在预计算方法中，我们开发了一种算法来有效地评估PMNN查询的基础上，为整个数据集的预计算PVD。在增量方法中，我们提出了一个增量的概率安全区域为基础的技术，不需要预先计算整个PVD回答PMNN查询。在这种增量方法中，我们利用已知区域的知识来计算对象是最近邻居的概率的下限。实验结果表明，我们的方法显着优于基于采样的方法的数量级的I/O，查询处理时间和通信开销。
2011-06-29 cs.DB
Tempura: A General Cost Based Optimizer Framework for Incremental Data Processing (Extended Version)
增量处理在许多应用中被广泛采用，从增量视图维护、流计算到最近出现的渐进式数据仓库和间歇式查询处理。尽管有许多算法开发了这个主题，他们都不能产生一个增量计划，总是达到最佳性能，因为最佳计划是数据相关的。在本文中，我们开发了一种新的基于成本的优化器框架，称为天妇罗，用于优化增量数据处理。我们提出了一个增量查询规划模型称为TIP的概念的基础上，随时间变化的关系，它可以正式建模增量处理的最一般的形式。我们给出了一个完整的规范天妇罗，它不仅可以统一各种现有的技术，以产生一个最佳的增量计划，但也允许开发人员添加他们的重写规则。我们研究如何探索计划空间，寻找最佳的增量计划。我们进行了彻底的实验评估天妇罗在各种增量处理方案，以显示其有效性和效率。
2020-09-28 cs.DB
Complexity of Consistent Query Answering in Databases under Cardinality-Based and Incremental Repair Semantics (extended version)
数据库D可能与给定的完整性约束集合IC不一致。一致性查询排序（CQA）是从D计算与IC一致的查询答案的问题。一致答案在D的所有修正下都是不变的，即最小偏离D的一致实例。三类修复已被认为是在文献中：那些最小化集理论上的对称差中的元组集;那些最小化属性值的变化，以及那些最小化对称差中的元组集的基数。后一类尚未进行系统的研究。在本文中，我们得到的算法和复杂性理论的结果CQA在这个基数为基础的修复语义。我们在通常的静态设置中这样做，但也在动态框架中，一致的数据库受到一系列更新的影响，这可能使其不一致。我们还建立了比较结果与其他两种修复的动态情况下。
2016-05-23 cs.DB
In-memory Incremental Maintenance of Provenance Sketches [extended version]
针对数据更新导致溯源草图过时的问题，提出内存中增量维护框架IMP，通过增量查询引擎利用草图粗粒度特性优化，显著降低维护成本，扩展其适用场景。
2025-05-27 cs.DB
Workload-Aware Incremental Reclustering in Cloud Data Warehouses
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；Snowflake Inc.（Snowflake公司）；Shanghai Qi Zhi Institute（上海人工智能实验室）
本文提出WAIR算法，通过识别关键边界微分区实现高效的数据修剪，提升查询性能并降低重新聚类成本。
2026-03-16 cs.DB
SynchroStore: A Cost-Based Fine-Grained Incremental Compaction for Hybrid Workloads
本研究提出新型存储引擎SynchroStore，通过增量行存储、细粒度行转列压缩及基于代价的调度策略，解决混合负载下列存储更新效率低的问题，实验证明其更新性能优于DuckDB等现有系统。
2025-03-24 cs.DB
The Role of Semirings in Incremental View Maintenance
University of Zurich（苏黎世大学）
研究在无加法逆元的交换半环K下，插入操作对K-数据库的增量视图维护问题，提出p-层次查询类，实现摊销更新时间和常数延迟枚举，并给出非p-层次查询的条件性下界。
2026-09-15 cs.DB
CORAL: Cross-modal Vector Retrieval via Incremental Graph Construction at Scale
Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）
CORAL是一种GPU加速的图基跨模态向量索引，通过分层内存管理、覆盖感知自适应剪枝等技术，在十亿级规模下实现了更高吞吐量、更短构建时间及动态更新下的鲁棒性。
2026-10-09 cs.DB
Personalized PageRank on Evolving Graphs with an Incremental Index-Update Scheme
{ \em Personalized PageRank（PPR）}是图挖掘中的基本邻近度量。由于计算一个确切的SSPPR查询答案是禁止的，大多数现有的解决方案转向近似查询的保证。近似SSPPR查询的最新解决方案是基于索引的，主要集中在静态图上，而真实世界的图通常是动态变化的。然而，现有的索引更新方案不能实现次线性的更新时间。出于这一动机，我们提出了一个有效的索引方案，以保持索引的随机游走在预期的$O(1)$时间后，每次图形更新。为了减少空间消耗，我们进一步提出了一种新的采样方案，以消除辅助数据结构的顶点，同时仍然支持$O(1)$索引更新成本的发展图。大量的实验表明，我们的更新方案实现了数量级的更新速度比现有的基于索引的动态计划，而不牺牲查询效率。
2022-12-25 cs.DB
Database Querying under Changing Preferences
我们在这里提出了一个正式的基础，迭代和增量的方法来构建和评估偏好查询。我们的主要重点是查询修改：一个查询转换的方法，其工作原理是通过修改查询中的偏好关系。我们提供了一个详细的分析的情况下，顺序理论的偏好关系的性质被保留的修订。我们考虑了一些不同的修订运营商：工会，优先和帕累托组合。我们还制定了代数法，使增量评估的偏好查询。最后，我们考虑了基本框架的两个变化：有限限制的偏好关系和弱序严格偏序偏好关系的扩展。
2006-07-05 cs.AI cs.DB
Incremental Sliding Window Connectivity over Streaming Graphs
针对流图滑动窗口连通性查询中过期边删除代价高的问题，提出双向增量计算的 BIC 索引框架及存储、更新与查询优化，显著提升吞吐并降低延迟。
2024-06-12 cs.DB
What Can Database Query Processing Do for Instance-Spanning Constraints?
在过去的十年中，在流程挖掘领域中引入了术语实例跨越约束，指的是跨越一个或多个流程的多个流程实例的约束。在这种情况下，特别相关的是检查流程执行是否符合感兴趣的约束，这在运行时需要适当的监控技术。即使事件数据通常存储在某种数据库中，也缺乏面向数据库的方法来处理（实例跨越）约束的合规性检查和监视。在本文中，我们填补了这一空白，展示了如何完善的技术，从数据库查询处理可以有效地用于此目的。我们建议定义一个实例跨越约束，通过一个合奏的四个数据库查询检索满足，违反，悬而未决的满足，悬而未决的违反情况下的约束。在这种情况下，合规性监控的问题，然后成为增量视图维护，这是在数据库查询处理中发展良好的技术的应用。在本文中，我们认为我们的方法详细，并作为概念的证明，提出了一个实验验证使用DBToaster增量数据库查询引擎。
2022-05-31 cs.DB
IncShrink: Architecting Efficient Outsourced Databases using Incremental MPC and Differential Privacy
在本文中，我们考虑安全外包增长的数据库，支持基于视图的查询回答。这些数据库允许不受信任的服务器私下维护物化视图，使得它们可以仅使用物化视图来处理查询请求，而不是访问从中导出视图的原始数据。为了解决这个问题，我们设计了一个新的基于视图的安全外包增长数据库框架，Incshrink。该解决方案的主要特点是：（i）Incshrink使用增量MPC操作器维护视图，无需预先使用可信的第三方，以及（ii）为了确保高性能，Incshrink保证在存在更新的情况下泄漏满足DP。据我们所知，没有现有的系统具有这些属性。我们展示了Incshrink的实际可行性，在效率和准确性方面，对真实世界的数据集和TPC-DS基准进行了广泛的实证评估。评估结果表明，Incshrink在隐私、准确性和效率保证方面提供了三方面的权衡，并且与不支持基于视图的查询范式的标准安全外包数据库相比，提供了至少7，800倍的性能优势。
2022-03-09 cs.CR cs.DB
Efficient Incremental Breadth-Depth XML Event Mining
许多应用程序会连续记录大量事件。从日志事件中提取感兴趣的知识是数据采掘的一个新兴研究领域。在这种情况下，我们提出了一种方法，挖掘频繁事件和关联规则的XML格式的日志事件。该方法包括两个主要阶段：1）构造一种新的树结构FXT（Frequency XML-based Tree），其中包含待挖掘事件的频率; 2）使用XQuery查询构造的FXT，发现频繁项集和关联规则。FXT是用一次通过记录的数据构造的。我们实现了所提出的算法，并研究了各种性能问题。性能研究表明，该算法是有效的，无论是构造FXT和发现关联规则。
2011-10-14 cs.DB
Query Optimization for Dynamic Graphs
给定表示感兴趣模式的查询图，新兴的模式检测问题可以被视为动态图上的连续查询问题。我们提出了一个增量式的算法，用于动态图上的连续查询处理。该算法是基于查询分解的概念，我们将查询图分解成更小的子图，并组装子查询的结果，以找到与指定的查询完全匹配。我们的工作的新颖之处在于使用子图的分布统计收集的动态图生成的分解。我们引入了一个“懒惰搜索”算法，其中的搜索策略是决定在一个顶点到顶点的基础上，取决于在顶点邻域中的匹配的可能性。我们还提出了一个度量命名为“相对选择性”，用于选择不同的查询分解策略。我们在真实的在线新闻，网络流量流和合成社交网络基准上进行的实验表明，与竞争方法相比，速度提高了10- 100倍。
2014-07-14 cs.DB
Orion: Enabling Suggestions in a Visual Query Builder for Ultra-Heterogeneous Graphs
数据库社区很早就认识到图形查询界面对数据管理系统可用性的重要性。然而，所做的工作相对较少。我们提出了猎户座，一个可视化的界面查询超异构图。它通过机器学习方法提出建议，迭代地帮助用户构建查询图。在其活动模式下，Orion自动建议将前k条边添加到查询图中。在其被动模式下，用户手动添加一条新边，Orion会为该边建议一个排名的标签列表。Orion的边排序算法，随机决策路径（RDP），利用查询日志来根据候选边与用户查询意图匹配的可能性对候选边进行排序。使用Freebase进行的广泛的用户研究表明，Orion用户在构建复杂查询图时有70%的成功率，这比类似于现有可视化查询构建器的基线系统的用户的58%成功率有了显着的提高。在主动模式下，将RDP算法与其他机器学习算法，如随机森林和朴素贝叶斯分类器，以及基于奇异值分解的类别关联规则和推荐系统进行了比较。平均而言，RDP需要40个建议才能正确到达目标查询图（仅使用其主动建议模式），而其他方法需要1.5- 4倍的建议。
2016-08-18 cs.DB
Sprinkling Selections over Join DAGs for Efficient Query Optimization
在查询优化中，基于AND/OR DAG的解决方案可以生成所有可能的连接顺序，并在搜索最佳查询执行策略之前选择放置。但随着连接数和选择条件的增加，生成最优查询计划的空间和时间复杂度呈指数级增长。在本文中，我们使用连接图的关系数据库模式，要么预先计算所有可能的连接顺序，可以被执行，并将其存储为一个连接DAG，或提取连接的查询，以逐步建立一个历史连接DAG的查询时，执行。查询中的选择条件被适当地放置在检索到的连接DAG（或历史连接DAG）中，以生成最优的查询执行策略。我们实验评估我们的查询优化技术TPC-D/H查询集，以显示其有效性与/或DAG查询优化策略。最后，我们说明了我们的技术可以用于有效的多个查询优化和选择的物化视图在数据仓库环境中。
2002-02-21 cs.DB
Distributed processing of continuous range queries over moving objects
监视移动对象上的范围查询对于广泛的基于位置的服务是必不可少的。这些基于位置的服务所面临的挑战是必须处理大量移动对象上的众多并发范围查询。然而，现有的范围查询处理算法几乎都是集中在一台机器上进行的，由于内存和计算资源的限制，很难解决这一问题。为了解决这个问题，我们提出了一个分布式搜索解决方案，在这项工作中移动对象处理并发范围查询。首先，提出了一种由全局网格索引和局部动态多叉树索引组成的分布式动态索引（DDI）来维护移动对象，支持搜索算法。其次，设计了一种基于DDI的分布式范围查询算法（DRQA），该算法引入增量式搜索策略来监控范围查询，并在此过程中进一步设计了计算共享模式来处理多个并发查询，充分利用它们的公共计算来降低搜索代价。最后，在纽约道路网络上模拟了三个具有不同分布的对象数据集，并引入了三种基线方法来更充分地评估我们的建议的性能。与现有方法相比，DRQA算法的初始查询代价降低了$22.7\%$，增量查询代价降低了15.2%，证明了该方法的优越性.
2022-06-04 cs.DB
Localized RETE for Incremental Graph Queries with Nested Graph Conditions
Hasso Plattner Institute at the University of Potsdam（波茨坦大学哈索·普拉特纳研究所）
本文提出了一种局部化RETÉ方法，用于在带有嵌套图条件的增量图查询中提高效率，减少计算开销。
2026-01-08 cs.DB cs.LO
IncSQL: Training Incremental Text-to-SQL Parsers with Non-Deterministic Oracles
Cornell University（康奈尔大学）；Stanford University（斯坦福大学）；Microsoft Research（微软研究院）；Microsoft Business Application Group（微软商业应用集团）
我们提出了一个序列到动作解析方法的自然语言SQL任务，增量填充槽的SQL查询与可行的行动从预定义的库存。考虑到通常有多个正确的SQL查询具有相同或非常相似的语义的事实，我们从句法分析技术中汲取灵感，并提出用非确定性预言机训练我们的序列到动作模型。我们在WikiSQL数据集上评估了我们的模型，并在测试集上实现了83.7%的执行准确率，比传统静态预言机训练的模型有2.1%的绝对改进，假设一个正确的目标SQL查询。当进一步与执行引导解码策略相结合时，我们的模型以87.1%的执行准确率设置了新的最先进的性能。
2018-10-01 cs.AI cs.CL cs.DB
Online Sketch-based Query Optimization
基于代价的查询优化在关系数据库中经过几十年的研究和工业发展仍然是一个关键的任务。查询优化器依赖于大量的统计概要--包括属性级直方图和表级样本--来进行准确的基数估计。随着选择谓词的复杂性和连接谓词数量的增加，出现了两个问题。首先，统计信息不能以增量方式组成，从而无法有效地估计在计划枚举中生成的子计划的成本。其次，小错误通过连接操作符呈指数级传播，这可能导致严重的次优计划。在本文中，我们介绍了COMPASS，一个新的查询优化范例内存数据库的基础上，一种单一类型的统计-快速AGMS草图。在COMPASS中，查询优化和执行相互交织。在查询优化过程中，选择谓词和草图更新被下推并在线评估。这允许Fast-AGMS草图仅在相关元组上计算--这提高了基数估计的准确性。计划枚举是通过递增地组合属性级草图来在查询连接图上执行的，而不是通过为每个子计划构建单独的草图。我们原型COMPASS在MapD -一个开源的并行数据库-并进行了广泛的实验，在完整的工作基准。结果证明，与其他四个数据库系统相比，COMPASS生成了更好的执行计划（无论是在基数还是运行时方面）。总体而言，COMPASS在累积查询执行时间上比所考虑的竞争对手实现了1.35倍到11.28倍的加速。
2021-02-04 cs.DB cs.DS
Demand-Driven Incremental Object Queries
Stony Brook University（石溪大学）
对象查询在信息搜索和决策制定等广泛的应用领域中是必不可少的。但是，查询可能涉及对象和集合上的复杂条件，这些条件可以任意嵌套和别名化。所涉及的对象和集合以及需求-给定的感兴趣的参数值-可以任意改变。如何在所有可能的更新下有效地实现对象查询，并进一步提供复杂性保证？本文介绍了一种自动化的方法。该方法允许以完全声明的方式编写强大的查询。它将需求以及所有对象和集合转化为关系。最重要的是，它不仅为查询结果定义了不变量，而且还为涉及的对象和集合的所有辅助值（包括用于传播需求的值）定义了不变量，并增量地维护所有这些不变量。从各种应用领域的问题，包括分布式算法和概率查询的实施和实验，确认分析的复杂性，权衡，并在以前的工作显着改善。
2016-07-15 cs.AI cs.DB cs.PL
Continuous Query for Top-$K$ Maximal Sum Intervals over Streaming Data
Beijing Institute of Technology（北京理工大学）；Northeastern University（东北大学）；Singapore Management University（新加坡管理大学）；Shenyang Aerospace University（沈阳航空航天大学）
针对流数据上连续查询Top-$K$最大和区间的问题，提出基于分区的策略，通过特定分区方案确保最大和区间在单个分区内，实现独立并行处理，开发相关算法，经实验验证显著提升了效率。
2026-07-14 cs.DB
PolyFrame: A Retargetable Query-based Approach to Scaling DataFrames (Extended Version)
在过去的几年里，数据科学领域一直在快速发展，因为各种企业都采用了统计和机器学习技术来增强他们的决策和应用。将数据分析（可能包括自定义机器学习模型的应用）扩展到大量数据需要利用分布式框架。这可能会给数据分析师带来严重的技术挑战，并降低他们的生产力。AFrame是一个Python数据分析库，作为Apache AsterixDB之上的一层实现，通过整合数据科学家的开发环境并通过大数据管理系统透明地扩展分析操作的评估来解决这些问题。虽然AFrame能够利用数据管理设施（例如，索引和查询优化），并允许用户与非常大量的数据进行交互，初始版本只生成SQL++查询，并只对Apache AsterixDB进行操作。在这项工作中，我们描述了一个新的设计，重新定位AFrame的增量查询形成其他基于查询的数据库系统，以及，使其更灵活的部署对其他数据管理系统与组合查询语言。
2021-02-10 cs.DB
Enabling Data Dependency-based Query Optimization
Hasso Plattner Institute（哈索·普拉特纳研究所）；SAP（思爱普）
本文提出系统自动识别并验证数据依赖，提升查询性能，实验显示在TPC-DS和JOB基准上速度提升达35%和29%，单个查询延迟下降超90%。
2025-07-19 cs.DB
Adaptive Indexing for Approximate Query Processing in Exploratory Data Analysis
针对探索性数据分析中大数据交互查询的性能不稳定问题，提出基于主存自适应索引VALINOR-A、结合用户驱动采样与误差有界近似的即时分析框架，在无需预处理下平衡响应时间与准确性。
2025-05-26 cs.DB
LifeRaft: Data-Driven, Batch Processing for the Exploration of Scientific Databases
梳理大量数据的工作负载在科学中越来越重要。这些工作负载由“大海捞针”查询组成，这些查询需要长时间运行且数据密集，因此查询吞吐量限制了性能。为了最大限度地提高数据密集型查询的吞吐量，我们提出了LifeRaft：一个查询处理系统，批量查询重叠的数据需求。LifeRaft不是按照到达顺序来调度查询，而是按照最大化查询之间的数据共享的数据排序来并发地执行查询。这减少了I/O并提高了缓存利用率。但是，这种批处理会使交互式工作负载不足，从而增加查询响应时间。LifeRaft使用受磁盘驱动器中磁头调度启发的技术来解决饥饿问题。根据工作负载饱和度和排队时间，系统自适应地和增量地权衡处理查询的到达顺序和数据驱动的批处理。在天文数据库的SkyQuery联邦中评估LifeRaft，发现查询吞吐量有两倍的提高。
2009-09-09 cs.DB
PG-HIVE: Hybrid Incremental Schema Discovery for Property Graphs
CNRS, Univ. Grenoble Alpes（法国国家科学研究中心，格勒诺布尔阿尔卑斯大学）；Harokopio University of Athens（雅典哈罗基皮奥大学）
PG-HIVE 通过混合增量模式发现方法，实现属性图的自动模式发现，提升查询效率和准确性。
2025-11-30 cs.DB
TASM: A Tile-Based Storage Manager for Video Analytics
现代视频数据管理系统将视频存储为单个编码文件，这显著限制了可能的存储级别优化。我们设计、实施和评估TASM，这是一种新的基于瓦片的视频数据存储管理器。TASM使用现代视频编解码器中称为“瓦片”的功能，该功能允许对编码视频进行空间随机访问。TASM通过在给定视频内容和查询工作负载的情况下优化其平铺布局来物理地调谐存储的视频。此外，TASM动态地调整布局，以响应查询工作负载的变化，或者如果查询工作负载和视频内容被增量地发现。最后，TASM还为新摄取的视频生成有效的初始图块布局。我们证明，TASM可以加快子帧选择查询平均超过50%，高达94%。TASM还可以将目标检测查询的全扫描阶段的吞吐量提高2倍。
2021-02-26 cs.DB
An In-Depth Study of Continuous Subgraph Matching (Complete Version)
连续子图匹配（CSM）算法在线查找数据图流上给定模式的出现。已经提出了许多增量CSM算法。然而，对这些算法的系统研究是缺失的，以确定它们的优点和缺点在广泛的工作负载。因此，我们首先提出模型CSM增量视图维护（IVM），以捕获现有算法的设计空间。然后，我们实现了六个代表CSM算法，包括IncIsoMatch，SJ-Tree，Graphflow，IEDyn，TurboFlux和SymBi，在一个共同的框架，基于IVM。我们进一步进行了广泛的实验，以评估竞争算法的整体性能，以及研究个别技术的有效性，找出导致性能差异的关键因素。我们获得了以下新的性能见解：（1）现有算法从查询图中映射到更新数据边的边开始搜索，可能导致许多无效的部分结果;（2）所有匹配顺序都基于简单的搜索，有时显得无效;（3）索引更新在某些查询上占主导地位的查询时间;（4）常数延迟枚举算法的索引更新开销较大。因此，没有算法在所有情况下都优于其他算法。因此，我们根据我们的实验结果给出了一些建议。特别是，SymBi索引对于稀疏查询或长时间运行的查询非常有用。IEDyn和TurboFlux的匹配顺序在树查询上工作得很好，Graphflow的匹配顺序在密集查询或查询和数据图都稀疏时工作得很好，否则，我们推荐SymBi的匹配顺序。
2022-03-14 cs.DB
Enzyme: Incremental View Maintenance for Data Engineering
Databricks, Inc.（Databricks公司）；Google, Inc.（谷歌公司）
本文提出Enzyme，一种用于数据工程的增量视图维护引擎，通过自动化刷新策略减少计算成本，提升大规模生产管道的效率。
2026-04-30 cs.DB
VTRQ: Enabling Verifiable Trajectory Range Queries in Hybrid-Storage Blockchains
Aalborg University（奥尔堡大学）；Northeastern University（东北大学）；University of Navarra（纳瓦拉大学）；AT&T Chief Data Office（美国电话电报公司首席数据办公室）
VTRQ是首个混合存储区块链中可验证轨迹范围查询框架，含两种ADS及时空边聚合机制，解决现有混合存储区块链轨迹数据可验证查询支持不足的问题，提升了查询与验证效率。
2026-08-24 cs.DB
Fast, Incremental Inverted Indexing in Main Memory for Web-Scale Collections
对于文本检索系统，所有数据结构驻留在主存中的假设越来越普遍。在这种情况下，我们提出了一种新的增量倒排索引算法的网络规模的集合，直接构造压缩的帖子列表在内存中。设计高效的内存算法需要理解现代处理器体系结构和存储层次结构：在本文中，我们探讨了发布列表连续性的问题。自然，占据连续内存区域的发布列表对于检索是优选的，但是保持连续性增加了复杂性并且减慢了索引。另一方面，允许不连续的索引段简化了索引构造，但降低了检索性能。理解这种权衡是我们的主要贡献：我们发现，共同定位的倒排列表段的小组产生查询评估性能，是统计上无法区分的完全连续的帖子列表。换句话说，没有必要在内存中布置数据结构，使得一个术语的所有发布都是连续的;我们可以用相对少量的工作来实现理想的性能。
2013-05-03 cs.DB cs.IR
Towards Selecting the Informative Alternative Relational Query Plans for Database Education
Xidian University（西安电子科技大学）；Nanyang Technological University（南洋理工大学）
本文提出信息性计划选择问题（TIPS），旨在为数据库教育提供信息量大的替代查询计划，通过近似算法和实验验证其有效性。
2026-03-10 cs.DB
Enabling Secure Database as a Service using Fully Homomorphic Encryption: Challenges and Opportunities
至少在过去的十年里，数据库社区一直在努力查询加密数据，这将使安全的数据库作为服务解决方案。密码学界最近（2009年）的一项突破与全同态加密（FHE）有关，表明对加密数据的任意计算是可能的。然而，成功地采用FHE进行查询处理仍然是一个遥远的梦想，并且必须解决许多挑战。一个挑战是如何执行加密数据的代数查询处理，其中我们产生加密的中间结果，并且可以组合对加密数据的操作。在本文中，我们描述了加密数据的代数查询处理的解决方案，还概述了其他几个需要解决的挑战，同时还描述了可以从数据库社区查询加密数据的十年工作中吸取的教训。
2013-02-11 cs.CR cs.DB
Using off-the-shelf LLMs to query enterprise data by progressively revealing ontologies
RelationalAI
针对LLM因token限制无法容纳大型企业本体的问题，提出逐步揭示恰好足够本体内容的零样本提示解决方案，以提升自然语言到形式化查询的转换准确率。
2024-10-11 cs.AI cs.DB
vChain: Enabling Verifiable Boolean Range Queries over Blockchain Databases
由于加密货币和去中心化应用程序的蓬勃发展，区块链最近受到了关注。对于查询存储在区块链数据库中的数据的需求越来越多。为了确保查询的完整性，用户可以维护整个区块链数据库并在本地查询数据。然而，这种方法如果不是不可行的话，也是不经济的，因为区块链的数据量巨大，维护成本相当高。在本文中，我们迈出了研究区块链数据库上可验证查询处理问题的第一步。我们提出了一个新的框架，称为vChain，它降低了用户的存储和计算成本，并采用可验证的查询来保证结果的完整性。为了支持可验证的布尔范围查询，我们提出了一个基于累加器的认证数据结构，使动态聚合任意查询属性。进一步开发了两个新的索引来聚合块内和块间的数据记录，以实现高效的查询验证。我们还提出了一个倒排前缀树结构，以加速处理大量的订阅查询同时进行。安全性分析和实证研究验证了所提出的技术的鲁棒性和实用性。
2018-12-06 cs.CR cs.DB
MulChain: Enabling Advanced Cross-Modal Queries in Hybrid-Storage Blockchains
针对混合存储区块链中多模态数据高级查询的挑战，提出中间件架构MulChain，其核心BHashTree动态切换树与哈希节点，实现高效插入查询，并统一跨平台接口。
2025-02-25 cs.DB cs.SE
ARCADE: A Real-Time Data System for Hybrid and Continuous Query Processing across Diverse Data Modalities
Nanyang Technological University, Singapore（南洋理工大学）
ARCADE是一个实时数据系统，通过统一索引、代价优化器和增量物化视图，支持多模态数据的混合与连续查询，性能显著优于现有系统。
2025-09-24 cs.AI cs.DB
Flow with FlorDB: Incremental Context Maintenance for the Machine Learning Lifecycle
本文提出了一种在不破坏敏捷开发的前提下，通过日志语句和后见日志从机器学习流水线中增量获取与查询元数据的技术，并在FlorDB系统中实现，有效解决了敏捷性与纪律之间的软件工程权衡问题。
2024-11-15 cs.DB cs.SE
IPD:An Incremental Prototype based DBSCAN for large-scale data with cluster representatives
Department of Computer Science
针对DBSCAN无法处理大数据和质心聚类无法识别非球形簇的问题，提出增量原型DBSCAN（IPD）算法，可识别大规模数据任意形状簇并为每个簇选择代表。
2023-10-11 cs.CV cs.DB cs.LG
Learning State Representations for Query Optimization with Deep Reinforcement Learning
University of Washington（华盛顿大学）；Microsoft（微软）；Criteo Research（Criteo研究院）
深度强化学习正在迅速改变人工智能领域。这些模型能够捕获对其环境的高层次理解，使它们能够在各种领域中学习困难的动态任务。在数据库领域，查询优化一直是一个难题。我们在这项工作中的目标是在查询优化的背景下探索深度强化学习的功能。在每个状态下，我们增量地构建查询，并通过学习表示对子查询的属性进行编码。这里的挑战在于状态转换函数的形成，它定义了当前子查询状态如何与下一个查询操作（action）组合以产生下一个状态。作为这个方向的第一步，我们专注于状态表示问题和状态转移函数的形成。我们描述我们的方法，并显示初步结果。我们进一步讨论如何使用状态表示来使用强化学习改进查询优化。
2018-03-22 cs.AI cs.DB cs.LG
AIQL: Enabling Efficient Attack Investigation from System Monitoring Data
应对高级持续性威胁（APT）攻击的需求导致了无处不在地监视每个主机中的系统活动并对监视数据执行及时的攻击调查以分析攻击起源的解决方案。然而，现有的基于关系数据库和图形数据库的查询系统缺乏语言结构来表达主要攻击行为的关键属性，并且由于其语义不可知的设计不能利用系统监控数据的属性来加速查询执行，因此通常执行查询效率低下。为了解决这个问题，我们提出了一种新的查询系统，建立在现有的监控工具和数据库，这是设计与新型的优化，以支持及时的攻击调查。我们的系统提供（1）特定于域的数据模型和存储扩展的存储，（2）特定于域的查询语言，攻击调查查询语言（AIQL），集成了关键的原语攻击调查，和（3）优化的查询引擎的基础上的数据和查询的语义的特点，以有效地调度查询执行。我们在NEC Labs America部署了由150台主机组成的系统，并使用857 GB的真实系统监控数据（包含25亿个事件）对其进行了评估。我们对现实世界的APT攻击和广泛的攻击行为的评估表明，我们的系统在效率（PostgreSQL的124倍，Neo4j的157倍，Greenplum的16倍）和简洁性（SQL，Neo4j Cypher和Splunk SPL包含的约束至少是AIQL的2.4倍）方面都超过了现有系统。
2018-06-07 cs.CR cs.DB
Batchwise Probabilistic Incremental Data Cleaning
University of São Paulo（圣保罗大学）；University of Londrina（隆德里纳大学）；University of Waterloo（滑铁卢大学）
缺乏数据和数据质量问题是阻碍许多组织进一步采用人工智能的主要瓶颈之一，迫使数据科学家在能够回答分析问题之前花费大部分时间清理数据。因此，需要更有效和高效的数据清理解决方案，这并不奇怪，充满了理论和工程问题。此报告解决了增量执行整体数据清理的问题，给定固定的规则集和连续批量获取的不断发展的分类关系数据集。据我们所知，我们的贡献组成了第一个增量框架，该框架可以（i）独立于用户干预来清理数据，（ii）不需要关于传入数据集的知识，例如每个属性的类的数量，以及（iii）整体上，使多个错误类型能够同时修复，从而避免冲突修复。大量的实验表明，我们的方法优于竞争对手的修复质量，执行时间和内存消耗。
2020-11-09 cs.DB cs.LG
Enabling Efficient Cyber Threat Hunting With Cyber Threat Intelligence
University of California, Berkeley（加州大学伯克利分校）；Case Western Reserve University（凯斯西储大学）；Nanjing University（南京大学）；Princeton University（普林斯顿大学）
基于日志的网络威胁搜索已成为应对复杂攻击的重要解决方案。然而，现有的方法需要手动查询构建的非平凡的努力，并忽略了开源网络威胁情报（OSCTI）提供的丰富的外部威胁知识。为了弥补这一差距，我们提出了ThreatRaptor，一个系统，便于威胁狩猎计算机系统使用OSCTI。ThreatRaptor基于系统审计框架，提供（1）一个无监督，轻量级，准确的NLP管道，从非结构化的OSCTI文本中提取结构化的威胁行为，（2）一个简洁而富有表现力的特定于域的查询语言TBQL，用于搜索恶意系统活动，（3）一个查询合成机制，自动合成TBQL查询用于搜索，以及（4）高效的查询执行引擎以搜索大的审计日志数据。对广泛的攻击案例的评估证明了ThreatRaptor在实际威胁搜索中的准确性和效率。
2021-02-25 cs.CL cs.CR cs.DB
tspDB: Time Series Predict DB
Massachusetts Institute of Technology（麻省理工学院）
当前机器学习（ML）工作流程的一个主要瓶颈是从数据存储或数据库（DB）获取数据到ML算法可以应用于它的点所需的耗时，易出错的工程。因此，我们探索了在数据存储或DB之上直接集成预测功能的可行性。这样的系统理想地：（i）提供直观的预测查询界面，简化了笨拙的数据工程;（ii）提供最先进的统计准确性，同时确保增量模型更新，低模型训练时间和低预测延迟。作为主要贡献，我们显式地实例化了一个概念验证，tspDB，它直接与PostgreSQL集成。我们严格测试了tspDB的统计和计算性能，并使用了最先进的时间序列算法，包括长短期记忆（LSTM）神经网络和DeepAR（Amazon的行业标准深度学习库）。从统计学上看，在标准时间序列基准测试中，tspDB的相对准确度比LSTM和DeepAR高1.1- 1.3倍。在计算方面，tspDB在中值ML模型训练时间和预测查询延迟方面分别比LSTM和DeepAR快59- 62倍和94- 95倍。此外，与PostgreSQL的批量插入时间和SELECT查询延迟相比，tspDB仅分别慢1.3倍和2.6倍。也就是说，tspDB是一个实时预测系统，因为它的模型训练/预测查询时间类似于从DB插入/读取数据。作为算法的贡献，我们介绍了一个增量的多元矩阵分解为基础的时间序列方法，其中tspDB是建立了。我们表明，这种方法也可以通过准确估计时间序列的时变方差来产生可靠的预测区间…
2021-02-13 cs.DB cs.LG
Towards application-specific query processing systems
数据库系统使用查询处理子系统来实现高效的基于查询的数据检索。设计任何查询密集型应用程序的一个基本方面是调优查询系统，以适应应用程序的需求和工作负载特征。然而，由传统数据库系统提供的配置参数不涵盖由用户和数据的地理分布引起的设计决策和权衡。在本文中，我们提出了一种新的类型的查询系统架构，使查询系统的设计和部署在每个用例的基础上，解决了这一挑战的愿景。我们提出了一个分布式的抽象称为查询处理单元，封装原始的查询处理任务，并展示了它如何可以用作组装查询系统的构建块。使用这种方法，应用程序架构师可以通过控制查询系统的体系结构及其状态的放置来构造专门针对其用例的查询系统。我们证明了这种方法的表现力，通过将其应用到查询系统的设计，可以灵活地将其状态在数据中心或边缘，并显示状态放置决策影响查询响应时间和查询结果新鲜度之间的权衡。
2020-09-21 cs.DB cs.DC cs.IR
A Prospective Analysis of Security Vulnerabilities within Link Traversal-Based Query Processing (Extended Version)
围绕大数据驱动平台的社会和经济后果增加了对去中心化解决方案的需求。然而，在更加分散的环境中检索和查询数据需要根本不同的方法，其属性尚未得到很好的理解。基于链接遍历的查询处理（LTQP）是一种用于在分散式数据网上进行查询的技术，其中客户端查询引擎通过遍历文档之间的链接来发现数据。由于分散式环境由于其非集中控制的性质而可能不安全，因此需要客户端LTQP查询引擎能够抵抗针对查询引擎的主机或查询发起者的个人数据的安全威胁。因此，我们对LTQP的潜在安全漏洞进行了分析。本文概述了相关领域的安全威胁，并以此作为识别10种LTQP安全威胁的灵感。每一种威胁都有解释，并附有一个例子，提出了一种或多种缓解途径。最后，我们为LTQP查询引擎开发人员和数据发布者提出了几个具体的建议，作为缓解这些问题的第一步。通过这项工作，我们开始填补未知数，以便在分散的环境中进行查询。除了未来在安全方面的工作外，还需要进行更广泛的研究，以发现真正实现权力下放所缺少的组成部分。
2022-10-10 cs.CR cs.DB
Structure then Query: Enabling Precise Analytical Queries over Unstructured Documents
DSA Thrust HKUST(GZ)（香港科技大学（广州）数据科学交叉学院）
AnnoIndex通过注释索引与结构化查询引擎，解决非结构化文档精确分析查询难题，在三个数据集上平均F1达0.87，优于现有基线方法。
2026-10-23 cs.DB cs.IR
Text to Query Plans for Question Answering on Large Tables
CSIRO Data61（CSIRO数据61）
针对大型表格问答，提出一种将自然语言查询转化为查询计划的新框架，利用大语言模型迭代构建操作序列并直接在数据上执行，以支持复杂分析并克服上下文限制，实验验证其有效性。
2025-08-26 cs.AI cs.CL cs.DB
