Catapults to the Rescue: Accelerating Vector Search by Exploiting Query Locality
EPFL(洛桑联邦理工学院)
CatapultDB通过动态确定搜索起点,利用查询局部性提升向量搜索效率,比DiskANN提升2.51倍,效率媲美LSH方法且无需重建索引。
2026-03-02 cs.DB
Handling Skew in Multiway Joins in Parallel Processing
处理偏斜是查询处理中的主要挑战之一。在诸如MapReduce的分布式计算环境中,不期望数据到服务器的不均匀分布。我们希望在分布式环境中优化的主要措施之一是通信成本。在MapReduce作业中,这是从映射器传输到归约器的数据量。在本文中,我们将介绍一种新的技术来处理偏斜,当我们想在一个MapReduce回合中以最小的通信成本计算多路连接时。这种技术实际上是股份算法的适应[Afrati et.等人,TKDE 2011]。
2015-04-13 cs.DB
Tsunami: A Learned Multi-dimensional Index for Correlated Data and Skewed Workloads
Massachusetts Insititute of Technology(麻省理工学院)
基于谓词过滤数据是任何现代数据仓库的最基本操作之一。加速过滤器表达式执行的技术包括聚集索引、专用排序顺序(例如,Z顺序)、多维索引以及用于高选择性查询的二级索引。然而,这些方案很难调整,并且它们的性能不一致。最近关于学习多维索引的工作引入了自动优化特定数据集和工作负载的索引的想法。然而,在存在相关数据和倾斜查询工作负载的情况下,这项工作的性能会受到影响,这两种情况在实际应用程序中都很常见。在本文中,我们介绍了Tsunami,它解决了这些限制,实现了比现有学习多维索引快6倍的查询性能和小8倍的索引大小,以及比优化的传统索引快11倍的查询性能和小170倍的索引大小。
2020-06-23 cs.DB cs.LG
Evaluating Learned Spatial Indexes
University of Helsinki(赫尔辛基大学)
通过实验研究学习型索引在空间范围查询中的性能,分析块大小、数据倾斜、选择性等因素的影响,并基于工作负载提出索引选择决策树。
2026-06-18 cs.DB
Exploiting Conceptual Knowledge for Querying Information Systems
虽然今天的信息系统都配备了高效的查询处理,其严格的数学基础阻碍了他们的日常任务的使用。在日常生活中,人们期望信息以个性化和集中的方式提供。但目前,数字系统中的个性化仍然只考虑明确的知识,还没有处理通常由用户自然暗示的概念信息。我们讨论如何弥合用户和当今系统之间的差距,从认知心理学的结果的基础上。
2011-05-24 cs.DB cs.IR
Worst-Case Optimal Algorithms for Parallel Query Processing
本文研究了在$p$服务器上并行计算大型数据库上的合取查询问题的通信复杂性。与以前的工作,在通信上的上限和下限被指定为特定的数据结构(无论是数据没有歪斜,或数据与特定类型的歪斜),在这项工作中,我们专注于最坏情况下的通信成本分析。目标是找到最坏情况下的最优并行算法,类似于[18]中针对顺序算法的工作。我们首先表明,对于一个单一的回合,我们可以获得一个最佳的最坏情况下的算法。当所有关系的大小都等于$M$时,合取查询$q$的最优负载为$O(M/p^{1/ψ^*})$,其中$ψ^*$是一个新的与查询相关的量,称为边拟填充数,它不同于查询超图的边填充数和边覆盖数.对于多轮,我们提出的算法是最佳的几类查询。最后,我们展示了一个令人惊讶的连接到外部存储器模型,它允许我们翻译并行算法到外部存储器算法。这种技术使我们能够恢复(在一个多对数因子)的I/O计算连接查询的复杂性的几个最近的结果,并获得其他类别的查询的最佳算法。
2016-04-07 cs.DB
Effective Spatial Data Partitioning for Scalable Query Processing
最近,基于MapReduce的空间查询系统已经成为大规模空间数据处理和分析的一种具有成本效益和可扩展性的解决方案。基于MapReduce的系统通过划分数据并在这些分区上并行运行查询任务来实现巨大的可伸缩性。因此,有效的数据划分对于任务并行化、负载均衡至关重要,并直接影响系统性能。然而,空间数据划分的几个陷阱使这项任务特别具有挑战性。首先,数据倾斜在空间应用中非常常见。为了实现最佳查询性能,需要减少数据倾斜。其次,空间分区方法生成跨越多个分区的边界对象,并增加额外的查询处理开销。因此,需要最小化边界对象。第三,空间划分算法的高计算复杂性与大量数据相结合,需要一种有效的方法来划分,以实现整体快速查询响应。在本文中,我们提供了一个系统的评估多个空间分区方法与一组不同的分区策略,并研究其对MapReduce的空间查询的性能的影响。我们还研究了基于采样的分区方法及其对查询的影响,并提出了几种基于MapReduce的高性能空间分区方法。我们的工作的主要目标是提供一个全面的指导,最佳的空间数据分区,以支持可扩展的和快速的空间数据处理的大规模并行数据处理框架,如MapReduce。在这项工作中开发的算法是开源的,可以很容易地集成到不同的高性能空间数据处理系统。
2015-09-03 cs.DB
Exploiting Metric Structure for Efficient Private Query Release
我们考虑的问题,私人回答的数据库上定义的查询是属于一些度量空间的点的集合。我们给出了简单的,计算效率高的算法来回答距离查询定义在任意度量。距离查询由度量空间中的点指定,并根据指定的度量要求从查询点到数据库中包含的点的平均距离。我们的算法有效地运行在数据库的大小和维度的空间,并在两个在线查询发布设置,和离线设置,他们必须在多项式时间生成一个固定的数据结构,可以回答所有感兴趣的查询。这代表了线性查询的第一个子类之一,其中高效的算法是已知的私人查询释放问题,规避已知的通用线性查询的硬度结果。
2012-11-30 cs.CR cs.DB cs.DS
Materialized View Selection and Maintenance Using Multi-Query Optimization
由于视图的存在增强了查询性能,因此物化视图越来越多地被商业数据库/数据仓库系统所支持。每当更新数据仓库时,也必须更新物化视图。然而,尽管进入仓库的数据量、查询负载以及获得最新响应的需求都在增加,但使仓库保持最新的时间窗口却在缩小。这些趋势需要有效的技术来维护物化视图。在本文中,我们将展示如何找到一个有效的计划维护的{ \em集}的意见,利用不同的视图维护表达式之间的共同子表达式。这些公共子表达式可以在视图维护期间临时具体化。我们的算法还选择子表达式/索引永久物化(并与其他物化视图一起维护),以加快视图维护。虽然有很多工作在过去的视图维护,我们的新的贡献在于利用最近开发的多查询优化框架,有效地找到良好的视图维护计划如上所述。除了更快的视图维护,我们的算法也可以用来有效地选择物化视图,以加快工作负载包含查询。
2000-03-02 cs.DB
Efficient Query Processing for SPARQL Federations with Replicated Fragments
公共SPARQL端点的低可靠性和可用性阻止了现实世界的应用程序利用这些查询基础结构的所有潜力。服务器上的数据碎片可以提高数据可用性,但会降低性能。复制片段可以在性能和可用性之间提供新的折衷。我们提出FERENCE,查询关联数据,利用客户端数据复制的框架,并执行源选择算法,旨在减少所选择的公共SPARQL端点,执行时间和中间结果的数量。FERENTIAL已在最先进的查询引擎ANAPSID和FedX上实现,并在各种真实数据集上进行了经验评估。
2015-03-10 cs.DB
Adding Domain Knowledge to Query-Driven Learned Databases
本文针对查询驱动学习型基数估计器依赖大量标注查询且分布外错误严重的问题,提出基于约束的半监督学习方法,将传统优化器的领域知识融入学习型查询优化,从而提升基数估计准确性、减少标注依赖并增强端到端性能鲁棒性。
2023-12-02 cs.DB
End-to-end solution for linked open data query logs analytics
ESI(高等信息科学学院)
针对关联开放数据(LOD)查询日志结构复杂、存在质量与来源风险导致挖掘困难的问题,研究明确定义LOD查询日志生态系统,提出端到端挖掘方案,并通过真实日志实验验证了方案有效性。
2024-03-09 cs.CL cs.DB
A Framework for Federated SPARQL Query Processing over Heterogeneous Linked Data Fragments
链接数据片段(LDFs)是指允许访问和查询Web上的知识图谱的Web接口。这些接口(如SPARQL端点或Triple Pattern Fragment服务器)在它们可以计算的SPARQL表达式和它们提供的元数据方面有所不同。已经提出了客户端查询处理方法,并且这些方法被定制以评估各个接口上的查询。此外,联邦查询处理集中在具有单一类型LDF接口(通常是SPARQL端点)的联邦上。在这项工作中,我们解决的挑战,SPARQL查询处理联邦异构LDF接口。为此,我们形式化的概念联邦的关联数据片段,并提出了一个框架,联邦查询异构联邦不同LDF接口。该框架包括查询分解,查询规划,和适应不同LDF接口的特殊性的物理操作符。此外,我们提出了一种方法,我们的框架的每个组成部分,并评估他们在著名的FedBench基准的实验研究。结果表明,通过设计这些接口感知的方法,利用联邦中的异构接口的能力,实现了性能的大幅改善。
2021-02-26 cs.DB
Designing Succinct Secondary Indexing Mechanism by Exploiting Column Correlations (Extended Version)
数据库管理员在数据表上构造二级索引以加速关系数据库管理系统(RDBMS)中的查询处理。根据数据统计信息,这些索引构建在最常查询的列之上。不幸的是,在同一个数据库中维护多个辅助索引可能非常消耗空间,由于可能耗尽内存空间,导致性能显著下降。在本文中,我们证明了有很多机会利用列相关性来加速数据访问。我们提出了HERMIT,一个简洁的现代RDBMS二级索引机制。HERMIT明智地利用隐藏在列中的丰富的软函数依赖关系,为索引键访问修剪掉冗余结构。HERMIT不是构建一个完整的索引来存储键列中的每个条目,而是将任何传入的键访问查询导航到基于相关列构建的现有索引。这是通过分层回归搜索树(TRS树)实现的,TRS树是一种简洁的ML增强型数据结构,可执行快速曲线拟合,以自适应地动态捕获列相关性和离群值。我们在两个不同的RDBMS中进行了广泛的实验研究,证实了HERMIT可以显着减少空间消耗,在查询响应时间和索引维护时间方面的性能开销有限,特别是在支持复杂范围查询时。
2019-04-01 cs.DB
Optimizing Federated Queries Based on the Physical Design of a Data Lake
查询执行计划的优化对于减少查询执行时间是至关重要的。特别是在过去的几十年中,关系数据库的查询优化已经被深入研究。最近,资源描述框架(RDF)在Web上发布数据方面变得流行起来。因此,由不同数据模型(如RDF和关系数据库)组成的联邦得到了发展。这些联盟的一种类型是语义数据湖,其中每个数据源都保存在其原始数据模型中,并使用本体或受控词汇表进行语义注释。然而,在语义数据湖上进行联邦查询处理的最先进的查询引擎通常依赖于为RDF量身定制的优化技术。在本文中,我们提出了查询优化技术的指导下,考虑到数据湖的物理设计。语义分析是在Ontario之上实现的,Ontario是语义数据湖的SPARQL查询引擎。使用特定于源的语法,查询引擎能够通过利用关于关系数据库中的索引和规范化的知识来生成更有效的查询执行计划。我们表明,将数据湖的物理设计考虑在内的算法能够加快查询处理。
2020-03-23 cs.DB
Terascale Query Processing in the Browser: Rethinking GPU Acceleration
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Utah State University(犹他州立大学);Syracuse University(雪城大学);Washington State University(华盛顿州立大学)
研究针对递归数据库查询的GPU加速,提出基于WebGPU计算着色器的WGLog引擎,利用无原子排序数组连接和异步执行管道两项创新技术,在代表性工作负载上比原生GPU系统加速1.48至4.68倍,远超CPU和WebAssembly实现。
2026-07-21 cs.DB
Pushing the Boundaries of Crowd-enabled Databases with Query-driven Schema Expansion
通过将人类工作者纳入查询执行过程,支持人群的数据库促进了智能的社交功能,例如在查询时完成缺失的数据或执行认知运算符。但是,尽管具有所有的灵活性,支持人群的数据库仍然保持严格的模式。在本文中,我们通过灵活的查询驱动模式扩展来扩展支持人群的数据库,允许在查询时向数据库添加新属性。然而,用于填充缺失值的众包小任务的数量可能通常非常大,并且由此产生的数据质量值得怀疑。我们利用社交网络中的用户生成数据,而不是简单的众包来单独获取所有值:通过利用用户评级,我们建立了感知空间,即,大量用户的意见、印象和感知的高度压缩表示。使用专家众包获得的少量训练样本,我们可以以高质量和低成本自动从感知空间中提取所有缺失的数据。大量的实验表明,我们的方法可以提高性能和质量的人群启用数据库,同时还提供了灵活性,以查询驱动的方式扩展模式。
2012-03-01 cs.DB
Pre-Execution Query Slot-Time Prediction in Cloud Data Warehouses: A Feature-Scoped Machine Learning Approach
Independent Researcher(独立研究员)
本文提出一种基于特征范围的机器学习方法,通过预执行时可观察的信号预测BigQuery槽时间,减少预算超支和调度退化,实验显示在成本显著查询上模型性能优于基线方法。
2026-04-22 cs.DB cs.LG
GeoBlocks: A Query-Cache Accelerated Data Structure for Spatial Aggregation over Polygons
由于城市中的个人交通和公共交通正在发生变化,城市当局需要分析城市地理空间数据,以改善交通和基础设施。为此,它们高度依赖于从点数据提取汇总信息的空间聚合查询(例如,Uber乘车)包含在给定多边形区域中(例如,一个城市附近)。为了支持这样的查询,当前的分析工具要么只允许在预定义的区域上进行预定义的聚合,因此不适合探索性分析,要么访问原始数据以实时计算聚合结果,这严重限制了交互性。与此同时,现有的预聚合技术是不够的,因为它们保持在矩形区域的聚合。因此,当应用于任意多边形区域时,它们会引起无法有界的近似误差。在本文中,我们介绍了GeoBlocks,这是一种新型的预聚合数据结构,支持任意多边形的空间聚合。GeoBlocks使用一组细粒度的网格单元来近似多边形,与之前的工作相比,它允许通过调整单元大小来限制近似误差。此外,GeoBlocks采用类似trie的缓存,缓存频繁查询区域的聚合结果,从而动态适应查询工作负载中固有的偏斜,并随着时间的推移提高性能。总之,GeoBlocks的性能比动态聚合高出三个数量级,实现了交互式探索性分析所需的亚秒级查询延迟。
2021-03-16 cs.DB
Towards Deterministic Decomposable Circuits for Safe Queries
有两种方法可以在元组独立的数据库上进行UCQ的精确概率推断。在可拓方法中,查询评估是在DBMS中通过利用查询的结构来执行的。在内涵方法中,首先在数据库上构建查询的世系的表示,然后计算世系的概率。在本文中,我们提出了一种新的技术来构建世系表示为确定性可分解的电路在PTIME。该技术可以应用于一类UCQ,它已经被证明可以分离两种方法的复杂性。我们通过实验测试了我们的技术,并表明它在该类的所有查询上都成功,直到某个大小参数,即,超过$20$百万次查询。
2019-12-23 cs.DB
ADOPT: Adaptively Optimizing Attribute Orders for Worst-Case Optimal Join Algorithms via Reinforcement Learning
提出查询引擎ADOPT,结合自适应查询处理与最坏情况最优连接算法,通过强化学习在查询执行中动态探索并快速收敛至接近最优的属性顺序,在复杂查询上优于现有商业和开源系统。
2023-07-31 cs.DB
Stale View Cleaning: Getting Fresh Answers from Stale Materialized Views
物化视图(Materialized Views,MV)是一种存储预计算结果的视图,被广泛应用于大型数据集的快速查询。当新记录以高速率到达时,连续更新(维护)MV是不可行的,常见的解决方案是通过同时更新来推迟维护。在批处理之间,MV变得越来越陈旧,错误、缺失和多余的行导致查询结果越来越不准确。我们提出了Stale View Cleaning(SVC),它从数据清理的角度解决了这个问题。在SVC中,我们有效地从陈旧的MV中清理行的样本,并使用干净的样本来估计聚合查询结果。虽然是近似的,但估计的查询结果反映了最新的数据。由于抽样对长尾分布敏感,我们进一步探索了一种离群值索引技术,以便在数据分布偏斜时提高准确性。SVC通过在维护之间提供准确和有界的查询答案来补充现有的延迟维护方法。我们从TPC-D基准和一个真正的视频分发应用程序生成的数据集上评估我们的方法。实验证实了我们的理论结果:(1)清理MV样本比全视图维护更有效,(2)估计结果比使用陈旧MV更准确,以及(3)SVC适用于各种MV。
2015-09-24 cs.DB
Towards Enhancing Database Education: Natural Language Generation Meets Query Execution Plans
数据库系统课程是许多主要大学的本科计算机科学学位课程的一部分。学习此类课程的学习者的一个关键学习目标是了解在实践中如何在RDBMS中处理SQL查询。由于查询执行计划(QEP)描述了查询的执行步骤,学习者可以通过阅读RDBMS生成的QEP来获得理解。不幸的是,在实践中,学习者往往难以理解这些包含特定于供应商的实现细节的QEP,这阻碍了她的学习过程。在本文中,我们提出了一种新颖的,端到端的,通用的系统称为灯笼,产生一个自然语言描述的qep,以促进理解的查询执行步骤。它接受SQL查询及其QEP作为输入,并生成底层RDBMS部署的执行策略的自然语言描述。具体来说,它部署了一个声明性的框架称为池,使主题专家有效地创建和维护自然语言描述的物理操作员中使用的QEP。提出了一个基于规则的框架RULE-LANTERN,利用池生成QEP的自然语言描述。尽管RULE-LANTERN的准确性很高,但我们与学习者的接触表明,与现有的心理学理论相一致,阅读这种基于规则的描述会导致无聊,因为不同的QEP会重复陈述。为了解决这个问题,我们提出了一种新的基于深度学习的语言生成框架,称为NEURAL-LANTERN,它通过利用一组释义工具和词嵌入在生成的描述中注入语言可变性。我们的实验研究与真实的学习者表明灯笼在促进理解QEPs的有效性。
2021-03-03 cs.DB
Exploiting Opportunistic Physical Design in Large-scale Data Analytics
大规模系统,如MapReduce和Hadoop,执行中间作业结果的积极具体化,以支持容错。当作业对应于数据分析师提交的探索性查询时,这些物化会产生大量的物化视图,这些物化视图通常会捕获来自同一分析师的连续查询之间的公共计算,甚至是测试类似假设的不同分析师的查询之间的公共计算。我们建议将这些视图视为机会主义物理设计,并将其用于查询优化的目的。我们开发了一种新的查询重写算法,解决了在这种情况下的两个主要挑战:如何搜索重写的大空间,以及如何推理包含UDF(大规模数据分析中的一个常见功能)的视图。该算法的灵感来自于非度量空间中的最近邻搜索,它可证明地找到了最小成本重写。我们提出了一个广泛的实验研究现实世界的数据集与原型数据分析系统的基础上蜂巢。结果表明,我们的方法可以在复杂的数据分析查询上产生显着的性能改进,平均减少61%的总执行时间,最多减少两个数量级。
2013-12-10 cs.DB cs.DC cs.DS
Finding Performance Issues in Database Systems by Exploiting Dormant Code Paths
ETH Zurich(苏黎世联邦理工学院)
提出分支翻转分析(BFA)方法,通过翻转代码分支强制或禁用优化来系统性地发现数据库系统中的性能问题,并在四个主流DBMS上找到21个未知性能问题。
2026-05-21 cs.DB cs.SE
Leveraging Application Data Constraints to Optimize Database-Backed Web Applications
利用数据之间的关系是一种经典的查询优化技术。随着持久性数据越来越多地通过编程方式创建和维护,之前从数据统计信息推断数据关系的工作错过了一个重要的机会。我们提出了ConstrOpt,第一个通过分析数据库支持的应用程序来识别数据关系的工具。一旦确定,ConstrOpt就利用这些约束来优化应用程序的物理设计和查询执行。ConstrOpt采用枚举-测试-验证技术来自动利用发现的数据约束来改进查询执行,而不是开发一组固定的预定义重写规则。每个结果重写可证明等价于原始查询。使用14个真实世界的Web应用程序,我们的实验表明,ConstrOpt可以发现大量的数据约束,从代码分析和提高现实世界的应用程序的性能显着。
2022-12-28 cs.DB cs.PL
Updatable Materialization of Approximate Constraints
现代大数据应用程序集成了来自各种来源的数据。因此,这些数据集可能不满足完美的约束,导致稀疏的模式信息和非最佳查询性能。现有的PatchIndexes方法能够定义近似约束,并通过利用物化的约束信息来提高查询性能。由于现实世界的数据仓库的工作负载往往不限于只读查询,我们加强了PatchIndex结构的更新意识的设计在本文中。因此,我们提出了一个分片位图作为底层的数据结构,它提供了有效的更新操作,并描述了方法,以保持近似约束下更新,避免索引重新计算和全表扫描。在我们的评估中,我们证明了PatchIndexes显着影响查询性能,同时实现轻量级更新支持。
2021-02-12 cs.DB cs.DS
Flexible queries in XML native databases
迄今为止,大多数XML原生数据库(DB)柔性查询系统都是基于利用其半结构化数据(SSD)的树结构。然而,它成为重要的是测试的效率形式概念分析(FCA)的形式主义这类数据,因为它已被证明是一个伟大的性能在信息检索(IR)领域。因此,基于FCA的XML数据库检索主要是基于格结构的使用。这个格的每个概念都可以被解释为一对(响应,查询)。在这项工作中,我们提供了一个新的灵活的建模的XML数据库的基础上模糊FCA灵活查询SSD的第一步。
2013-12-06 cs.DB cs.IR
How to Query An Oracle? Efficient Strategies to Label Data
California Institute of Technology(加州理工学院)
我们考虑在机器学习中查询专家预言机以标记数据集的基本问题。这通常是一个昂贵和耗时的过程,因此,我们寻求有效的方法。传统的方法涉及将每个样本与每个类别(的代表)进行比较以找到匹配。在具有$N$等可能类的设置中,这涉及平均的$N/2$成对比较(每个样本的查询)。我们考虑一个$k$ -ary查询计划与$k\ge 2$样本的查询,识别(DIS)相似的项目,同时有效地利用相关的传递关系。我们提出了一个随机批处理算法,操作上一轮一轮的基础上标记的样本,并实现了查询率$O(\frac{N}{k^2})$。此外,我们提出了一个自适应的贪婪查询方案,它实现了$\approx 0.2N$查询每个样本的平均速率与三元组查询。对于所提出的算法,我们调查的查询率性能分析和模拟。实证研究表明,每个三元组查询专家在最多50%的时间相比,成对查询,表明所提出的$k$ -ary查询方案的有效性。在可能的情况下,我们将分析推广到非均匀类分布。
2021-10-05 cs.DB cs.DS cs.IT
Database Learning: Toward a Database that Becomes Smarter Every Time
University of Michigan(密歇根大学)
在今天的数据库中,以前的查询答案很少有利于回答未来的查询。据我们所知,我们第一次在近似查询处理(AQP)上下文中改变这种范式。我们做了以下观察:每个查询的答案揭示了对另一个查询答案的某种程度的知识,因为它们的答案来自产生整个数据集的相同的底层分布。利用和提炼这些知识应该使我们能够更分析地回答查询,而不是通过阅读大量的原始数据。此外,处理更多的查询应该不断增强我们对底层分布的了解,从而为未来的查询带来越来越快的响应时间。我们称这种新颖的想法--从过去的查询答案中学习-数据库学习。我们利用最大熵原理来产生答案,这些答案在预期中保证比现有的基于样本的近似更准确。在这个想法的推动下,我们在Spark SQL之上构建了一个查询引擎,称为Verdict。我们进行了广泛的实验,从一个大客户的一个主要的数据库供应商在现实世界中的查询跟踪。我们的研究结果表明,Verdict支持73.7%的查询,与现有的AQP系统相比,在相同的准确度水平下,速度提高了23.0倍。
2017-03-28 cs.AI cs.DB
JSPIM: A Skew-Aware PIM Accelerator for High-Performance Databases Join and Select Operations
JSPIM 通过算法-硬件协同设计加速数据库的 hash join 与 select 查询,利用 subarray 级并行和 rank 级处理缓解数据 skew,相比 DuckDB 实现了最高 1000 倍的查询加速和 2.5 倍的整体吞吐量提升。
2025-08-11 cs.AR cs.DB cs.PF
ADQUEX: Adaptive Processing of Federated Queries over Linked Data based on Tuple Routing
由于关联数据在网络上的分布性,分布式处理联邦查询的方法对用户更有吸引力,并获得了越来越多的繁荣。在联邦查询的分布式处理中,我们需要一些方法和过程来以最优的方式执行查询。大多数现有的方法执行的优化任务的基础上,一些统计信息,而查询处理器没有精确的统计信息,其属性,因为数据源是自治的。当没有精确的统计数据时,错误估计的可能性将大大增加,并可能导致在运行时执行查询的效率低下。现有方法的另一个问题是,在优化阶段,它们假设查询执行的运行时条件是稳定的,而在链接数据上执行联邦查询的环境是动态的和不可预测的。通过考虑这两个问题,有一个很大的潜力,利用联邦查询处理技术的自适应方式。在本文中,提出了一种自适应的方法来处理联邦查询的链接数据,路由的元组的概念的基础上。所提出的方法,命名为ADQUEX,是能够有效地执行查询没有任何先验统计信息。此方法可以在运行时更改查询执行计划,以便生成更少的中间结果。它还可以适应新的情况下,如果不可预测的网络故障发生的执行计划。通过在已知的链接数据集上运行真实查询,对我们的方法进行了广泛的评估,结果非常好,特别是对于复杂的查询。
2015-05-19 cs.DB cs.DC
The Optimization of Running Queries in Relational Databases Using ANT-Colony Algorithm
优化查询的问题是一个成本敏感的过程,并且相对于查询中关联表的数量,其排列数量呈指数增长。一方面,与关系数据库中的其他操作相比,连接操作是最困难和最复杂的操作,为了减少其运行时间,需要对其进行优化。因此,到目前为止已经提出了各种算法来解决这个问题。另一方面,任何数据库管理系统(DBMS)的成功都意味着利用查询模型。在本文中,启发式蚂蚁算法已被提出来解决这个问题,提高连接操作的运行时间。实验和观察结果表明,该算法的效率相比,其类似的算法。
2013-11-16 cs.DB cs.NE
Partitioned Data Security on Outsourced Sensitive and Non-sensitive Data
尽管对密码学进行了广泛的研究,但外包数据的安全和高效查询处理仍然是一个公开的挑战。本文继续沿着安全数据处理的新兴趋势,认识到整个数据集可能不是敏感的,因此,可以利用数据的非敏感性来克服现有的基于预防的方法的局限性。我们提出了一种新的安全方法,题为查询分仓(QB),允许非敏感部分的数据以明文外包,同时保证没有信息泄漏的非敏感数据(明文)和敏感数据(加密形式)的联合处理。QB将一个查询映射到敏感数据和非敏感数据上的一组查询,其方式是由于敏感数据和非敏感数据的联合处理而不会发生泄漏。有趣的是,除了提高性能外,我们还表明QB实际上通过防止大小,频率计数和工作负载偏斜攻击来加强底层加密技术的安全性。
2018-12-20 cs.CR cs.DB cs.DC