GORAM: Graph-oriented ORAM for Efficient Ego-centric Queries on Federated Graphs
本文提出GORAM,一种基于MPC和图分区的ORAM启发式图导向数据结构,通过单分区查询实现联邦图上高效且保护隐私的自我中心查询,首次在MPC上以实用性能处理十亿级规模图。
2024-12-31 cs.DB cs.DS
Reinforced Approximate Exploratory Data Analysis
Adobe Research(奥多比研究院)
探索性数据分析(EDA)是一个连续的决策过程,分析师根据先前的查询和相应的结果选择可能导致一些有趣见解的后续查询。数据处理系统通常对样本执行查询以产生具有低延迟的结果。不同的下采样策略保留了不同的数据统计量,并具有不同的延迟减少幅度。抽样策略的最佳选择通常取决于分析流程的特定上下文和分析人员的隐藏意图。在本文中,我们首先考虑在交互式数据探索设置中采样的影响,因为它们引入了近似误差。我们提出了一个基于深度强化学习(DRL)的框架,该框架可以优化样本选择,以保持分析和洞察生成流程的完整性。与3个真实数据集的评估表明,我们的技术可以保留原始的洞察力生成流程,同时改善交互延迟,与基线方法相比。
2022-12-12 cs.AI cs.DB cs.LG
Overlook: Differentially Private Exploratory Visualization for Big Data
提供差分隐私的数据探索系统必须管理隐私预算,以衡量跨多个查询丢失的隐私量。管理隐私预算的一个有效策略是计算数据的一次性私有概要,用户可以对其进行无限次的查询。然而,使用概要的现有系统是为离线用例构建的,其中一组查询是提前已知的,并且系统仔细地为其优化概要。这些系统构建的概要计算成本高,并且存储成本也高。我们介绍了Overlook,这是一个系统,可以在交互式平台上为数据分析师和数据管理员提供私人数据探索。Overlook的关键思想是一个虚拟的概要,可以增量评估,而无需额外的空间存储或昂贵的预先计算。Overlook只是使用现有引擎(如SQL DBMS)执行查询,并在结果中添加噪声。由于Overlook的概要不需要昂贵的预先计算或存储,数据管理员还可以使用Overlook交互式地探索隐私参数的影响。Overlook提供了一个基于开源Hillview系统的丰富的可视化查询界面。Overlook实现了与现有基于概要的系统相当的准确性,同时提供了更好的性能并消除了对额外存储的需求。
2020-06-22 cs.CR cs.DB
Object-Centric Analysis of XES Event Logs: Integrating OCED Modeling with SPARQL Queries
本文提出使用以对象为中心的事件本体(OCEDO)结合SPARQL查询,克服XES事件日志在过程挖掘中的局限,在BPIC 2013数据集上使事件与对象关系更明确,从而提高过程数据的完整性与可读性。
2025-11-01 cs.DB cs.IR
TabQueryBench: A Query-Centric Benchmark for Synthetic Tabular Data
University of Hong Kong(香港大学);Tongji University(同济大学);Carnegie Mellon University(卡内基梅隆大学);University of Maryland, College Park(马里兰大学学院公园分校)
提出TabQueryBench以查询为中心的基准测试,用SQL查询评估合成数据保真度,将查询分类为模板并生成可执行SQL查询,实验展示了当前表格生成模型在查询保真度等方面的五种模式。
2026-10-14 cs.AI cs.DB
Zero-Knowledge Verifiable Graph Query Evaluation via Expansion-Centric Operator Decomposition
本文针对图数据库零知识可验证查询中电路规模过大的问题,提出以扩展为中心的操作符分解方法,将复杂图查询拆解为可组合的小规模ZKP电路,并实现ZKGraph系统,在保护数据隐私的同时显著提升运行效率和降低内存消耗。
2025-07-01 cs.DB
An Intelligent Edge-Centric Queries Allocation Scheme based on Ensemble Models
University of Thessaly(色萨利大学);University of Glasgow(格拉斯哥大学)
物联网(IoT)和边缘计算(EC)的结合可以帮助交付新的应用程序,从而促进最终用户的活动。物联网基础设施中存在的许多设备收集的数据可以托管到一组EC节点中,这些节点成为提供分析的处理任务的主题。分析是由最终用户或应用程序定义的各种查询的结果。这样的查询可以在可用EC节点中执行,以限制提供响应的延迟。在本文中,我们提出了一个元集成学习计划,支持决策分配查询到适当的EC节点。我们的学习模型决定了查询和节点的特征。我们提供了一个查询和节点之间的匹配过程的描述后,得出结论的上下文信息为每个设想的特征,在我们的元集成方案。我们依赖于广为人知的集成模型,将它们结合起来,并提供一个额外的处理层来提高性能。其目的是产生一个EC节点的子集,将托管每个传入的查询。除了所提出的模型的描述,我们报告其评估和相应的结果。通过大量的实验和数值分析,我们旨在揭示所提出的方案的优点和缺点。
2020-08-12 cs.DB cs.LG stat.ML
Chatting with Logs: An exploratory study on Finetuning LLMs for LogQL
Emory University(埃默里大学);Composio;MPI SWS(马克斯·普朗克软件系统研究所);San Jose State University(圣何塞州立大学);Cloudflare;Google(谷歌)
针对日志查询语言和格式缺乏标准化导致的开发难题,提出基于自然语言接口的解决方案,构建NL2QL数据集并微调LLMs,使模型生成LogQL查询的性能最高提升75%,并验证了数据和格式迁移的效果。
2024-12-04 cs.AI cs.DB cs.PL
OpenGeoBase: Information Centric Networking meets Spatial Database applications - Extended Version
本文探讨了使用信息中心网络(ICN)实现分布式空间数据库的方法,优势和挑战。我们的研究结果表明,ICN功能完全符合数据库的要求:按名称路由可用于调度查询和插入,网络内缓存可加速查询,以数据为中心的安全性可实现安全的多租户。我们提出了一个基于ICN的分布式空间数据库,命名为OpenGeoBase,并描述其设计选择。得益于ICN,OpenGeoBase可以快速高效地向数据库用户提供信息;轻松地以分布式方式运行,并行部署和使用多个数据库引擎;保护每一条内容;自然地切片资源,以便多个租户和用户可以同时独立地使用数据库。我们还展示了如何OpenGeoBase可以支持一个真实世界的智能交通系统的应用程序,使地理参考公共交通信息的发现。
2016-11-19 cs.DB cs.NI
LASER: A Data-Centric Method for Low-Cost and Efficient SQL Rewriting based on SQL-GRPO
Zhejiang University(浙江大学);ByteDance Inc(字节跳动)
本文提出LASER,一种数据驱动的SQL重写方法,通过构建SQL-MCTS大规模语料库和SQL-GRPO专用对齐策略,提升小模型在SQL优化中的执行效率和零样本迁移能力。
2026-04-08 cs.DB
REX: Recursive, Delta-Based Data-Centric Computation
在当今的Web和社交网络环境中,查询工作负载包括ad hoc和OLAP查询,以及分析数据关系的迭代算法(例如,链接分析、聚类、学习)。现代DBMS支持即席和OLAP查询,但大多数都不够健壮,无法扩展到大型集群。相反,像MapReduce这样的“云”平台以容错的方式跨集群执行批处理任务链,但有太多的开销来支持ad hoc查询。此外,这两类平台在执行迭代数据分析算法时会产生显著的开销。大多数这样的迭代算法重复地改进它们的答案的部分,直到达到某种收敛标准。然而,一般的云平台通常必须在每个步骤中重新处理所有数据。支持递归SQL的数据库管理系统更有效,因为它们只传播每个步骤中的更改--但它们仍然会累积每个迭代的状态,即使它不再有用。用户定义的函数在DBMS中的编写通常也比在云平台中更难。我们寻求统一两种风格的平台的优势,重点是支持迭代计算,其中的变化,在三角洲的形式,从迭代传播到迭代,状态是有效地更新在一个可扩展的方式。我们提出了一个面向三角洲的编程模型,描述了我们如何在REX运行时系统中执行和优化这些程序,并验证了我们的平台也可以优雅地处理故障。我们通过实验验证了我们的技术,并显示了从2.5到近100倍的竞争方法的加速比。
2012-08-01 cs.DB
Recommendation Systems for Exploratory Data Tasks
University of Utah(犹他大学)
本文提出探索性数据任务(EDT)推荐系统的愿景,针对行动空间巨大导致的探索瘫痪问题,沿单/多任务与单/多行动两轴规划研究议程,旨在通过智能推荐降低探索门槛并提升效率。
2026-11-02 cs.DB
Quegel: A General-Purpose Query-Centric Framework for Querying Big Graphs
由Google的Pregel开创,许多分布式系统已被开发用于大规模图形分析。这些系统向用户公开了用户友好的“像顶点一样思考”的编程接口,并表现出良好的水平可扩展性。然而,这些系统被设计用于大多数图顶点参与计算的任务,但不适合处理仅需要访问一小部分顶点的轻工作负载图查询。这些系统所采用的编程范式可能严重地未充分利用集群中用于图查询处理的资源。在这项工作中,我们开发了一个新的开源系统,称为Quegel,用于查询大图,在其计算模型的设计中将查询视为一等公民。用户只需要为通用查询指定Pregel类算法,Quegel使用一种新的超步共享执行模型按需处理轻工作负载的图查询,以有效地利用集群资源。Quegel还提供了一个方便的接口来构建图索引,这显著提高了查询性能,但不支持现有的图并行系统。我们的实验验证了Quegel在回答各种类型的图查询方面非常高效,并且比现有系统快了几个数量级。
2016-01-25 cs.DB cs.DC
Query-Centric Optimization of AI Workflows via Approximate Query Processing and Proxy Models
Georgia Institute of Technology(佐治亚理工学院);Adobe Research(Adobe研究院)
提出将AI工作流视为声明式查询,利用近似查询处理(AQP)和代理模型(PM)过滤减少昂贵模型调用,在TPC-DS和LLM流水线上实现85-90%和60-70%的调用减少。
2026-07-02 cs.DB
Measure-Observe-Remeasure: An Interactive Paradigm for Differentially-Private Exploratory Analysis
提出Measure-Observe-Remeasure交互范式,通过可视化界面支持分析者在差分隐私探索性分析中高效分配隐私预算,用户研究表明参与者能相对成功使用该工作流并最大化效用。
2024-06-04 cs.CR cs.DB cs.HC
A Case for A Collaborative Query Management System
在过去的40年中,数据库管理系统(DBMS)已经发展到提供各种复杂的数据管理功能。与此同时,用于管理对数据的查询的工具仍然相对原始。其中一个原因是查询通常是通过应用程序发出的。因此,它们被调试一次并重复使用。然而,这种互动模式正在发生变化。随着科学家(和其他人)在数据中心存储和共享越来越多的大量数据,他们需要通过发出探索性查询来分析数据的能力。在本文中,我们认为,在这些新的设置,数据管理系统必须提供强大的查询管理功能,从查询浏览自动查询建议。我们首先讨论了一个协同查询管理系统的要求。我们概述了一个早期的系统架构,并讨论了许多与建立这样一个引擎相关的研究挑战。
2009-09-09 cs.DB
Blue Data Intelligence Layer: Streaming Data and Agents for Multi-source Multi-modal Data-Centric Applications
本文提出Blue数据智能层,通过整合异构数据源、多模态信息及上下文数据,解决多源多模态数据导向应用中的复杂查询需求,结合智能体与数据处理实现自然语言到SQL的扩展。
2026-04-16 cs.AI cs.DB
Facetize: An Interactive Tool for Cleaning and Transforming Datasets for Facilitating Exploratory Search
有大量不同格式的数据集,通常存储在文件中,托管在目录中,或通过SPARQL端点访问。在大多数情况下,这些数据集不能被最终用户直接探索,以满足面向回忆的信息需求。为了填补这一空白,在本文中,我们提出了Facetize的设计和实现,这是一种编辑器,允许用户(以交互方式)将静态(即存储在文件中)或动态(即SPARQL查询的结果)的数据集转换为可以由自己或其他用户直接有效探索的数据集。后者(探索)是通过熟悉的分面搜索(和偏好丰富的分面搜索)交互范式实现的。具体来说,在本文中,我们描述的要求,我们介绍了所需的转换集,然后我们详细介绍了功能和实现这些转换的编辑器Facetize的实现。支持的操作涵盖了广泛的任务(选择,可见性,删除,编辑,层次结构,间隔,派生属性的定义等),并且Facetize使用户能够以用户友好和指导的方式执行这些操作,而无需预先假设任何技术背景(关于数据表示或查询语言)。最后,我们提出了与用户的评价结果。据您所知,这是第一个用于此类任务的编辑器。
2018-12-27 cs.DB
Hydro: Adaptive Query Processing of ML Queries
Georgia Institute of Technology(佐治亚理工学院)
本文提出Hydro,一个利用自适应查询处理(AQP)的ML中心DBMS,通过动态监控UDF统计信息、优化谓词评估顺序和资源分配,解决了ML查询中UDF性能瓶颈和数据依赖的计划优化问题,实现高达11.52倍加速。
2024-03-22 cs.DB cs.LG
The Tensor Data Platform: Towards an AI-centric Database System
Microsoft(微软)
数据库引擎在历史上吸收了数据处理中的许多创新,增加了处理图形数据、XML、面向对象和文本等的功能。在本文中,我们提出了这样一个观点,即现在是时候为人工智能做同样的事情了--但要有一个转折!虽然现有的方法试图通过将数据库与外部ML工具集成来实现这一目标,但在本文中,我们声称实现真正以AI为中心的数据库需要将DBMS引擎从其核心从关系抽象转移到张量抽象。这使我们能够:(1)支持多模态数据处理,例如图像、视频、音频、文本以及关系数据;(2)利用HW和运行时中的创新源泉进行张量计算;以及(3)利用自动微分来实现可以学习执行任务的新型“可训练”查询。为了支持上述场景,我们引入了TDP:一个建立在我们之前将关系查询映射到张量的工作基础上的系统。由于与张量运行时更紧密地集成,TDP能够更广泛地覆盖需要访问多模态数据和自动微分的新兴场景。
2022-11-04 cs.DB cs.LG
Adaptive Indexing for Approximate Query Processing in Exploratory Data Analysis
针对探索性数据分析中大数据交互查询的性能不稳定问题,提出基于主存自适应索引VALINOR-A、结合用户驱动采样与误差有界近似的即时分析框架,在无需预处理下平衡响应时间与准确性。
2025-05-26 cs.DB
First-Class Functions for First-Order Database Engines
我们描述查询去功能化,使现成的一阶数据库引擎处理查询的第一类功能。对一级函数的支持的特点是能够将函数视为常规数据项,这些数据项可以在查询运行时构造,传递给其他(高阶)函数或从其他(高阶)函数返回,分配给变量,并存储在持久数据结构中。查询去功能化是一种非侵入性的方法,它将以功能为中心的查询转换为以数据为中心的操作,由常见的查询处理器实现。在XQuery和PL/SQL数据库系统上的实验表明,一阶数据库引擎能够忠实有效地支持表达性的“函数即数据”范式。
2013-08-01 cs.DB cs.PL
A Density-Based Approach to the Retrieval of Top-K Spatial Textual Clusters
具有本地意图的基于关键字的web查询检索与所提供的关键字相关并且表示查询位置附近的兴趣点的web内容。存在两大类此类查询。第一种包括检索单个空间Web对象的查询,每个空间Web对象都满足查询参数。大多数提案属于这一类。第二类,本文的建议属于,包括查询,支持探索性的用户行为和检索的对象集,代表可能是用户感兴趣的空间区域。具体而言,本文提出了一种新的类型的查询,即前k个空间文本聚类(k-STC)查询,返回的前k个聚类,(i)位于最接近给定的查询位置,(ii)包含最相关的对象相对于给定的查询关键字,(iii)有一个对象密度超过给定的阈值。为了计算这个查询,我们提出了一个基本的算法,依赖于在线密度为基础的聚类,并利用提前停止条件。为了提高响应时间,我们设计了一个先进的方法,包括三个技术:(i)对象跳过规则,(ii)空间网格倒排列表,和(iii)快速范围查询算法。对真实数据的实证研究表明,该文件的建议提供了可扩展性,并能够出色的性能。
2016-07-29 cs.DB
A New Scale for Attribute Dependency in Large Database Systems
以数据为中心的大型应用程序具有不同的属性。在现代,绝大多数以数据为中心的大型应用程序都基于关系模型。数据库是表的集合,每个表都由许多属性组成。数据通常通过SQL查询访问。可以针对不同类型的优化来分析正在执行的查询。基于查询集合中不同属性的分析可以指导数据库管理员提高查询执行速度。在这种情况下,一个更好的模型将有助于预测即将到来的查询集的性质。一个有效的预测模型将指导数据库、数据仓库、数据采掘等不同的应用。建议的规模是建立在一些概率分析的基础上使用的属性在不同的查询。因此,该方法的目的是根据当前使用情况预测属性的未来使用情况。
2012-06-27 cs.DB cs.IR
HyEm: Query-Adaptive Hyperbolic Retrieval for Biomedical Ontologies via Euclidean Vector Indexing
Waseda University(早稻田大学)
HyEm通过结合双曲本体嵌入与欧几里得ANN基础设施,解决生物医学本体中层次感知的检索问题,提升实体中心查询和混合意图查询性能,保持索引可扩展性。
2026-01-26 cs.DB cs.IR
Query Significance in Databases via Randomizations
HIIT(赫尔辛基信息技术研究所);Helsinki University of Technology(赫尔辛基理工大学);Yahoo! Research(雅虎研究院)
许多类型的结构化数据通常以相互关联的表的多关系格式存储。在此关系模型下,可以使用关系查询进行探索性数据分析。作为示例,在互联网电影数据库(IMDb)中,可以使用查询来检查动作电影的平均排名是否高于戏剧电影的平均排名。我们考虑的问题,评估这样的查询返回的结果是否是统计上显着的,或者只是一个随机的工件的结构中的数据。我们的方法是基于随机表中出现的查询和重复的随机表上的原始查询。事实证明,在多关系数据中没有唯一的随机化方法。我们提出了几种随机化技术,研究它们的属性,并展示了如何找出哪些查询或假设对我们的数据产生统计上显着的信息。我们给出了真实和生成的数据的结果,并展示了一些查询的意义如何在不同的随机化之间变化。
2009-06-30 cs.AI cs.DB
Automatic Classification of Text Databases through Query Probing
网络上的许多文本数据库都“隐藏”在搜索界面之后,它们的文档只能通过查询来访问。搜索引擎通常会忽略这种仅用于搜索的数据库的内容。最近,类似Yahoo的目录已经开始手动地将这些数据库组织成用户可以浏览以找到这些有价值的资源的类别。我们提出了一种新的策略来自动分类的搜索只文本数据库。我们的技术首先训练一个基于规则的文档分类器,然后使用分类器的规则来生成探测查询。查询被发送到文本数据库,然后根据它们为每个查询产生的匹配数量对文本数据库进行分类。我们报告了一些初步的探索性实验表明,我们的方法是有希望的,以自动特征的文本数据库在网络上访问的内容。
2000-03-09 cs.DB cs.IR
PIMDAL: Mitigating the Memory Bottleneck in Data Analytics using a Real Processing-in-Memory System
本文提出PIMDAL库,在真实UPMEM存内计算系统上实现四大数据库算子,克服硬件限制,在五个TPC-H查询上平均性能达高端CPU的3.9倍,有效缓解数据分析中的内存瓶颈。
2025-04-02 cs.AR cs.DB cs.DC
Queryable Self-Organizing Maps: A Database Abstraction for Topology-Driven Data Exploration
University of Sao Paulo(圣保罗大学);University of Münster(明斯特大学)
研究针对现代数据系统中SOM与关系数据脱节问题,引入可查询数据映射概念,通过MapDB原型实现,使SOM工件可查询,经实验验证其在适度规模下训练可行、查询具交互性且为探索性SQL提供有意义目标。
2026-07-28 cs.DB cs.LG
Exploiting Opportunistic Physical Design in Large-scale Data Analytics
大规模系统,如MapReduce和Hadoop,执行中间作业结果的积极具体化,以支持容错。当作业对应于数据分析师提交的探索性查询时,这些物化会产生大量的物化视图,这些物化视图通常会捕获来自同一分析师的连续查询之间的公共计算,甚至是测试类似假设的不同分析师的查询之间的公共计算。我们建议将这些视图视为机会主义物理设计,并将其用于查询优化的目的。我们开发了一种新的查询重写算法,解决了在这种情况下的两个主要挑战:如何搜索重写的大空间,以及如何推理包含UDF(大规模数据分析中的一个常见功能)的视图。该算法的灵感来自于非度量空间中的最近邻搜索,它可证明地找到了最小成本重写。我们提出了一个广泛的实验研究现实世界的数据集与原型数据分析系统的基础上蜂巢。结果表明,我们的方法可以在复杂的数据分析查询上产生显着的性能改进,平均减少61%的总执行时间,最多减少两个数量级。
2013-12-10 cs.DB cs.DC cs.DS
Towards Automated Cross-domain Exploratory Data Analysis through Large Language Models
East China Normal University \& PingCAP, China;East China Normal University, China
本文提出TiInsight系统,通过HDC和四阶段流程增强LLM的跨领域EDA、文本到SQL及可视化能力,并在Spider与Bird基准上验证其优异性能。
2025-02-14 cs.AI cs.DB
AIDE: An Automated Sample-based Approach for Interactive Data Exploration
在本文中,我们认为,数据库系统应增强自动化的数据探索服务,有条不紊地引导用户通过数据在一个有意义的方式。这种自动化系统对于从许多大数据应用(如科学和医疗保健应用)中发现的复杂数据集中获得见解以及减少数据探索的人工工作至关重要。为此,我们提出了AIDE,一个自动交互式数据探索框架,帮助用户发现新的有趣的数据模式,并消除昂贵的特设探索性查询。AIDE依赖于分类算法和数据管理优化技术的无缝集成,这些技术共同努力,根据用户对策略性收集的样本的相关反馈准确地了解用户的兴趣。我们提出了一些探索技术以及优化,最大限度地减少向用户呈现的样本数量,同时提供交互式性能。AIDE可以为非常常见的合取查询提供高度准确的查询预测,而用户工作量很小,同时,给定合理数量的样本,它可以高精度地预测复杂的析取查询。它提供了交互式性能,因为它将每次探索迭代的用户等待时间限制在几秒钟以内。
2015-10-29 cs.DB cs.IR
Speculative Ad-hoc Querying
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Amazon Web Services(亚马逊网络服务);Microsoft Research(微软研究院)
本文提出 SpeQL 系统,利用 LLM 在用户输入未完成时预测查询结构并预计算小型临时表,实现近乎即时的 SQL 结果显示,将查询延迟提升至 289 倍且开销合理。
2026-11-03 cs.AI cs.DB cs.HC