Querying Graph-Relational Data
本文提出图关系数据库模型以解决关系数据库扁平表示与嵌套对象需求之间的失配问题，并给出其形式语义及在 EdgeQL 和 Gel 系统中的实现，兼顾对象形态操作的灵活性与接近直接编写 PostgreSQL 查询的效率。
2025-07-23 cs.DB cs.PL
Evaluating Accumulo Performance for a Scalable Cyber Data Processing Pipeline
流式大数据应用程序在创建可扩展的数据流管道方面面临挑战，其中必须收集、存储、查询和分析多个数据流。这些数据源的特征在于它们的数量（就数据集大小而言）、速度（就数据率而言）和种类（就字段和类型而言）。对于许多应用，分布式NoSQL数据库是传统关系数据库管理系统的有效替代品。本文考虑了一个网络态势感知系统，使用Apache Accumulo数据库提供可扩展的数据仓库，实时数据摄取，并响应查询人类用户和分析算法。我们评估Accumulo的摄取的可扩展性作为客户端进程和服务器的数量的函数。我们还描述了一个灵活的数据模型与有效的技术查询规划和查询优化，以提供响应结果。查询性能根据客户端接收初始结果集的延迟进行评估。Accumulo的性能是使用真实的网络数据在多达8个节点的数据库上测量的。
2014-07-21 cs.DB
Storing and Querying Evolving Graphs in NoSQL Storage Models
本文提出一种基于MongoDB的增强顶点中心存储模型，通过数据库内查询机制优化空间效率，显著提升演化图全局查询性能，并支持快照与区间表示，为动态图数据管理提供可扩展框架。
2025-04-24 cs.DB
Rumble: Data Independence for Large Messy Data Sets
本文介绍了Rumble，这是一个查询执行引擎，用于构建在Apache Spark之上的大型，异构和嵌套的JSON对象集合。虽然这种类型的数据集越来越广泛，但大多数现有工具都是围绕表格式数据模型构建的，从而导致引擎和查询接口的阻抗不匹配。相比之下，Rumble使用JSONiq，这是一种专门为查询JSON文档而设计的标准化语言。Rumble设计和实现的关键挑战是将JSON文档和JSONiq查询的递归结构映射到基于表格数据帧的Spark执行原语上。我们的解决方案是将JSONiq表达式转换为迭代器树，迭代器树根据嵌套级别在本地和分布式执行模式之间动态切换。通过克服引擎中的阻抗不匹配，Rumble使用户不必为每个查询解决相同的问题，从而大大提高了他们的生产力。正如我们在大量实验中所展示的那样，Rumble能够扩展到TB范围内的大型复杂数据集，其性能与其他引擎相似或更好。结果还表明，Codd的数据独立性概念对于异构的嵌套数据集和高度结构化的表一样有意义。
2020-10-19 cs.DB
SMCQL: Secure Querying for Federated Databases
人类和机器正在以前所未有的速度收集数据。尽管新发现了大量的数据，但在开放科学、商业和其他数据密集型工作中共享数据的进展缓慢。许多这样的努力受到隐私问题和法规遵从性问题的阻碍。例如，许多医院都有兴趣将他们的医疗记录集中起来进行研究，但没有一家医院可以向研究人员或其他医疗服务提供者披露任意的患者记录。在这种情况下，我们提出了专用数据网（PDN），一个联邦数据库查询的集体数据的相互不信任的各方。在PDN中，每个成员数据库不向其对等体或查询编写器揭示其元组。相反，用户将查询提交给诚实的代理，该代理使用安全多方计算（SMC）在多个私有数据库上计划和协调其执行。在这里，每个数据库的查询执行是不经意的，并且它的程序计数器和内存跟踪对于其他数据库的输入是不可知的。我们介绍了一个名为SMCQL的PDN查询执行框架。该系统将SQL语句转换为SMC原语，在其源数据库的联合上计算查询结果，而不会向对等数据提供者或诚实代理泄露关于单个元组的敏感信息。只有诚实的代理和查询者接收PDN查询的结果。为了快速，安全的查询评估，我们探索了一个算法驱动的优化器，最大限度地减少PDN的使用安全计算和分区的查询评估到可扩展的切片。
2017-03-06 cs.CR cs.DB
Scalable and Efficient Self-Join Processing technique in RDF data
RDF数据的有效管理在成功理解和快速查询数据方面起着重要作用。虽然目前的RDF三元组索引方法，如属性表和垂直分区解决了许多问题，但它们仍然受到复杂的自连接查询和插入数据在同一个表中的性能。作为本文的改进，我们提出了一种替代解决方案，以促进灵活性和效率，在该查询，并试图达到最佳的解决方案，以减少自连接尽可能多的，这种解决方案的思想基础上的“递归映射的孪生表”。双表递归映射（RecursiveMappingofTwinTables，RTMT）方法的主要目标是将主RDF Triple划分为两个具有相同结构的表，并递归插入RDF数据。我们的实验结果比较了连接查询的性能在垂直分区的方法和RTMT方法使用非常大的RDF数据，如DBLP和DBpedia数据集。实验结果表明，与RDF-3X方法相比，该方法具有很高的可扩展性，并且在复杂查询中，RTMT比RDF-3X方法减少了3-4倍的自连接次数
2014-09-16 cs.DB
FineWeb-zhtw: Scalable Curation of Traditional Chinese Text Data from the Web
MediaTek Research（联发科技研究院）；National Taiwan University（国立台湾大学）
本文提出FineWeb-zhtw数据集，通过多阶段过滤器专门筛选高质量繁体中文网络文本，以弥补繁体中文预训练数据不足，并公开代码与数据。
2024-11-25 cs.CL cs.DB
Benchmarking Apache Arrow Flight -- A wire-speed protocol for data transfer, querying and microservices
在不同的大数据框架和/或数据仓库/存储系统之间移动结构化数据通常会导致显著的开销。大多数情况下，访问数据所花费的总时间的80%以上都是在序列化/反序列化步骤中花费的。列式数据格式在分析数据库和事务数据库中越来越流行。Apache Arrow是一种统一的列式内存数据格式，它承诺提供高效的数据存储、访问、操作和传输。此外，通过引入构建在gRPC之上的Arrow Flight通信功能，Arrow可以通过TCP网络实现高性能数据传输。Arrow Flight允许以平台和语言独立的方式通过网络进行并行Arrow RecordBatch传输，并基于开源标准提供高性能，并行性和安全性。在本文中，我们汇集了一些最近实现的Arrow Flight用例及其基准测试结果。这些用例包括批量Arrow数据传输，查询子系统和Flight作为微服务集成到不同的框架中，以显示该协议的吞吐量和可扩展性结果。我们表明，飞行是能够实现高达6000 MB/s和4800 MB/s的吞吐量分别为DoGet（）和DoPut（）操作。在Mellanox ConnectX-3或Connect-IB互连节点上，Flight可以利用高达95%的总可用带宽。Flight是可扩展的，可以有效地使用多达一半的可用系统核心进行双向通信。对于像Dremio这样的查询系统，Flight比ODBC和turbodbc协议快一个数量级。与turbodb…
2022-04-08 cs.DB cs.DC cs.NI
Partitioning, Indexing and Querying Spatial Data on Cloud
移动设备的数量（例如，智能手机、可穿戴技术）正在迅速增长。随着这一趋势的发展，大量的空间数据正在被收集，因为这些设备允许用户对用户生成的内容进行地理标记。显然，需要一个可扩展的计算基础设施来管理如此大的数据集。同时，云计算服务提供商（例如，Amazon、Google和Microsoft）允许用户租用计算资源。然而，大多数现有的空间索引技术是专为集中式的范例，这是有限的能力，一个单一的服务器。为了解决现有方法的可扩展性的缺点，我们提供了一个研究，重点是生成一个分布式的空间索引结构，不仅扩展到多个服务器，但也扩展了，因为它充分利用了多核CPU上的每个服务器使用沃罗诺伊图的分区和索引技术，我们也用来有效地处理空间查询。更具体地说，由于数据对象不断移动并向索引结构发出位置更新，因此我们收集对象的最新位置并定期生成只读索引以消除昂贵的分布式更新。我们的方法在索引构建和查询处理方面几乎是线性的，并且可以在几秒钟内为数百万个对象高效地构建索引。除了可扩展性和效率之外，我们还旨在最大限度地提高服务器利用率，从而可以用更少的服务器来支持相同的工作负载。服务器利用率是使用云计算的关键点，因为用户是根据他们保留每个服务器的总时间来收费的，而不考虑利用率。
2016-12-18 cs.DB cs.DC
Scalable Time-Range k-Core Query on Temporal Graphs(Full Version)
具有各种时间约束的时态图上的凝聚子图的查询是近年来的研究热点。在本文中，我们研究了一个新的时间k-核心查询（TCQ）问题：给定一个时间间隔，找到所有不同的k-核心，存在于任何子区间从时间图，这推广了以前的历史k-核心查询。这个问题是具有挑战性的，因为子区间的数量增加平方的时间间隔的跨度。为此，我们提出了一种新的时间核心分解（TCD）算法，递减诱导时间k-核心从以前诱导的，从而减少了“内核内”的冗余计算显着。然后，我们引入了一个直观的概念命名为时间间隔（TTI）的时间k-核心，并设计了一个优化技术与理论保证，利用TTI作为关键，以预测哪些子区间将导致重复的k-核心和修剪子区间完全提前，从而消除“核间”冗余计算。OTCD算法的复杂度不再依赖于查询时间间隔的跨度，而只依赖于最终结果的规模，这意味着OTCD算法具有可扩展性。此外，我们提出了一个紧凑的内存中的数据结构命名为时间边缘列表（TEL）实现OTCD算法有效地在物理层与有限的内存需求。TEL在“时间轴”中组织时间边，并且当新边到达时可以立即更新，因此我们的方法也可以处理动态时间图。我们比较了OTCD算法与增量历史k-core查询在几个真实世界的时态图，并观察到OTCD算法优于它的三个数量级，即使OTCD算法不需要预先计算的索引。
2023-03-18 cs.DB
Coconut: sortable summarizations for scalable indexes over static and streaming data series
许多现代应用程序产生需要分析的大量数据序列流，需要高效的相似性搜索操作。然而，用于此目的的最先进的数据系列索引在性能或存储成本方面不能很好地扩展大规模数据集。我们指出的问题，用于索引的数据系列的现有摘要不能排序，同时保持类似的数据系列接近彼此的排序顺序的事实。为了解决这个问题，我们提出了椰子，第一个数据系列索引的基础上可排序的摘要和第一个有效的解决方案，索引和查询流系列。Coconut的第一个创新是一个反向的、可排序的数据序列汇总，它基于z顺序曲线组织数据序列，使相似的序列在排序顺序中彼此接近。因此，椰子是能够使用批量加载和更新技术，依靠排序快速建立和维护一个连续的索引使用大型顺序磁盘I/O。然后，我们探索基于前缀和基于中位数的拆分策略自底向上批量加载，显示基于中位数的拆分优于最先进的，确保所有节点都密集填充。最后，我们探讨了可变大小的窗口查询的排序摘要的影响，表明它们可以通过有效的合并时间分区的更新的存在下支持。总的来说，我们通过分析和经验表明，Coconut在构建速度、查询速度和存储成本方面主导了最先进的数据系列索引。
2021-04-16 cs.DB
Cascading map-side joins over HBase for scalable join processing
使用MapReduce进行大规模数据处理的主要挑战之一是连接的智能计算。由于语义Web数据集发布的RDF在过去几年中迅速增加，可扩展的连接技术成为SPARQL查询处理的一个重要问题。在本文中，我们介绍了Map-Side Index Nested Loop Join（MAPSIN join），它结合了NoSQL存储系统（如HBase）的可扩展索引功能，这些系统具有不足的分布式处理层，MapReduce又不能为有效的大规模连接处理提供适当的存储结构。在保留常用reduce端连接的灵活性的同时，我们利用了map端连接的有效性，而无需对底层框架进行任何更改。我们证明了显着的好处MAPSIN加入处理SPARQL基本图形模式的大型RDF数据集的评估与LUBM和SP2Bench基准。对于大多数查询，基于MAPSIN连接的查询执行比基于reduce端连接的查询执行性能高一个数量级。
2012-06-27 cs.DB cs.DC
A Unified System for Data Analytics and In Situ Query Processing
在当今世界，数据正在以高速率生成，因此分析并快速从这些数据中获得结果已成为不可避免的。大多数关系数据库主要支持SQL查询，对复杂数据分析的支持有限。因此，数据科学家别无选择，只能使用不同的系统进行复杂的数据分析。因此，数据科学框架需求巨大。但是要使用这样的框架，所有的数据都需要加载到其中，这需要在多个系统之间进行大量的数据移动，这可能是昂贵的。我们相信，它已成为一个小时的需要拿出一个单一的系统，可以执行数据分析任务和SQL查询。这将使数据科学家免于跨系统进行昂贵的数据传输操作。在我们的工作中，我们提出了DaskDB，一个构建在Python的Dask框架上的系统，这是一个可扩展的数据科学系统，支持异构数据源上的数据分析和原位SQL查询处理。DaskDB支持通过SQL查询调用任何Python API作为用户定义函数（UDF）。因此，它可以轻松地与大多数现有的Python数据科学应用程序集成，而无需修改现有代码。由于连接两个关系是一个非常重要但昂贵的操作，所以还引入了一种新的分布式学习索引来提高连接性能。我们的实验评估表明，DaskDB显着优于现有系统。
2021-04-07 cs.DB
OLA-RAW: Scalable Exploration over Raw Data
在许多领域中，原位处理已经被提出作为一种新颖的数据探索解决方案，其生成大量原始数据，例如，天文学，因为它提供了对原始文件的即时SQL查询。然而，跨查询工作负载的原位处理的性能受到整个数据的完全扫描、标记化和解析的速度的限制。在线聚合（OLA）已被引入作为一种有效的数据探索方法，通过在实际处理过程中不断估计计算结果来更快地识别不感兴趣的模式-计算可以在估计足够准确而被认为不感兴趣时尽早停止。然而，现有的OLA解决方案具有随机混洗和/或采样数据的高前期成本。在本文中，我们提出了OLA-RAW，一个双水平抽样计划的并行在线聚集的原始数据。OLA-RAW中的采样是查询驱动的，并且在运行时查询执行期间仅在原位执行，而不进行数据重组。这是实现了一种新的资源感知的双层采样算法，同时处理随机块中的数据，并自适应地确定块内的采样元组的数量。为了避免从原始数据重复转换的成本，OLA-RAW增量地构建和维护内存驻留的双层示例概要。我们在现代原位数据处理系统中实现了OLA-RAW，并在几种真实和合成数据集和文件格式上评估了其性能。我们的研究结果表明，OLA-RAW选择的抽样计划，最大限度地减少执行时间，并保证在给定的工作负载中的每个查询所需的准确性。最终的结果是一个集中的数据探索过程，避免了不必要的工作，并丢弃了不感兴趣的数据。
2017-02-01 cs.DB
DumpyOS: A Data-Adaptive Multi-ary Index for Scalable Data Series Similarity Search
针对现有数据序列索引构建慢、准确率低的问题，提出自适应多叉索引Dumpy及其变体，并行化得到DumpyOS并优化近似搜索算法，兼顾构建效率与搜索精度。
2024-12-12 cs.DB
Task-Aware Reduction for Scalable LLM-Database Systems
Department of Computer Science Trent University Peterborough, Canada（计算机科学系特伦特大学彼得伯勒，加拿大）；Faculty of Information University of Toronto Toronto, Canada（信息学院多伦多大学多伦多，加拿大）
本文提出将LLM的令牌预算视为注意力预算，主张任务感知的输入文本缩减作为语言-数据系统的首要设计原则，以解决数据密集型工作流中数据冗长和噪声问题，实现可扩展、准确且可持续的LLM-数据集成。
2025-10-13 cs.CL cs.DB cs.SE
A Query Language for Summarizing and Analyzing Business Process Data
Macquarie University（麦考瑞大学）；University of New South Wales（新南威尔士大学）；EY AI Lab（安永人工智能实验室）
在现代企业中，业务流程（BPs）是通过工作流、IT系统、Web服务和人员直接协作的组合来实现的。因此，处理数据（即，BP执行数据（如包含事件、交互消息和其他流程工件的日志）分散在多个系统和数据源中，并且越来越多地显示出大数据的所有典型属性。理解流程数据的执行具有挑战性，因为关键的业务洞察仍然隐藏在流程实体之间的交互中：大多数对象都是相互连接的，形成复杂的，异构的，但通常是半结构化的网络。在业务流程的背景下，我们认为大数据问题是由个人数据、共享数据和业务数据组成的大量相互关联的数据岛。我们提出了一个框架来建模过程数据的图形，即，流程图，并提出抽象来总结流程图，并发现概念层次结构的实体的基础上的数据对象和它们的相互作用的流程图。我们提出了一种语言，即BP-SPARQL，从不同的用户角度的过程图的探索性查询和理解。我们已经实现了一个可扩展的架构，查询，探索和分析的过程图。我们报告在合成和真实世界的数据集上进行的实验，显示了该方法的可行性和效率。
2021-05-23 cs.DB cs.LG
A Unified Ontology for Scalable Knowledge Graph-Driven Operational Data Analytics in High-Performance Computing Systems
本文提出首个面向HPC运维数据分析的统一本体，建模两大公开数据集，通过36个胜任力问题验证，并优化知识图谱存储开销最高达38.84%，支持跨系统分析。
2025-07-10 cs.DB cs.DC
Scalable, reproducible, and cost-effective processing of large-scale medical imaging datasets
针对大规模医学影像数据处理成本高、速度慢和团队管理难的问题，提出一种符合BIDS标准的低成本高效处理流程，利用异构计算资源实现可复现处理，其性价比相比云端高出近20倍且数据传输更快。
2024-08-26 cs.DB cs.DC
