Nova-LSM: A Distributed, Component-based LSM-tree Key-value Store
云基础设施促使将单体数据存储分解为基于应用程序的工作负载组装在一起的组件。本研究探讨了分解的LSM树键值存储到使用RDMA通信的组件。这些组件将存储与处理分离，使处理组件能够共享存储带宽和空间。处理组件将文件块（SSTable）分散到任意数量的存储组件中，并使用d的幂来平衡它们之间的负载。它们在运行时动态构造范围，以并行压缩并提高性能。每个组件都有控制其可伸缩性的配置旋钮。由此产生的基于组件的系统，Nova-LSM，是弹性的。它比它的单体同行，无论是LevelDB和RocksDB，几个数量级的工作负载，表现出一个倾斜的数据访问模式。
2021-05-01 cs.DB
PHD-Store: An Adaptive SPARQL Engine with Dynamic Partitioning for Distributed RDF Repositories
许多存储库使用通用的RDF模型来发布数据。存储库通常是分布式的并且在地理上是远程的，但是数据是互连的（例如，语义网），并通过SPARQL等语言进行全局查询。由于网络成本和查询的性质，执行时间可能非常高。当前的解决方案试图通过在预处理阶段重新分布所有数据来最小化网络成本，但是存在两个缺点：（i）重新分布是基于可能不会使许多未来查询受益的统计学的;以及（ii）即使对于中等大小的数据集，预处理阶段也非常昂贵。在本文中，我们提出了PHD-Store，一个SPARQL引擎的分布式RDF存储库。我们的系统不假设任何特定的初始数据放置，也不需要验证;因此，它最大限度地减少了启动成本。最初，PHD-Store使用可能较慢的分布式半连接算法来回答查询，但通过增量地重新分配频繁访问的数据来动态地适应查询负载。重分发的方式是，未来的查询可以受益于快速的基于散列的并行执行。我们对合成数据和真实数据的实验验证了PHD-Store可以扩展到非常大的数据集;许多存储库;收敛到与现有方法相当或更好的分区质量;并且执行大型查询负载的速度比我们的竞争对手快1到2个数量级。
2014-05-20 cs.DB
Federating and querying heterogeneous and distributed Web APIs and triple stores
当今的国际公司，如作物保护行业的领先公司巴斯夫，生产和消费越来越多的数据，这些数据通常是分散的，可以通过Web API访问。此外，巴斯夫感兴趣的部分专有和公共数据存储在三重存储中，并可通过SPARQL查询语言访问。在不修改或复制原始数据源的情况下，同质化数据访问模式和数据的底层语义成为实现数据集成和互操作性的重要要求。在这项工作中，我们提出了一个联邦数据集成架构内的工业设置，依赖于基于本体的数据访问方法。我们在查询响应时间方面的性能评估表明，大多数查询可以在1秒内得到回答。
2022-06-03 cs.DB
K2: On Optimizing Distributed Transactions in a Multi-region Data Store with TrueTime Clocks (Extended Version)
本文提出多区域数据存储K2，通过增强TrueTime时钟语义，在时间戳生成、并发控制和可见性控制三方面优化分布式事务，相比Spanner等协议实现了更高吞吐量和更低可见性延迟。
2025-04-02 cs.DB
Palpatine: Mining Frequent Sequences for Data Prefetching in NoSQL Distributed Key-Value Stores
本文介绍了PALPATINE，第一个在内存中的应用程序级缓存的分布式键值（DKV）数据存储，能够预取数据，可能会在不久的将来访问。为了预测数据访问，PALPATINE通过数据采掘技术连续捕获对后台存储的频繁访问模式。通过这些模式，PALPATINE构建了访问项的随机图，并基于此做出预取决策。实验结果表明，PALPATINE可以将特定DKV存储的延迟提高一个数量级以上。
2020-04-22 cs.DB cs.DC
Access Control for Information-Theoretically Secure Key-Document Stores
本文提出一种基于Shamir秘密共享的信息论安全访问控制技术，用于安全外包键值存储，支持防泄露的关键词检索，并能有效检测恶意客户端与服务器，在50万文件5千关键词上耗时231.5ms。
2025-07-14 cs.CR cs.DB cs.DC
Metadata Management for Textual Documents in Data Lakes
数据湖已经成为数据仓库的替代品，用于存储，探索和分析大数据。在数据湖中，数据以原始状态存储，没有显式模式。因此，一个有效的元数据系统是必不可少的，以避免数据湖变成所谓的数据沼泽。现有的数据湖元数据管理工作主要集中在结构化和半结构化数据上，对非结构化数据的研究较少。因此，我们在本文中提出了一种方法论的方法来建立和管理一个元数据系统，是特定的文本文件的数据湖。首先，我们列出一个要提取的常用和有意义的元数据清单。然后，我们应用一些特定的技术，从文本挖掘和信息检索领域的提取，存储和重用这些元数据的COREL研究项目，以验证我们的建议。
2019-05-10 cs.DB
A Comparative Analysis of XML Documents, XML Enabled Databases and Native XML Databases
随着XML数据的日益普及以及对能够以有效的方式存储、检索和操纵基于XML的数据的数据库管理系统的极大需求，数据库研究团体和软件行业已经尝试响应这种需求。支持XML的数据库和原生XML数据库是解决这一挑战的两种方法。这两种方法是一个遗留的数据库系统，扩展到存储，检索和操作基于XML的数据。本文的主要目的是探讨和比较这两种方法，并得出一些标准，有一个合适的指导方针，以选择最好的方法，在每一种情况下。一般来说，原生XML数据库系统比支持XML的数据库系统具有更强的管理基于XML数据的能力
2017-07-26 cs.DB
Ontology Based Data Integration Over Document and Column Family Oriented NOSQL
万维网基础设施及其20多亿用户能够以前所未有的速度存储信息。这主要是由于存储在某些Web应用程序上执行的几乎所有最终用户交互的意愿。为了应对可伸缩性和可用性的限制，许多参与这一过程的Web公司最近开始设计自己的数据管理系统。其中许多被称为NOSQL数据库，代表“不仅仅是SQL”。随着它们的广泛采用，出现了新的需求，数据集成就是其中之一。在本文中，我们认为，存储在一组NOSQL源的信息的基于本体的表示是非常必要的。这种方法的主要动机是能够推理本体的元素，并以高效和分布式的方式检索信息。我们的贡献是：（1）我们分析了一组无模式的NOSQL数据库生成本地本体，（2）我们生成一个全局本体的基础上发现的本地本体之间的对应关系，最后（3）我们提出了一个查询翻译解决方案，从SPARQL到查询语言的来源。我们目前正在两个流行的NOSQL数据库上实现我们的数据集成解决方案：MongoDB作为文档数据库，Cassandra作为列族存储。
2013-07-09 cs.DB
Creating a Relational Distributed Object Store
就其本身而言，数据存储具有明显的商业实用性。但是，当我们可以将数据转换为信息时，存储数据的效用会急剧增加。数据量之上的关系层是这种转换的引擎。零星摄取的离散对象之间的坦率关系是罕见的，这使得合成这种关系的过程更具挑战性，但是如果我们想要看到非结构化数据与结构化数据具有同等的商业价值，就必须迎接挑战。本文描述了一种新的结构，称为关系分布式对象存储（RDOS），旨在解决如何持久和可靠地存储PB级的非结构化数据，同时创建和持久化数十亿对象之间的关系的双重问题。
2013-06-24 cs.DB cs.DC
Cell Stores
单元存储为业务用户提供了一个类似关系的表格抽象级别，同时利用了最近的数据库技术，如键值存储和文档存储。这允许向上和向外扩展高维度数据的有效存储和检索。细胞是主要的公民，并以不同的形式存在，这可以用物质状态的类比来解释：作为有效存储的气体，作为有效检索的固体，以及作为与业务用户有效交互的液体。单元存储是从XBRL标准中抽象出来的，并且与用于导入和导出数据的XBRL标准兼容。第一个单元存储库包含大约200 GB的SEC文件数据，并证明可以实时的执行检索数据立方体（人类用户可接受的阈值最多为几秒）。
2014-10-07 cs.DB
TurboKV: Scaling Up The Performance of Distributed Key-Value Stores With In-Switch Coordination
软件定义网络的强大功能和灵活性催生了可编程网络基础设施，在这种网络基础设施中，网内计算可以帮助提高应用程序的性能。这可以通过将一些计算任务卸载到网络来实现。但是，应该将什么样的计算任务委托给网络来加速应用程序的性能？在本文中，我们提出了一种方法来利用可编程开关的使用来扩展分布式键值存储的性能。此外，作为概念验证，我们提出了TurboKV，一个高效的分布式键值存储架构，利用可编程开关：1）分区管理节点存储键值存储分区和副本信息; 2）监测站来测量存储节点的负载，这些监测信息被用来平衡存储节点之间的负载。我们还提出了一个基于密钥的路由协议，根据所请求的密钥将客户端的搜索查询路由到目标存储节点。我们的初步原型的实验结果表明，我们提出的架构提高了吞吐量，减少了延迟的分布式键值存储相比，现有的架构。
2020-10-26 cs.DB cs.DC cs.NI
Datalog Materialisation in Distributed RDF Stores with Dynamic Data Exchange
几个集中式RDF系统支持数据库推理的预计算和存储所有逻辑上隐含的三元组使用著名的并行算法。大型RDF数据集通常超过集中式RDF系统的容量，常见的解决方案是将数据集分布在无共享服务器的集群中。虽然许多分布式查询应答技术是已知的，但对任意数据库规则的分布式主动评估却不太了解。事实上，大多数分布式RDF存储要么不支持推理，要么只能处理有限的数据库片段。在本文中，我们将Potter等人[12]的分布式查询应答的动态数据交换方法扩展到一个推理算法，该算法可以处理任意规则，同时保留重要的属性，例如推理的不重复性。我们还表明，经验表明，我们的算法规模以及非常大的RDF数据集
2019-06-24 cs.DB cs.DC cs.LO
GeoLayer: Towards Low-Latency and Cost-Efficient Geo-Distributed Graph Stores with Layered Graph
Northeastern University（东北大学）
本文提出 GeoLayer 地理分布式图存储框架，通过延迟感知分层图、重叠中心副本放置、有向热扩散模型和逐步分层路由，联合优化副本放置与请求路由，显著提升在线与离线图处理性能。
2025-10-21 cs.DB
Nezha: A Key-Value Separated Distributed Store with Optimized Raft Integration
School of Artificial Intelligence, Nanchang University（南昌大学人工智能学院）；School of Mathematics and Computer Sciences, Nanchang University（南昌大学数学与计算机科学学院）
Nezha通过键值分离与优化Raft集成，提升分布式存储在强一致性下的吞吐量性能
2026-03-10 cs.DB cs.DC
HTAP Databases: A Survey
本文全面综述了HTAP数据库，按四种存储架构对最先进的系统进行分类，回顾了混合工作负载处理等关键技术，并探讨了现有基准测试及未来的研究挑战与机遇。
2024-04-24 cs.DB
A Survey of RDF Stores & SPARQL Engines for Querying Knowledge Graphs
RDF在最近几年中得到了越来越多的采用，促进了RDF的SPARQL查询语言的标准化，以及用于处理SPARQL查询的本地和分布式引擎的开发。这篇调查论文对查询RDF知识图谱的技术和系统进行了全面的回顾。虽然其他评论这个主题往往集中在分布式设置，工作的主要重点是提供一个全面的调查国家的最先进的存储，索引和查询处理技术，有效地评估SPARQL查询在本地设置（在一台机器上）。为了保持调查的独立性，我们还提供了一个简短的讨论，在分布式设置中使用的图分区技术。最后，我们讨论当代研究的挑战，进一步提高SPARQL查询引擎。这个扩展版本还提供了超过100个SPARQL查询引擎及其使用的技术的调查，以及12个基准测试及其功能。
2021-10-13 cs.DB
Approximate Nearest Neighbor Search of Large Scale Vectors on Distributed Storage
ECNU（华东师范大学）；Ant Group（蚂蚁集团）；Tongji University（同济大学）；HKUST (GZ)（香港科技大学（广州））；HKUST（香港科技大学）；SJTU（上海交通大学）
针对单机 ANNS 索引成本高、规模受限和单点故障问题，本文提出 DSANN 图—簇混合系统，在分布式存储上支持十亿规模向量的高可用索引与搜索。
2025-10-20 cs.DB
TextBenDS: a generic Textual data Benchmark for Distributed Systems
使用加权方案提取top-k关键字和文档是文本挖掘和机器学习中用于不同分析和检索任务的流行技术。权重通常在数据预处理步骤中计算，因为更新和跟踪对数据集执行的所有修改的成本很高。此外，当仅分析数据集的子集时，会引入计算误差。因此，在大数据背景下，降低计算加权方案的运行时间，而不妨碍分析过程和机器学习算法的准确性至关重要。为了解决top-k关键字和文档的任务的这一需求，通常设计基准来比较分布式框架和数据库管理系统的各种配置内的加权方案。因此，我们提出了一个通用的面向文档的基准存储文本数据和构建加权方案（TextBendDS）。我们的基准测试提供了一个通用的数据模型，该模型采用多维方法来存储文本文档。我们还建议使用聚合查询与各种复杂性和选择性的建设长期加权方案，用于提取前k个关键字和文件。我们评估了Apache Hadoop生态系统中几个分布式环境下的查询的计算性能。我们的实验结果提供了有趣的见解。例如，MongoDB被证明具有最佳的整体性能，而Spark的执行时间几乎保持不变，无论权重方案如何。
2021-08-12 cs.DB
The Forgotten Document-Oriented Database Management Systems: An Overview and Benchmark of Native XML DODBMSes in Comparison with JSON DODBMSes
在当前的大数据背景下，已经提出并实现了许多新的NoSQL解决方案，用于存储，管理和从半结构化数据中提取信息和模式。这些解决方案通过引入半结构化和灵活的模式设计来缓解关系数据库中存在的刚性数据结构的问题。由于当前由不同来源和设备生成的数据，特别是来自物联网传感器和执行器的数据，根据应用程序的不同，使用XML或JSON格式，因此需要以XML格式存储和查询半结构化数据的数据库技术。因此，原生XML数据库最初被设计为使用标准化的查询语言来操作XML数据，即，XQuery和MySQL被重新命名为NoSQL面向文档的数据库系统。目前，这些解决方案中的大多数已经被更现代的基于JSON的数据库管理系统所取代。但是，我们相信基于XML的解决方案仍然可以在异构集合上执行复杂查询时提供性能。不幸的是，现在的研究缺乏对以XML存储和查询文档的数据库技术与更现代的JSON格式的可伸缩性和性能的明确比较。此外，据我们所知，这些数据库技术没有符合大数据的基准。在本文中，我们提出了一个比较选定的面向文档的数据库系统，要么使用XML格式编码的文件，即，BaseX、eXist-db和Sedna，或者JSON格式，即，MongoDB、CouchDB和Couchbase。为了强调性能差异，我们还提出了一个基准测试，使用一个大型DBLP语料库上的异构复杂模式。
2021-02-03 cs.DB
Distributed XML Design
分布式XML文档是跨多台计算机的XML文档。我们假设给出了文档树的分布设计，由XML内核文档T[f1，...，fn]，其中一些叶子是用于提供XML子树（f1，...，fn，站立，例如，用于远程位置处的Web服务或对等体）。自顶向下的设计问题在于，给定分布式文档的一个类型（一个模式文档，可能从DTD到树自动机），在本地将这个类型“传播”到一个类型集合中，我们称之为类型化，同时保留所需的属性。我们还考虑自底向上的设计，其中包括，给定一个类型的每个外部资源，展示一个全局类型，由本地类型强制执行，再次与自然的理想属性。在本文中，我们将介绍分布式XML设计理论的基本原理，分析在这种情况下与类型问题有关的问题，并研究它们的复杂性。
2010-12-13 cs.CC cs.DB cs.DC
Document Selection in a Distributed Search Engine Architecture
分布式搜索引擎体系结构（DSEA）托管许多独立的特定主题的搜索引擎，并选择数据库的子集在体系结构内进行搜索。这种方法的目的是通过仅查询可用总数据的子集来减少执行搜索所需的空间量。为了跨多个数据库操作数据，最有效的方法是识别一个较小的数据库子集，这些数据库最有可能返回特定感兴趣的数据，然后可以更详细地检查这些数据。选择索引最常用作选择最适用的数据库的方法，因为它捕获关于每个数据库及其索引文件的广泛信息。使用这种类型的数据库可以让研究人员更快地找到信息，不仅成本更低，而且还可以最大限度地减少偏见的可能性。本文研究了在分布式搜索引擎体系结构的框架和范围内选择的不同数据库的有效性。研究的目的是提高分布式信息检索的质量。
2016-03-31 cs.DB cs.IR
Keyspace: A Consistently Replicated, Highly-Available Key-Value Store
本文描述了一个分布式键值存储系统Keyspace的设计和结构，它具有强一致性、容错性和高可用性。源代码在Linux、Windows和类BSD平台的开源AGPL许可下可用。截至2012年，Keyspace不再进行积极的开发。
2012-09-18 cs.DB cs.DC
Design and Evaluation of Mechanisms for a Multicomputer Object Store
传统上，多计算机被视为强大的计算引擎。正是从这个角度出发，它们被应用于各种问题，以实现显着的性能增益。在许多应用中，这种计算密集型方法只是部分解决方案。CAD、虚拟现实、仿真、文档管理和分析都需要及时访问大量数据。本论文探讨使用物件储存范例来利用多电脑上的大型分散式记忆体。介绍了在富士通AP 1000上实现分布式对象服务器的设计、实现和评价。分布式对象服务器的示例应用程序下的性能，主要是物理模拟问题，用于评估客户端空间恢复，对象迁移和一致性维护的问题的解决方案。分布式对象服务器遵循客户机-服务器模型，允许对象复制，并使用二进制信号量作为并发控制措施。这些应用程序下的服务器的仪表支持几个结论：客户端空间恢复应动态控制的应用程序，预测性预取对象副本在受限的情况下产生的好处，对象迁移的存储单元（段）通常不适合有许多对象每个存储单元，二进制信号量是一个昂贵的并发控制措施在这种环境中。
2000-04-18 cs.DB cs.DC
CAPre: Code-Analysis based Prefetching for Persistent Object Stores
数据预取旨在通过预测可能被后续请求访问的数据记录并在需要它们之前将它们检索到内存缓存中来改善对数据存储系统的访问时间。在持久性对象存储的情况下，先前的预取方法是基于通过分析存储的模式而做出的预测，这生成严格的预测，或者在执行应用时监视对存储的访问模式，这引入了存储器和/或计算开销。在本文中，我们提出了CAPre，一个新的预取系统的持久对象存储的静态代码分析的面向对象的应用程序的基础上。CAPre在编译时生成预测，不会给应用程序执行带来任何开销。此外，CAPre能够预测在不久的将来将被访问的大量对象，从而使对象存储能够在对象是分布式的情况下以比基于模式的预测算法更积极的方式执行并行预取。我们将CAPre集成到一个分布式的持久对象存储中，并进行了一系列的实验，结果表明，它可以减少应用程序的执行时间从9%到50%以上，这取决于应用程序的性质及其持久数据模型。
2020-05-25 cs.DB cs.DC
A distributed Integrity Catalog for digital repositories
无论是数字保存系统还是档案系统，数字存储库都要定期检查存储对象的完整性，以确保用户的正确性。为此，先前的解决方案计算完整性元数据，并要求存储库将其与实际数据对象一起存储。这种完整性元数据对于定期验证存储的数据对象的正确性至关重要。为了保护和检测对该元数据的损坏，现有的解决方案依赖于广泛可见的媒体，即独立的第三方，来存储和提供元数据的备份以验证它是完整的。然而，它们没有解决在被对手破坏或攻击的情况下完整性元数据的恢复。从本质上讲，它们并不保留这些元数据。我们介绍IntegrityCatalog，一个系统，收集所有完整性相关的元数据在一个单一的组件，并把它们作为第一类对象，管理他们的完整性和保存。我们引入了一个基于树的持久认证字典管理任意长度的键/值对，我们用来存储所有的完整性元数据，访问对象名称。此外，IntegrityCatalog是一个分布式系统，它包括一个网络协议，该协议使用管理员选择的具有两种可能角色的网络对等体来管理损坏检测和此元数据的保存。验证器存储和提供对目录的证明，并且具有最小的存储要求，而验证器有效地同步目录的完整副本，以在本地系统上检测到目录受损的情况下帮助恢复。我们描述了我们的原型实现的IntegrityCatalog，衡量其性能的经验，并证明其在现实世界中的情况下，最坏的测量吞吐量约为每秒1 K插入，每秒2K验证搜索操作的有效性。
2014-09-25 cs.DB cs.DC cs.DL
Achieving High Throughput and Elasticity in a Larger-than-Memory Store
数以百万计的传感器、移动应用程序和机器现在产生数十亿个事件。如果事件是在同一台机器上生成的，则专用的众核键值存储（KVS）可以以高速率（在一台机器上超过100 Mops/s）摄取和索引这些事件;然而，为了实用和经济高效，它们必须通过网络摄取事件并跨云资源弹性扩展。我们介绍了Shadowfax，一个基于FASTER的新的分布式KVS，它透明地跨越DRAM，SSD和云blob存储，同时使用传统的Linux TCP在商业Azure VM上提供130 Mops/s/VM。除了高单VM性能之外，Shadowfax还使用了一种独特的分布式重新配置方法，可以避免在正常操作和迁移期间进行任何服务器端密钥所有权检查或跨核心协调。因此，Shadowfax可以在17秒内转移负载，将系统吞吐量提高10 Mops/s，并且几乎没有中断。与最先进的技术相比，它的吞吐量提高了8倍（比Seastar+memcached），并避免了在迁移过程中移动冷数据的昂贵I/O。在12台机器上，Shadowfax保持其高吞吐量，执行930 Mops/s，据我们所知，这是用于大规模数据摄取和索引的分布式KVS的最高吞吐量。
2021-04-27 cs.DB cs.DC
Building a P2P RDF Store for Edge Devices
本文基于P-Grid索引机制，结合边缘RDF存储方案RDF4Led，提出在低成本边缘设备P2P网络上构建可扩展的RDF存储与查询引擎，并在多达16个树莓派4节点上验证了其扩展性。
2023-09-17 cs.DB cs.DC
Constant delay algorithms for regular document spanners
正则表达式和带有捕获变量的自动机模型是基于规则的信息抽取的核心工具。这些形式主义，也被称为常规文档语法，使用正则语言来定位用户想要从文本文档中提取的数据，然后将这些数据存储到变量中。由于文档空间可以很容易地生成大量的输出，因此重要的是要有良好的评估算法，可以快速连续地生成提取的数据，并且具有相对较少的预计算时间。为了实现这一目标，我们提出了一个实用的评估算法，允许恒定的延迟枚举后的预计算阶段，在文件中是线性的一个pixel的输出。虽然该算法假设扳手是在变量集自动机的语法变体中指定的，但我们还研究了当扳手由一般变量集自动机、正则表达式公式或扳手代数指定时如何应用它。最后，我们研究了相关的问题，计算输出的文档spectrometer的数量，提供了一个细粒度的分析类的文档spectrometer，支持有效的枚举他们的结果。
2018-03-14 cs.DB cs.FL
DKVF: A Framework for Rapid Prototyping and Evaluating Distributed Key-value Stores
我们提出了我们的框架DKVF，使一个快速原型和评估新的协议的键值存储和比较它们与现有的协议的基础上选定的基准。由于CAP定理的局限性，必须开发新的协议，以实现所需的一致性和可用性之间的权衡，为给定的应用程序。因此，学术界和工业界都专注于开发新的协议，以确定此权衡曲线上的不同（并且希望在一个或多个方面更好）点。虽然这些协议通常基于简单的直觉，但评估它们以确保它们确实提供了更高的可用性、一致性或性能是一项繁琐的任务。我们的框架，DKVF，使人们能够快速原型化一个新的协议，以及确定它是如何执行相比，现有的协议预先指定的基准。我们的框架依赖于YCSB（Yahoo！Cloud Servicing Benchmark）进行基准测试。我们通过实现四个现有的协议-最终一致性，COPS，GentleRain和CauseSpartan-来演示DKVF。我们比较了这些协议在不同负载条件下的性能。我们发现，性能是类似于我们从头开始实现这些协议。并且，这些协议的比较与文献中报道的一致。此外，这些协议的实现更加自然，因为我们只需要将伪代码转换为Java（并添加必要的错误处理）。因此，每个方案仅需1-2天即可实现这一目标。最后，我们的框架是可扩展的。可以替换框架中的单个组件（例如，存储组件）。
2018-01-15 cs.DB cs.DC cs.SE
Tuning the Tail Latency of Distributed Queries Using Replication
在诸如社交网络和知识图谱的应用领域中，以低延迟查询图数据是重要的需求。图形查询在顶点之间执行多跳。当数据被分区并存储在多个服务器上时，在一个服务器上执行的查询通常需要跳到另一个服务器存储的顶点。这种分布式遍历代表了低延迟查询的性能瓶颈。为了减少查询延迟，可以复制远程数据以使分布式遍历变得不必要，但是复制是昂贵的，并且应该最小化。在本文中，我们介绍的问题，找到数据复制方案，满足任意用户定义的查询延迟的限制，以最小的复制成本。我们提出了一种新的工作负载模型来表达数据访问的因果关系，提出了一个家庭的启发式，并介绍了其正确性的非平凡的充分条件。我们对两个有代表性的基准测试的评估表明，我们的算法可以微调查询延迟与数据复制，并可以找到甜蜜点的延迟/复制设计空间。
2022-12-20 cs.DB cs.DC
Sub-query Fragmentation for Query Analysis and Data Caching in the Distributed Environment
The National Archives（国家档案馆）；University of Technology Sydney（悉尼科技大学）
当数据存储和用户在地理上分布时，必须在理想的位置组织分布式数据缓存点，以最大限度地减少数据传输。为了回答这个问题，我们正在开发一个自适应分布式数据缓存框架，它可以识别合适的数据块进行缓存，并在社区缓存位置网络中移动。
2019-10-11 cs.DB cs.DC cs.LG
Distributed Real-Time Sentiment Analysis for Big Data Social Streams
University of Jyväskylä（于韦斯屈莱大学）
大数据趋势迫使以数据为中心的系统具有连续的快速数据流。近年来，流数据的实时分析已经形成了一个新的研究领域，其目标是以可忽略的延迟回答关于正在发生的事情的查询。实时流数据处理的真正挑战是不可能存储数据实例，因此使用在线分析算法。为了执行实时分析，数据的预处理应该以仅将流的简短摘要存储在主存储器中的方式执行。此外，由于到达速度快，每个数据实例的平均处理时间应该是这样的，即传入实例不会在没有被捕获的情况下丢失。最后，学习者需要提供高分析准确性的衡量标准。Sentinel是一个用Java编写的分布式系统，旨在通过强制以分布式形式完成处理和学习过程来解决这一挑战。Sentinel建立在Apache Storm之上，这是一个分布式计算平台。Sentinels学习器（Vertical Hoeffding Tree）是一种基于VFDT的并行决策树学习算法，具有在分布式环境下实现并行分类的能力。Sentinel还使用SpaceSaving来保存数据流的摘要，并将其摘要存储在概要数据结构中。Sentinel在Twitter公共流API上的应用，并讨论了结果。
2016-12-27 cs.CL cs.DB cs.DC
