Handling Skew in Multiway Joins in Parallel Processing
处理偏斜是查询处理中的主要挑战之一。在诸如MapReduce的分布式计算环境中，不期望数据到服务器的不均匀分布。我们希望在分布式环境中优化的主要措施之一是通信成本。在MapReduce作业中，这是从映射器传输到归约器的数据量。在本文中，我们将介绍一种新的技术来处理偏斜，当我们想在一个MapReduce回合中以最小的通信成本计算多路连接时。这种技术实际上是股份算法的适应[Afrati et.等人，TKDE 2011]。
2015-04-13 cs.DB
Efficient Candidate-Free R-S Set Similarity Joins with Filter-and-Verification Trees on MapReduce
Shenzhen University（深圳大学）；Nanyang Technological University（南洋理工大学）
本文提出无候选集R-S连接算法，通过过滤-验证树实现单阶段处理，提升MapReduce环境下的连接效率。
2025-12-17 cs.DB cs.DC
Query-driven Frequent Co-occurring Term Extraction over Relational Data using MapReduce
在本文中，我们研究了如何有效地计算\textit{frequent co-occurring terms}（FCT）的关键字查询的结果，并行使用流行的MapReduce框架。以关键字查询q和整数k作为输入，FCT查询报告不在q中但在多个联接关系上的关键字查询q的结果中最频繁出现的k个术语。FCT搜索的返回词可用于传统关键字搜索的查询扩展和查询细化。与在单一平台上进行FCT搜索的方法不同，本文提出的方法可以有效地使用MapReduce范式来回答FCT查询，而无需预先计算原始关键字查询的结果，该方法可以在并行平台上运行。在这项工作中，我们可以通过两个MapReduce作业输出最终的FCT搜索结果：第一个是提取数据的统计信息;第二个是根据第一个作业的输出计算每个术语的总频率。在这两个MapReduce作业中，我们将尽可能地保证映射器的负载平衡和归约器的计算平衡。分析和实验评估表明，我们提出的方法使用不同大小的TPC-H基准数据集的效率和可扩展性。
2013-01-11 cs.DB
GYM: A Multiround Join Algorithm In MapReduce
多轮算法现在通常用于分布式数据处理系统，但算法可以从运行更多轮中受益的程度还没有得到很好的理解。本文回答了这个问题的一个频谱轮计算问题的等值$n$关系。具体地说，给定任何查询$Q$宽度$\w$，{ \em相交宽度} $\iw$，输入大小$\mathrm{IN}$，输出大小$\mathrm{OUT}$，和一个集群的机器与$M$内存可用的每台机器，我们表明：（1）$Q$可以计算在$O(n)$轮$O(n\frac{(\mathrm{IN}^{\w} + \mathrm{OUT})^2}{M})$通信成本。(2)$Q$可以在具有$O(n\frac{(\mathrm{IN}^{\max(\w, 3\iw)} + \mathrm{OUT})^2}{M})$通信成本的$O(\log(n))$轮中计算。\end{itemize}交集宽度是查询和查询的广义超树分解（GHD）的新概念，我们引入GHD来捕获GHD的相邻循环分量的连接情况。我们实现我们的第一个结果，通过引入一个分布式和广义版本的Yannakakis的算法，称为GYM。GYM将具有宽度PDMATHABM 0和深度$d$的$Q$的任何GHD作为输入，并且计算$O(d + \log(n))$轮中的$Q$和$O(n\frac{(\mathrm{IN}^{\w} + \mathrm{OUT})^2}{M})$通信成本。我们通过展示如何构造具有宽度$…
2017-01-26 cs.DB
A MapReduce Approach to NoSQL RDF Databases
近年来，对存储和处理大量数据的需求不断增加，这促使了对分布式存储和查询系统的需求。机器可读的RDF三元组的增长促使工业界和学术界开发新的数据库系统，称为NoSQL，其特征与传统数据库不同。这些系统中的许多系统为了提高水平可伸缩性和数据可用性而牺牲了ACID属性。本文主要研究NoSQL三重存储的开发和评估。TripleStores是数据库管理系统，是语义Web和链接数据等新兴技术的核心。评估跨越了几个基准，包括三重存储评估中最常用的两个基准，柏林SPARQL基准和DBpedia基准，DBpedia基准是一种操作维基百科的RDF表示的查询工作负载。结果表明，该系统所使用的连接算法在决定查询运行时起着至关重要的作用。分布式图数据库在生成MapReduce查询计划之前必须仔细优化查询，因为如果简单地执行查询，大型数据集的网络流量可能会变得令人望而却步。
2016-01-08 cs.DB
Security and Privacy Aspects in MapReduce on Clouds: A Survey
MapReduce是一种编程系统，用于在私有云、公共云或混合云上以高效和容错的方式进行分布式处理大规模数据。MapReduce作为一种高效的分布式计算工具在世界各地被广泛使用，用于解决大量问题，例如，搜索、聚类、日志分析、不同类型的连接操作、矩阵乘法、模式匹配和社交网络分析。当MapReduce计算在公共云或混合云中执行时，数据和MapReduce计算的安全性和隐私性是基本问题。为了在公共云和混合云中执行MapReduce作业，需要对映射器-还原器进行身份验证，数据计算的机密性，数据计算的完整性以及输出的正确性-新鲜度。满足这些要求可以保护操作免受对数据和MapReduce计算的几种类型的攻击。在本文中，我们调查和讨论安全和隐私的挑战和要求，考虑各种对抗能力，以及MapReduce范围内的特性。我们还提供了现有的MapReduce安全和隐私协议的审查，并讨论其开销问题。
2016-05-02 cs.CR cs.DB cs.DC
Cascading map-side joins over HBase for scalable join processing
使用MapReduce进行大规模数据处理的主要挑战之一是连接的智能计算。由于语义Web数据集发布的RDF在过去几年中迅速增加，可扩展的连接技术成为SPARQL查询处理的一个重要问题。在本文中，我们介绍了Map-Side Index Nested Loop Join（MAPSIN join），它结合了NoSQL存储系统（如HBase）的可扩展索引功能，这些系统具有不足的分布式处理层，MapReduce又不能为有效的大规模连接处理提供适当的存储结构。在保留常用reduce端连接的灵活性的同时，我们利用了map端连接的有效性，而无需对底层框架进行任何更改。我们证明了显着的好处MAPSIN加入处理SPARQL基本图形模式的大型RDF数据集的评估与LUBM和SP2Bench基准。对于大多数查询，基于MAPSIN连接的查询执行比基于reduce端连接的查询执行性能高一个数量级。
2012-06-27 cs.DB cs.DC
A Survey on Geographically Distributed Big-Data Processing using MapReduce
Hadoop和Spark是广泛使用的分布式处理框架，用于在私有云或公共云上以高效和容错的方式进行大规模数据处理。这些大数据处理系统被许多行业广泛使用，例如，谷歌、Facebook和亚马逊，用于解决一大类问题，例如，搜索、聚类、日志分析、不同类型的连接操作、矩阵乘法、模式匹配和社会网络分析。然而，所有这些流行的系统在本地分布式计算方面都有一个主要缺点，这阻止了它们实现地理上分布式的数据处理。越来越多的地理分布的海量数据正在推动行业和学术界重新思考当前的大数据处理系统。这些新框架将超越当前系统所涉及的最先进的架构和技术，预计将在其位置处理地理上分布的数据，而无需将整个原始数据集移动到单个位置。在本文中，我们调查和讨论的挑战和要求，在设计地理分布的数据处理框架和协议。我们分类和研究批处理（基于MapReduce的系统），流处理（基于Spark的系统），SQL风格的处理地理分布的框架，模型和算法，其开销问题。
2017-07-06 cs.DB cs.DC
Privacy-Preserving Secret Shared Computations using MapReduce
数据外包允许数据所有者将其数据保存在\emph{untrusted}云中，而这些云无法确保数据和/或计算的隐私。MapReduce是一个用于分布式容错数据处理的有用框架，它是为\emph{trusted}私有云开发的。本文提出了基于Shamir的秘密共享方案的数据外包算法，以及在使用MapReduce作为底层编程模型的同时执行隐私保护SQL查询的算法，例如计数，选择（包括范围选择），投影和连接。我们提出的算法防止对手知道数据库或查询，同时也防止输出大小和访问模式的攻击。有趣的是，我们的算法不涉及数据库所有者，它只创建和分发秘密共享一次，在回答任何查询，因此，数据库所有者也不能学习查询。逻辑和实验，我们评估以下参数的算法的效率：（\textit{i}）的通信轮数（用户和服务器之间），（\textit{ii}）的比特流的总量（用户和服务器之间），和（\textit{iii}）在用户和服务器的计算负载。\B
2019-08-06 cs.CR cs.DB cs.DC
Rapid AkNN Query Processing for Fast Classification of Multidimensional Data in the Cloud
$k$ -最近邻（$k$ NN）查询使用距离度量确定距特定位置的$k$最近点。全$k$最近邻（$k$ NN）查询构成$k$ NN查询的变体，并且检索数据库内的每个点的$k$最近点。它们的主要用途在空间数据库中产生共鸣，它们构成了许多基于位置的应用程序的主干，不仅如此（即$k$ NN加入数据库，数据采掘中的分类）。因此，开发有效解决这些问题的方法至关重要。在这项工作中，我们提出了一种新的方法分类多维数据使用一个$k$ NN算法在MapReduce框架。我们的方法利用空间分解技术以并行和分布式的方式处理分类过程。据我们所知，我们是第一个在这个角度下研究多维对象的分类。通过广泛的实验评估，我们证明了我们的解决方案是有效的和可扩展的处理给定的查询。我们调查了许多不同的角度，可以影响总的计算成本，如不同的数据集分布，维数，增长的$k$值和粒度的空间分解，并证明我们的系统是有效的，鲁棒性和可扩展性。
2014-02-27 cs.DB
Efficient K-Nearest Neighbor Join Algorithms for High Dimensional Sparse Data
在许多数据采掘算法中，K-最近邻（KNN）连接是一个代价昂贵但非常重要的操作。最近的几个应用程序需要执行高维稀疏数据的KNN连接。不幸的是，所有现有的KNN连接算法都是针对低维数据设计的。为了弥补这一空白，我们研究了高维稀疏数据的KNN连接问题。在本文中，我们提出了三个KNN连接算法：一个暴力（BF）算法，一个基于倒排索引（IIB）算法和一个改进的基于倒排索引（IIIB）算法。在合成数据集和真实数据集上进行了大量的实验，以证明我们的算法对高维稀疏数据的有效性。
2010-11-12 cs.DB cs.DS
Improving Distributed Similarity Join in Metric Space with Error-bounded Sampling
给定两组对象，度量相似连接根据度量空间中特定的距离函数找到所有相似的对象对。在大数据时代，人们越来越需要提供一种可扩展的相似性连接框架，以支持高效的查询和分析服务。现有的分布式度量相似连接算法采用随机抽样技术产生枢轴，并在此基础上采用整体划分方法对数据进行划分，由于生成的枢轴和划分策略都没有质量保证，导致数据偏斜问题。为了解决这个问题，我们提出了SP-Join，一个基于MapReduce范式的端到端框架来支持度量空间中的分布式相似性连接，它（i）采用基于估计的分层抽样方法来产生具有任何样本大小质量保证的枢轴，以及（ii）设计了一个有效的代价模型作为指导思想，将整个数据集在地图上划分为分区，并根据采样的枢轴进行阶段缩减。虽然获得一个最佳的分区集被证明是NP-Hard，SP-Join采用高效的分区策略，基于这样的成本模型，以实现一个均匀的分区与解释的质量。我们在Apache Spark平台上实现了我们的框架，并在四个真实世界的数据集上进行了广泛的实验。结果表明，我们的方法显着优于国家的最先进的方法。
2019-05-15 cs.DB
JAG: Joint Attribute Graphs for Filtered Nearest Neighbor Search
Massachusetts Institute of Technology（麻省理工学院）；Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）；University of Maryland（马里兰大学）
JAG通过联合属性图方法，实现了在各种过滤类型和选择性范围内的高效过滤最近邻搜索。
2026-02-10 cs.DB cs.IR
How to reduce the search space of Entity Resolution: with Blocking or Nearest Neighbor search?
实体解析具有二次时间复杂度。为了提高其时间效率，通常使用三种过滤技术来限制其搜索空间：（i）阻塞工作流，其将具有相同或相似签名的实体简档分组在一起，（ii）字符串相似性连接算法，其快速检测比阈值更相似的实体，以及（iii）最近邻方法，其将每个实体轮廓转换为向量，并根据指定的距离函数快速检测最近的实体。针对每种类型提出了许多方法，但文献缺乏对它们的相对性能的比较分析。正如我们在这项工作中所展示的，这是一项重要的任务，因为配置参数对每种过滤技术的性能有重大影响。我们进行了第一次系统的实验研究，研究了10个真实世界数据集上每种类型的主要方法的相对性能。对于每种方法，我们考虑了过多的参数配置，在召回率和精度方面进行了优化。对于每个数据集，我们考虑模式不可知和基于模式的设置。实验结果提供了新的见解所考虑的技术的有效性和时间效率，展示了阻塞工作流和字符串相似性连接的优越性。
2022-10-06 cs.DB
Distributed Subtrajectory Join on Massive Datasets
加入轨迹数据集是移动数据分析中的一项重要操作，也是旨在从中提取知识的各种方法的基石。在大数据时代，移动数据的生产已经变得庞大，因此，以集中的方式执行这样的操作是不可行的。在本文中，我们解决的问题，分布式子轨迹连接处理利用MapReduce编程模型。与传统的轨迹连接查询相比，这个问题更具挑战性，因为目标是检索所有“相似”的轨迹的“最大”部分。我们提出三个解决方案：（i）一个精心设计的基本解决方案，称为DTJb，（ii）一个使用预处理步骤重新分区数据的解决方案，标记为DTJr，以及（iii）一个另外采用索引方案的解决方案，称为DTJi。在我们的实验研究中，我们利用了一个56 GB的数据集的真实轨迹从海洋领域，这是最大的真实数据集用于实验的轨迹数据管理的文献。结果表明，DTJi的执行速度比DTJb快16倍，比DTJr快10倍，比最接近的相关最先进的算法快3倍。
2019-03-18 cs.DB cs.DC
RNSG: A Range-Aware Graph Index for Efficient Range-Filtered Approximate Nearest Neighbor Search
Beijing Institute of Technology（北京理工大学）；Nanyang Technological University（南洋理工大学）
本文提出RNSG，一种范围感知图索引，用于高效处理范围过滤近似最近邻搜索。通过理论分析和算法设计，RNSG在查询性能、索引紧凑性和构建成本上均优于现有方法。
2026-03-13 cs.DB
EMA: Approximate Nearest Neighbor Search with General Attribute Filtering and Dynamic Updates
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Microsoft Research（微软研究院）；The Chinese University of Hong Kong（香港中文大学）
提出EMA算法，通过引入附着在图边上的紧凑摘要Marker，实现支持混合数值和类别属性多谓词查询的过滤近似最近邻搜索，并支持高效动态更新，在多种工作负载下速度提升1.68至12.25倍。
2026-11-06 cs.DB
I/O Optimizations for Graph-Based Disk-Resident Approximate Nearest Neighbor Search: A Design Space Exploration
China Telecom Cloud Computing Research Institute（中国电信云计算研究所）；Northeastern University（东北大学）；Temple University（天普大学）
本文提出一个以I/O为导向的框架，通过内存布局、磁盘布局和搜索算法三个维度优化磁盘基于的近似最近邻搜索，提出页面级复杂度模型并验证其有效性，最终提出OctopusANN系统在I/O和吞吐量上优于现有系统。
2026-03-23 cs.DB
Communication Cost in Parallel Query Processing
我们研究了在没有共享存储的并行结构上计算大型数据库上的合取查询问题。使用这种查询$q$的结构和数据中的偏斜，我们研究处理器数量、通信轮数和每个处理器负载（每个处理器在单个轮中可以发送或接收的位数）之间的权衡，这些都是计算$q$所需的。当数据是免费的偏斜，我们得到本质上紧的上界和下界的一轮算法，我们展示了如何降低边界时，有偏斜的数据。在偏斜数据的情况下，我们展示了如何改进算法时，近似程度的重击元素是可用的，获得基本上是最佳的算法，如简单的连接和三角连接查询查询。对于查询，我们确定为树状，我们还证明了几乎匹配的上界和下界的多轮算法的一个自然类的无偏斜数据库。这些后一个下界的一个结果是，对于任何$\varepsilon>0$，使用$p$处理器来计算图的连通分量，或者输出具有$m$边的图的指定顶点对之间的路径（如果有的话），并且每个处理器的负载是$O(m/p^{1-\varepsilon})$，这需要$Ω(\log p)$轮通信。我们的上界由使用MapReduce的简单结构化算法给出。我们的一轮下界证明在一个非常一般的模型，我们称之为大规模并行通信（MPC）模型，允许处理器通信任意位。我们的多轮下限适用于MPC模型的受限版本，其中在第一个通信轮之后的后续轮中的处理器仅允许发送元组。
2016-02-19 cs.DB
BAMG: A Block-Aware Monotonic Graph Index for Disk-Based Approximate Nearest Neighbor Search
Hong Kong Baptist University（香港浸会大学）
BAMG通过结合几何距离与存储布局，提出块感知的单调图索引，提升基于磁盘的近似最近邻搜索效率。
2026-02-28 cs.DB
Spatial Queries with Two kNN Predicates
位置感知设备的广泛使用已经导致了无数的基于位置的服务，其中用户查询可以是任意复杂的，即，一种嵌入多个空间选择和连接谓词的方法。在这些谓词中，k-最近邻（kNN）谓词是最重要和最广泛使用的谓词之一。与相关研究不同的是，本文超越了单kNN谓词查询的优化，并显示了如何优化两个kNN谓词的查询。特别是，本文解决了查询的优化：（i）两个kNN-选择谓词，（ii）两个kNN-连接谓词，（iii）一个kNN-连接谓词和一个kNN-选择谓词。对于每种类型的查询，概念上正确的查询评估计划（QEPs）和新的算法，优化查询执行时间。实验结果表明，所提出的算法优于概念上正确的QEP的数量级。
2012-08-01 cs.DB
Scalable Distributed Subtrajectory Clustering
轨迹聚类是从移动数据中发现知识的重要操作。特别是在当今，以高效和可扩展的方式对大规模生产的数据（如移动轨迹）执行高级分析操作的需求势在必行。然而，发现完整轨迹的集群可能会忽略只存在于其生命周期的一小部分的重要模式。在本文中，我们解决了问题的分布式子轨迹聚类在一个有效的和高度可扩展的方式。这个问题是具有挑战性的，因为要聚类的子轨迹是事先不知道的，但他们需要动态地发现相邻的子轨迹在空间和时间。为了实现这一目标，我们将原问题分解为三个子问题，即子轨迹连接，轨迹分割和聚类以及离群点检测，并利用MapReduce编程模型以分布式方式处理每个问题。我们的解决方案的效率和有效性的实验证明了一个合成的和两个大的真实数据集从海洋和城市领域，并通过比较与两个国家的最先进的子轨迹聚类算法。
2019-06-18 cs.DB cs.DC
SymphonyQG: Towards Symphonious Integration of Quantization and Graph for Approximate Nearest Neighbor Search
SymphonyQG 针对图方法在 ANN 搜索中的随机内存访问和精确距离计算瓶颈，通过避免显式重排序并优化图结构以契合 FastScan，实现量化与图的更和谐融合，在真实数据集上取得时间-精度权衡的新最优。
2024-11-19 cs.DB cs.IR
DeepJoin: Joinable Table Discovery with Pre-trained Language Models
NEC Corporation（NEC公司）；Osaka University（大阪大学）；Nagoya University（名古屋大学）
Deepjoin利用预训练语言模型进行嵌入检索，统一处理等值和语义连接，实现对数级搜索时间，精度优于近似解，在GPU上快达两个数量级。
2023-06-23 cs.AI cs.DB cs.LG
