BagMinHash - Minwise Hashing Algorithm for Weighted Sets
Minwise散列已经成为计算签名的标准工具，可以直接估计Jaccard相似性。虽然对于未加权的情况已经存在非常有效的算法，但是对于加权集合的签名的计算仍然是一项耗时的任务。BagMinHash是一种新的算法，它可以比现有技术快几个数量级，而对权重或数据维度没有任何特定的限制或假设。应用于未加权集的特殊情况，它代表了第一个有效的算法产生独立的签名组件。一系列的测试最终验证了新的算法，也揭示了在最近的过去发表的其他方法的局限性。
2018-07-22 cs.DS
Improved Greedy Algorithm for Set Covering Problem
提出了一种计算近似最小集合覆盖的贪心算法--大步长贪婪集合覆盖算法。大步长贪心算法在每一步中选择p个集合，使得所选p个集合的并集包含最大数量的未覆盖元素，并将所选p个集合添加到部分集合覆盖。重复添加p个集合的过程，直到覆盖所有元素。当p=1时，它的行为类似于经典的贪心算法。
2015-06-13 cs.DS
Streaming Graph Algorithms in the Massively Parallel Computation Model
本研究率先在MPC模型下研究流图算法，设计出常数轮、满足强次线性内存限制的演化图处理算法，改进了此前需正比于图规模总空间的工作，实现了MPC资源的渐近最优利用。
2025-01-17 cs.DS
Nearest Neighbor based Clustering Algorithm for Large Data Sets
聚类是一种无监督学习技术，其中数据或对象基于某种相似性度量被分组为集合。大多数聚类算法都假设主存储器是无限的，并且可以容纳模式集。在现实中，许多应用程序会产生大量的模式，这些模式不适合主存储器。当数据集太大时，大部分数据存储在辅助存储器中。磁盘的输入/输出（I/O）是设计高效的大数据集聚类算法的主要瓶颈。不同的设计技术已经被用于设计大数据集的聚类算法。外存算法是一类可用于大数据集的算法。这些算法利用计算机的分层存储器结构，直接在算法中加入引用局部性。本文对在外部存储器模型（Aggarwal和Vitter 1988年提出）中设计聚类算法做出了一些贡献，使算法具有可扩展性。本文证明了共享近邻算法的I/O效率不是很高，因为其计算复杂性与I/O复杂性相同。该算法采用外部存储器模型设计，降低了I/O复杂度。计算复杂性保持不变。通过在STXXL库中实现，我们证明了算法与传统算法的性能，从而证实了理论分析。
2015-05-22 cs.DS
Distributed Dominating Sets on Grids
本文提出了一种求解网格上近优控制集的分布式算法。该算法的基础是一个现有的集中式算法，构造控制集的网格。对于$m\times n$网格，该集中式算法提供的支配集的大小由$\lceil\frac{(m+2)(n+2)}{5}\rceil$上界，并且其与网格的最优控制数的差上界为5。将集中式和分布式算法推广到$k$ -距离支配集问题，其中所有网格顶点都在支配集中顶点的距离$k$内.
2013-03-14 cs.DS
Practical Adversarial Combinatorial Bandit Algorithm via Compression of Decision Sets
我们考虑对抗性组合多臂强盗（CMAB）问题，其决策集可以是指数大的关于给定的武器的数量。为了避免直接处理这样大的决策集，我们提出了一个算法上进行的零抑制二叉决策图（ZDD），这是一个压缩表示的决策集。该算法实现了高概率的$O(T^{2/3})$后悔或$O(\sqrt{T})$期望后悔作为任意时间保证，其中$T$是过去的轮数。通常情况下，我们的算法有效地为网络上定义的CMAB问题。实验结果表明，我们的算法适用于各种大型对抗CMAB实例，包括现实世界中的网络自适应路由问题。
2017-07-26 cs.DS
Computation in Large-Scale Scientific and Internet Data Applications is a Focus of MMDS 2010
2010年6月15- 18日，2010年现代大规模数据集算法研讨会（MMDS 2010）在斯坦福大学举行。MMDS 2010的目标是（1）探索建模和分析大规模，高维，非线性结构的科学和互联网数据集的新技术;（2）汇集计算机科学家，统计学家，应用数学家和数据分析从业者，以促进思想的交叉。MMDS 2010是继前两届MMDS研讨会之后举办的。第一个，MMDS 2006年，解决了补充的观点带来的数值线性代数和理论计算机科学社区矩阵算法在现代信息学应用;第二，MMDS 2008年，探讨了更普遍的基本算法和统计的挑战，在现代大规模数据分析。
2010-12-20 cs.DS
A Polynomial Delay Algorithm for Enumerating Minimal Dominating Sets in Chordal Graphs
图的最小控制集列表的输出多项式算法是一个具有挑战性的开放问题，并且已知等价于著名的Transmittance问题，该问题要求输出多项式算法来列出超图的最小碰集。我们给出了一个多项式延迟算法列出弦图，一个重要的和研究得很好的一类图，这样的算法是开放的一段时间的最小控制集的集合。
2014-07-08 cs.DM cs.DS
How to Solve Fair $k$-Center in Massive Data Models
Indian Institute of Technology Delhi（德里印度理工学院）；University of Vienna（维也纳大学）；University of Washington（华盛顿大学）
在海量数据的推动下，重要的决策正在算法的帮助下自动化，因此算法的公平性成为一个特别重要的研究课题。在这项工作中，我们设计了新的流和分布式算法的公平$k$中心的问题，模型公平的数据汇总。流式和分布式计算模型有一个吸引人的特点，即能够处理不适合主存的海量数据集。我们的主要贡献是：（a）第一分布式算法;其具有可证明的恒定近似比并且是极其可并行的，以及（b）具有与最佳已知算法（其不是流算法）匹配的可证明近似保证的两遍流算法。我们的算法具有易于实现的优点，在实践中，是快速的线性运行时间，具有非常小的工作内存和通信，并优于现有的算法在几个真实的和合成数据集。为了补充我们的分布式算法，我们还给出了自然分布算法的硬度结果，即使是特殊情况下的$k$ -中心。
2020-02-24 cs.DS cs.LG stat.ML
Fast Algorithms for the Maximum Clique Problem on Massive Sparse Graphs
最大团问题是一个著名的NP-难问题，在数据采掘、网络分析、信息学和许多其他领域都有应用。虽然有几个算法与可接受的运行时间为某些类的图，他们中的许多是不可行的大规模图。我们提出了一个新的精确算法，采用新的修剪技术，非常迅速地找到最大的集团在大型稀疏图。在几种类型的合成图和真实世界的图上进行的大量实验表明，我们的新算法在大多数情况下比现有算法快几个数量级。我们还提出了一个启发式的变种，运行速度比精确算法的数量级，同时提供最佳或接近最佳的解决方案。
2012-11-14 cs.DS cs.IR
A Local Clustering Algorithm for Massive Graphs and its Application to Nearly-Linear Time Graph Partitioning
我们研究了大型图的局部算法的设计。局部算法是指在不查看整个图的情况下找到包含或靠近给定顶点的解的算法。我们提出了一个局部聚类算法。我们的算法找到一个好的集群-一个子集的顶点，其内部连接显着丰富比其外部连接-附近的一个给定的顶点。我们的算法的运行时间，当它找到一个非空的本地集群，是几乎线性的集群的大小，它输出。我们的聚类算法可以是一个有用的原始处理大量的图形，如社交网络和网络图。作为该聚类算法的一个应用，我们提出了一个分区算法，找到一个近似的稀疏切割与近最佳的平衡。我们的算法所需的时间几乎线性的图的边数。使用本文的分区算法，我们设计了一个近线性时间算法构造谱稀疏的图，我们反过来使用在一个近线性时间算法求解线性系统的对称，对角占优矩阵。线性系统求解器还导致一个近似的第二个最小的特征值和相应的特征向量的拉普拉斯矩阵的图的线性时间算法。这些其他结果在两个同伴论文。
2008-09-18 cs.DM cs.DS
Massively scalable Sinkhorn distances via the Nyström method
MIT（麻省理工学院）；INRIA - ENS - PSL（法国国家信息与自动化研究所 - 巴黎高等师范学院 - 巴黎文理研究大学）；NYU（纽约大学）
Sinkhorn "距离"是具有熵正则化的Wasserstein距离的变体，是机器学习和统计推断中越来越受欢迎的工具。然而，用于计算该距离的标准算法的时间和内存需求随着数据的大小成二次方地增长，使得它们在大规模数据集上过于昂贵。在这项工作中，我们表明，这一挑战是令人惊讶的容易规避：结合两个简单的技术-Nyström方法和Sinkhorn缩放-可证明产生一个准确的近似Sinkhorn距离显着低于其他方法的时间和内存要求。我们证明了我们的结果通过新的，明确的分析Nyström方法和Sinkhorn标度的稳定性。我们通过实验验证了我们的主张，表明我们的方法可以很容易地计算Sinkhorn距离的数据集比其他技术可以处理的大数百倍。
2019-10-26 cs.DS cs.LG math.OC
Manycore processing of repeated k-NN queries over massive moving objects observations
Università Ca’ Foscari（威尼斯卡福斯卡里大学）
提出一种混合CPU/GPU流水线，通过定制数据结构和非平凡内存访问模式，加速大规模移动物体上重复k-NN查询处理，实现10-20倍加速。
2014-12-18 cs.DB cs.DC cs.DS
Dynamic Algorithms for the Massively Parallel Computation Model
大规模并行计算（MPC）模型在过去十年中越来越流行，现在被视为处理大规模数据的标准模型。该模型的一个显著缺点是，它假设在静态数据集上工作，而在实践中，真实世界的数据集不断演变。为了克服这个问题，在本文中，我们开始在MPC模型的动态算法的研究。我们首先讨论了一个动态的并行模型的主要要求，我们展示了如何适应经典的MPC模型来捕捉它们。然后分析了经典动态算法与MPC模型中动态算法之间的联系。最后，我们提供了新的高效的动态MPC算法的各种基本图的问题，包括连接，最小生成树和匹配。
2019-05-22 cs.DC cs.DS
Algorithms for Generating Convex Sets in Acyclic Digraphs
一个无圈有向图$D$的顶点集$X$是凸的，如果$X\neq \emptyset$，并且$X$的顶点之间不存在包含不在$X$中的顶点的有向路.一个集合$X$是连通的，如果$X\neq \emptyset$和由$X$导出的$D$的子图的底层无向图是连通的。连通凸集和无圈有向图的凸集是现代嵌入式处理器技术领域的研究热点。本文构造了一个算法$\cal A$，用于计数阶为$n$的无圈有向图$D$的所有连通凸集. $\cal A$的时间复杂度是$O(n\cdot cc(D))$，其中$cc(D)$是$D$中连通凸集的个数。我们还给出了一个最优算法计数的所有（不只是连通）凸集的无圈有向图$D$的顺序$n$。在计算实验中，我们证明了我们的算法优于最好的算法在文献中。使用相同的方法为$\cal A$，我们设计了一个算法生成所有的连通集的连通无向图$G$。算法的复杂度为$O(n\cdot c(G)),$，其中$n$是$G$的阶数，$c(G)$是$G.$的连通集个数。以前报道的连通集枚举算法是运行时算法$O(mn\cdot c(G))$，其中$m$是$G.$中的边数
2007-12-17 cs.DM cs.DS
K-sets+: a Linear-time Clustering Algorithm for Data Points with a Sparse Similarity Measure
Institute of Communications Engineering（通信工程研究所）；National Tsing Hua University（国立清华大学）
在本文中，我们首先提出了一个新的迭代算法，称为K-sets+算法的聚类数据点在半度量空间，其中的距离测量不一定满足三角不等式。我们表明，K-集+算法收敛在一个有限的迭代次数，它保留了相同的性能保证的K-集算法聚类数据点在度量空间。然后，我们扩展的K-集+算法的适用性，从数据点在半度量空间的数据点，只有一个对称的相似性度量。这样的扩展导致计算复杂性的极大降低。特别地，对于一个n × n的相似矩阵，矩阵中有m个非零元素，K-sets+算法的计算复杂性为O（（Kn + m）I），其中I是迭代次数。实现该计算复杂性的内存复杂度为O（Kn + m）。因此，当n * n相似性矩阵稀疏时，计算复杂性和存储器复杂性都是n线性的，即，时间复杂度为O（n）。我们还进行了各种实验，通过使用来自随机块模型的合成数据集和来自WonderNetwork网站的真实网络来显示K-sets+算法的有效性。
2017-05-11 cs.DS cs.LG
Greedy Column Subset Selection for Large-scale Data Sets
University of Waterloo（滑铁卢大学）
在当今的信息系统中，大量数据的可用性需要开发快速准确的算法来汇总这些数据并以简洁的格式表示它们。大数据分析中的一个关键问题是从大型和分布式数据中选择代表性实例，这在形式上被称为列子集选择（CSS）问题。这个问题的解决方案使数据分析师能够理解数据的洞察力并探索其隐藏的结构。所选择的实例还可以用于数据预处理任务，例如学习数据点的低维嵌入或计算对应矩阵的低秩近似。提出了一种快速、准确的大规模列子集选择贪心算法。该算法最小化目标函数，该目标函数基于所选列的子集来测量数据矩阵的重构误差。首先提出了一种集中式贪心算法来选择列子集，该算法依赖于一种新的计算数据矩阵重构误差的递推公式。然后，本文提出了一种MapReduce算法，该算法从一个矩阵中选择一些有代表性的列，该矩阵的列大量分布在几个商品机器上。该算法首先使用随机投影学习所有列的简明表示，然后在每个机器上解决广义列子集选择问题，其中从该机器上的子矩阵中选择列的子集，使得简明表示的重建误差最小化。本文通过对基准数据集的实证评估，证明了该算法的有效性和效率。
2013-12-24 cs.DS cs.LG
Dynamic Graph Algorithms with Batch Updates in the Massively Parallel Computation Model
我们研究了大规模并行计算模型下的动态图算法，这是受到实际数据处理系统的启发。我们的目标是提供算法，可以有效地处理大批量的边缘插入和删除。我们展示的算法，需要更少的回合来更新的解决方案，如最小生成森林，2-边连接组件，最大匹配比将需要由他们的静态同行从头开始计算。它们工作在最严格的内存制度，其中每台机器的本地内存是强次线性的图形顶点的数量。改进它们可以有效处理的批的大小将改进稀疏图上的已知静态算法的轮复杂度。我们的算法可以处理批量更新的大小$Θ(S)$，最小生成森林和2-边连接组件，和$Θ(S^{1-\varepsilon})$，最大匹配，在$O(1)$轮，其中$S$是一台机器的本地内存。
2021-01-11 cs.DC cs.DS
Composable Core-sets for Determinant Maximization: A Simple Near-Optimal Algorithm
MIT（麻省理工学院）；TTIC（丰田理工学院）；University of Washington（华盛顿大学）
"可组合核心集“是解决大规模数据模型优化问题的有效框架。在这项工作中，我们考虑有效的建设可组合的核心集的行列式最大化问题。这也可以被看作是决定性点过程的MAP推理任务，最近已经获得了很多建模多样性和公平性的兴趣。这个问题最近在[IMOR'18]中进行了研究，他们设计了具有$\tilde O(k)^k$最佳逼近界的可组合核心集。另一方面，更实用的贪心算法先前已在类似的上下文中使用。在这项工作中，首先，我们提供了一个理论上的近似保证$O(C^{k^2})$的贪心算法的背景下，可组合的核心集;此外，我们建议使用一个基于局部搜索的算法，而仍然是实用的，实现了接近最佳的近似界的$O(k)^{2k}$ ;最后，我们实现了所有三个算法，并显示了我们提出的算法的有效性标准数据集。
2019-07-06 cs.DS cs.LG
Graph Partitioning for Independent Sets
计算图的最大独立集是计算机科学中的一个重要问题。在本文中，我们开发了一个进化算法来解决这个问题。该算法的核心创新点是基于图划分的非常自然的组合运算和局部搜索算法。更确切地说，我们采用了一个国家的最先进的图形分区派生的操作，使我们能够快速交换整个块给定的独立集。为了提高新计算的后代，我们结合我们的运营商与本地搜索算法。我们的实验评估表明，我们能够在各种情况下优于最先进的算法。
2015-02-05 cs.DS cs.NE
Fast Algorithms for the Maximum Clique Problem on Massive Graphs with Applications to Overlapping Community Detection
最大团问题是一个著名的NP难题，在数据采掘、网络分析、信息检索以及与万维网相关的许多其他领域都有应用。有几个算法的问题与可接受的运行时间为某些类别的图，但他们中的许多是不可行的大规模图。我们提出了一个新的精确算法，采用新颖的修剪技术，并能够找到最大的团非常大，稀疏的图形迅速。在不同类型的合成图和真实世界图上的大量实验表明，我们的新算法可以比现有的算法快几个数量级。我们还提出了一个启发式的运行速度比精确算法的数量级，同时提供最佳或接近最佳的解决方案。我们说明了一个简单的应用程序的算法在开发方法，在网络中的重叠社区的检测。
2014-11-27 cs.DS cs.SI
Exact Subquadratic Algorithm for Many-to-Many Matching on Planar Point Sets with Integer Coordinates
Department of Computer Science and Engineering, POSTECH, Pohang, Republic of Korea（韩国浦项POSTECH计算机科学与工程系）
本文提出一种在整数坐标平面点集中求解多对多匹配问题的亚二次精确算法，该算法在时间复杂度上优于传统方法，适用于点集在二维网格中的情况。
2026-04-18 cs.CG cs.DS
Coresets Meet EDCS: Algorithms for Matching and Vertex Cover on Massive Graphs
随着大规模图变得越来越普遍，对解决大型数据集上的经典图问题（如最大匹配和最小顶点覆盖）的可扩展算法的需求迅速增长。对于大量输入，已经引入了几种不同的计算模型，包括流式模型、分布式通信模型和作为MapReduce风格计算的常见抽象的大规模并行计算（MPC）模型。在每个模型中，除了更传统的近似比之外，还根据资源（例如所使用的空间或所需的通信轮次）来分析算法。在本文中，我们给出了一个统一的方法，产生更好的近似算法的匹配和顶点覆盖在所有这些模型。重点包括：* 使用次二次空间的随机到达流中的匹配的第一个通过，显著优于2近似，即使用$O(n^{1.5})$空间用于常数$ε> 0$的$(1.5+ε)$近似流算法。* MPC模型中的第一个2轮、优于2的近似匹配，每个机器使用次二次空间，即对于常数$ε> 0$，每个机器具有$O(\sqrt{mn} + n)$存储器的$(1.5+ε)$近似算法。通过建立在我们的统一的方法，我们进一步开发并行算法的MPC模型，给出了一个$(1 + ε)$ -近似匹配和$O(1)$ -近似顶点覆盖只有$O(\log\log{n})$ MPC轮和$O(n/poly\log{(n)})$内存每台机器。这些结果解决了Czumaj等人最近的论文[STOC 2018]中提出的多个未决问题。
2018-12-27 cs.DC cs.DS
Coloring Trees in Massively Parallel Computation
在大规模并行计算（MPC）模型下，提出了树的$O(\log^2 \log n)$时间3-着色、最大独立集和最大匹配算法.我们的算法是确定性的，适用于任意度的树和工作在低空间MPC模型，其中本地内存是$O(n^δ)$的$δ\in (0,1)$和全局内存是$O(m)$。我们的主要结果是3-着色算法，它与Ghaffari，Grunau和Jin [DISC'20]的随机，最先进的4-着色算法形成对比。在获得着色后，在$O(1)$时间内进行最大独立集和最大匹配算法。我们的3-着色算法的关键成分是一个$O(\log^2 \log n)$时间适应的rake-and-compress树分解使用的张和佩蒂[FOCS'17]，并建立了米勒和赖夫。当我们把注意力限制在常数度的树上时，我们把运行时间降低到$O(\log \log n)$。
2021-10-30 cs.DC cs.DS
[1, 2]-sets and [1, 2]-total Sets in Trees with Algorithms
如果任何不在$S$中的顶点在$S$中至少有一个但不超过两个邻居，则称图$G = (V, E)$的一个集合$S \subseteq V$为$G$的一个$[1, 2]$ -集合.一个集合$S \subseteq V$称为$G$的一个$[1, 2]$ -全集合，如果$G$的任一顶点，无论是否在$S$中，都至少与$S$中的一个但不超过两个顶点相邻.本文介绍了一个求树的最小$[1, 2]$ -集和$[1, 2]$ -全集的基数的线性算法，并将它推广到$[i, j]$ -集的一个更一般的版本，即$[1, 2]$ -集的一个推广.这回答了[5]中提出的一个开放问题。然后，因为不是所有的树都有$[1, 2]$ -全集合，我们设计了一个递归方法来生成所有的树，这样的集合。该方法还构造它生成的每个树的每个$[1, 2]$ -全集合。
2017-06-16 cs.DM cs.DS math.CO
Efficient Approximate Search for Sets of Vectors
Technion（以色列理工学院）
我们考虑两个集合$A$和$B$的向量之间的相似性度量，其平衡向量对之间的平均和最大余弦距离，一个来自集合$A$，一个来自集合$B$。作为这项措施的动机，我们提出了血统跟踪数据库中。为了实际实现这种度量，我们需要一种近似搜索算法，该算法在给定向量集合$A$和向量集合$B_1,...,B_n$的情况下，快速定位使相似性度量最大化的集合$B_i$。对于所有集合都是单例集合（基本上每个集合都是单个向量）的情况，存在已知的有效近似搜索算法，例如，树搜索算法、局部敏感散列（LSH）、矢量量化（VQ）和邻近图算法的近似版本。在这项工作中，我们提出了近似搜索算法的一般情况下。这些算法的基本思想是通过一个“长”的单个向量来编码一组向量。所提出的近似方法实现了显着的性能增益，优化，精确的搜索向量集。
2021-08-30 cs.AI cs.DB cs.DS
The Distribution and Deposition Algorithm for Multiple Sequences Sets
序列集是一种应用广泛的数学模型。随着序列数量的增加，单序列集模型已不适合于快速增长的问题规模。例如，越来越多的文本处理应用程序在处理之前将单个大文本文件分成多个文件。对于这些应用，强调的数学模型是多序列集（MSS）。虽然MSS的使用越来越多，但对如何有效地处理MSS的研究却很少。为了处理多个序列集，首先将序列分配到不同的集合，然后处理每个集合的序列。推导出有效的MSS处理算法是一个既有趣又具有挑战性的问题。在本文中，我们定义了成本函数和性能比的综合序列的质量分析。在此基础上，提出了多序列集处理（PMSS）问题。首先，我们提出了两个贪心算法的PMSS问题，这是基于单序列集算法的推广。然后在分析多序列集特点的基础上，提出了求解PMSS问题的DDA算法和DDA* 算法。在DDA算法中，首先将序列按其字母表内容分配到多个集合中，然后对每个集合中的序列进行沉积算法沉积。DDA* 算法与DDA算法的不同之处在于DDA* 算法通过基于序列谱的聚类来分布序列。实验结果表明，DDA和DDA* 总是以比其他算法更小的代价输出结果，并且DDA* 在大多数情况下优于DDA。DDA和DDA* 算法在时间和空间上也是有效的。
2010-04-30 cs.DC cs.DM cs.DS
Efficient Computation of Representative Sets with Applications in Parameterized and Exact Algorithms
我们给出了两个算法计算代表家庭的线性和均匀拟阵，并演示了如何使用代表家庭设计单指数参数化和精确的指数时间算法。我们的方法的应用程序包括-最长有向循环-最小等价图（MEG）-有界树宽-k-路径，k-树，更一般地说，k-子图同构，其中的k-顶点模式图是恒定的树宽的图上的算法。
2016-02-22 cs.DM cs.DS math.CO
On the maximum number of minimal connected dominating sets in convex bipartite graphs
众所周知，一般图的最小连通控制集的计数是非常困难的。目前，只知道集合的枚举速度比$\mathcal{O}^{*}(2^n)$稍快，并且算法非常重要。此外，在构造枚举算法时，似乎很难使用二分性作为结构辅助。因此，据我们所知，没有已知的输入敏感算法枚举最小支配集，或其相关的集合之一，在二分图比一般的图。本文给出了二部图的一些非平凡子类，即凸图的第一个输入敏感计数算法。给出了一个计算凸二部图在时间上的所有最小连通控制集的算法$\mathcal{O}(1.7254^{n})$，其中$n$是输入图的顶点数.我们的算法意味着一个相应的上界的最小连通支配集的数量为这个图类。我们通过提供一个凸二部图来补充这个结果，这个凸二部图至少有$3^{(n-2)/3}$最小连通控制集。
2019-08-06 cs.DM cs.DS math.CO
