Fair Polylog-Approximate Low-Cost Hierarchical Clustering
University of Maryland, College Park（马里兰大学帕克分校）
针对公平层次聚类中存在的多项式近似壁垒，本文提出了首个真正的多对数近似低成本公平层次聚类方法，大幅缩小了公平与普通层次聚类近似之间的差距。
2023-11-21 cs.DS cs.LG
Exact and Approximate Hierarchical Clustering Using A*
National Institute of Standards and Technology（美国国家标准与技术研究院）；New York University（纽约大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Google Research（谷歌研究院）
层次聚类是许多领域的一项重要任务。许多方法都是基于统计学和性质所产生的聚类事后研究。然而，在一些应用中，有一个自然的成本函数，可以用来表征聚类的质量。在这些情况下，层次聚类可以看作是一个组合优化问题。为此，我们引入了一种基于A* 搜索的新方法。我们克服了过大的搜索空间相结合的A* 与一种新的\emph{trellis}数据结构。这种组合产生了从具有$10^{12}$树的搜索空间扩展到$10^{15}$树的超越现有技术的精确算法，以及改进基线的近似算法，即使在包含多于$10^{1000}$树的巨大搜索空间中也是如此。我们的经验表明，我们的方法实现了比粒子物理用例和其他聚类基准的基线更高质量的结果。我们描述了我们的方法如何提供显着改善的理论界的时间和空间复杂度的A* 聚类。
2021-04-14 cs.DS cs.LG physics.data-an
Scalable k-Means Clustering for Large k via Seeded Approximate Nearest-Neighbor Search
University of Illinois（伊利诺伊大学）；Department of Computer Science（计算机科学系）
针对高维大规模数据集（10⁷～10⁹点，d≥100）的极大k值k均值聚类问题，提出种子近似最近邻搜索方法优化Lloyd算法的点分配步骤，解决现有方法Ω(k²)复杂度问题。
2025-02-10 cs.CG cs.LG stat.ML
Scalable Kernel Clustering: Approximate Kernel k-means
Michigan State University（密歇根州立大学）；Michigan Tech University（密歇根理工大学）
基于核的聚类算法具有捕捉真实世界数据中非线性结构的能力。在各种基于核的聚类算法中，核k-means由于其简单的迭代性质和易于实现而受到欢迎。然而，它的运行时复杂度和内存占用增加的平方方面的数据集的大小，因此，大型数据集不能有效地聚类。在本文中，我们提出了一个近似方案的基础上随机化，称为近似核k-means。我们使用几个采样点和数据集中的所有点之间的核相似性来近似聚类中心。我们表明，该方法实现了更好的聚类性能比传统的低秩核近似基于聚类方案。我们还证明了它的运行时间和内存需求显着低于内核k-means，只有一个小的减少在几个公共领域的大数据集的聚类质量。然后，我们采用集成聚类技术，以进一步提高我们的算法的性能。
2014-02-16 cs.CV cs.DS cs.LG
Amortized Bayesian inference for clustering models
Columbia University（哥伦比亚大学）
我们开发了有效的摊销近似贝叶斯推断的概率聚类模型，如狄利克雷过程混合模型的后验分布的方法。该方法是基于映射到条件概率的集群安排的分布式，不变性表示。该方法易于并行化，从聚类分配的近似后验中产生iid样本，具有与单个Gibbs采样器扫描相同的计算成本，并且可以容易地应用于共轭和非共轭模型，因为训练仅需要来自生成模型的样本。
2018-11-24 cs.LG stat.CO stat.ML
A Bandit Approach to Maximum Inner Product Search
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
最大内积搜索（MIPS）的次线性时间近似算法已经有了大量的研究。为了实现快速查询时间，最先进的技术需要大量的预处理，当后续查询的数量不足以分摊成本时，这可能是一个负担。此外，现有的方法没有能力直接控制其近似结果的次优性与理论保证。在本文中，我们提出了MIPS的第一近似算法，不需要任何预处理，并允许用户控制和约束结果的次优性。我们将MIPS视为最佳手臂识别问题，并引入了一个新的强盗设置，可以充分利用MIPS的特殊结构。我们的方法在合成和真实世界的数据集上都优于最先进的方法。
2018-12-15 cs.LG stat.ML
Approximate spectral clustering with eigenvector selection and self-tuned $k$
The University of Sydney（悉尼大学）
最近出现的谱聚类超越了传统的聚类方法，检测任何形状的集群没有凸性假设。不幸的是，由于计算复杂性为$O(n^3)$，因此对于多个实际应用是不可行的，其中$n$可能很大。这促使研究人员提出了近似谱聚类（ASC）。然而，大多数ASC方法假设簇的数目$k$是已知的。在实践中，手动设置$k$可能是主观的或耗时的。该算法有两个相关性度量估计$k$在两个重要步骤的ASC。一个用于选择跨越嵌入空间的特征向量，另一个用于发现该空间中的聚类数。该算法采用了生长神经气体（GNG）近似，GNG在保持输入数据拓扑结构方面具有优越性。实验结果表明，该算法的效率和竞争能力与类似的方法，手动设置$k$。
2023-02-22 cs.AI cs.IR cs.LG
A Sublinear-Time Spectral Clustering Oracle with Improved Preprocessing Time
University of Science and Technology of China（中国科学技术大学）
本文提出一种亚线性时间谱聚类预言机，放宽了先前对电导率差距或指数预处理时间的要求，支持快速聚类查询，并容忍少量随机边删除，在合成网络上验证了理论界。
2023-12-29 cs.DS cs.LG cs.SI
Improved Asymmetric Locality Sensitive Hashing (ALSH) for Maximum Inner Product Search (MIPS)
Cornell University（康奈尔大学）；Rutgers University（罗格斯大学）
最近的研究表明，最大内积搜索（MIPS）问题是有效的，它允许可证明的次线性散列算法。哈希之前的非对称变换是解决MIPS的关键，否则很难。在先前的工作中，作者使用非对称变换，将近似MIPS的问题转换为近似近邻搜索的问题，可以使用散列有效地解决。在这项工作中，我们提供了一个不同的变换，将近似MIPS的问题转化为近似余弦相似性搜索的问题，可以有效地解决使用有符号的随机投影。理论分析表明，新方案明显优于原方案的MIPS。实验评估有力地支持了理论研究结果。
2014-11-13 cs.DS cs.IR cs.LG
Approximate spectral clustering density-based similarity for noisy datasets
The University of Sydney（悉尼大学）
近似谱聚类（ASC）是为了克服谱聚类（SC）计算量大的问题而提出的。它保持了SC在预测非凸聚类中的能力。由于它涉及预处理步骤，ASC定义了新的相似性度量来分配图边缘的权重。连通性矩阵（CONN）是构造ASC图的一种有效的相似性度量。它将两个顶点之间的权重定义为在矢量量化训练期间分配给它们的点数。然而，这种关系是无向的，其中不清楚哪个顶点对该边的贡献更大。此外，CONN可能会被集群之间的噪声密度欺骗。我们定义了一个有向版本的CONN，命名为DCONN，以了解顶点对边的贡献。此外，我们提供了过滤方案，以确保CONN边缘突出潜在的集群。实验结果表明，当噪声不能被CONN容忍时，所提出的滤波是高效的。
2023-02-22 cs.AI cs.IR cs.LG
Reverse engineering of CAD models via clustering and approximate implicitization
本文提出一种结合聚类分析与近似隐式化的自动逆向工程方法，可从样条或NURBS模型中恢复任意维度、任意次数的原始代数超曲面，并通过理论分析和Python数值实验验证其有效性。
2020-04-19 cs.GR cs.LG cs.NA
Quantization based Fast Inner Product Search
Google Research（谷歌研究院）
我们提出了一种基于量化的快速近似最大内积搜索（MIPS）方法。每个数据库向量通过一组码本在多个子空间中量化，直接通过最小化内积量化误差来学习。然后，查询到数据库向量的内积近似为与子空间量化器的内积之和。与最近提出的MIPS LSH方法不同，数据库向量和查询不需要在高维特征空间中进行扩充。我们还提供了一个理论分析所提出的方法，包括温和的假设下的浓度结果。此外，如果一个小样本的示例查询是在训练时间，我们提出了一个修改的码本学习过程，进一步提高了准确性。在包括深度神经网络在内的各种数据集上的实验结果表明，所提出的方法显着优于现有的最先进的。
2015-09-04 cs.AI cs.LG stat.ML
Optimal Time Bounds for Approximate Clustering
University of Texas at Austin（德克萨斯大学奥斯汀分校）
聚类问题是无监督学习中的一个基本问题，作为混合模型的学习问题和优化问题得到了广泛的研究。在本文中，我们研究聚类方面的K-中位数的目标函数，一个自然的公式，聚类中，我们试图最大限度地减少平均距离聚类中心。本文的主要贡献之一是一个简单但功能强大的采样技术，我们称之为连续采样，可以独立的利益。我们表明，我们的采样过程可以快速识别一个小的点集（大小为O（klog{n/k}）），总结了输入点的聚类目的。使用连续采样，我们开发了一个算法的k-中位数的问题，运行在O（nk）的时间为广泛的k值，并保证，以高概率，返回一个解决方案的成本最多一个常数因子倍最优。我们还建立了一个下界的欧米茄（nk）的任何随机常数因子近似算法的k-中位数的问题，即使是一个可以忽略不计的（说1/100）的概率成功。因此，我们建立了一个严格的时间界限θ（nk）的k-中位数问题的k值范围很广。这个问题的最好的上界是O（nk），其中O符号隐藏了n和k中的多对数因子。最好的前一个下界的O（nk）只适用于确定性的k-中位数算法。虽然我们将重点放在k-median目标上，但我们所有的上限也适用于k-means目标。在这种情况下，我们的算法相比，毫不逊色广泛使用的k-均值启发式，它需要O（nk）的时间，只有一个迭代，并没有提供有用的近似保证。
2012-12-12 cs.DS cs.LG stat.ML
Distributed Information-Theoretic Clustering
TU Wien（维也纳工业大学）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（中央理工-高等电力学院）；Montreal Institute for Learning Algorithms (Mila)（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）
我们研究了一种新的多终端信源编码设置的双聚类问题的动机。两个单独的编码器观察两个i.i.d.序列$X^n$和$Y^n$。目标是找到最大化互信息$I(f(X^n); g(Y^n))/n$的速率受限编码$f(x^n)$和$g(z^n)$。我们讨论了这个问题与独立性假设检验、模式识别和信息瓶颈方法的联系。改进以前的基数界限的内部和外部的界限，使我们能够彻底研究的特殊情况下，一个二进制对称源，并量化的差距，在这种特殊情况下的内部和外部的界限。此外，我们研究了一个多描述（MD）扩展的首席运营官（CEO）问题的互信息约束。令人惊讶的是，这个MD-CEO问题允许对可实现区域进行严格的单字母表征。
2021-11-25 cs.IT cs.LG math.IT
Dimensionality Reduction for k-Means Clustering and Low Rank Approximation
Massachusetts Institute of Technology（麻省理工学院）
我们展示了如何近似一个数据矩阵$\mathbf{A}$与一个小得多的草图$\mathbf{\tilde A}$，可用于解决一般类的约束k秩近似问题，在$(1+ε)$误差。重要的是，这类问题包括$k$ -均值聚类和无约束的低秩近似（即主成分分析）。通过将数据点减少到仅$O(k)$维度，我们的方法一般加速这些普遍存在的问题的任何精确、近似或启发式算法。对于$k$ -均值降维，我们提供了许多常见草图绘制技术的$(1+ε)$相对误差结果，包括随机行投影、列选择和近似SVD。对于近似主成分分析，我们给出了一个简单的替代已知的算法，在流媒体设置中的应用程序。此外，我们扩展了最近的工作列为基础的矩阵重建，列子集，不仅“覆盖”一个良好的子空间$\bv{A}$，但可以直接用于计算这个子空间。最后，对于$k$ -均值聚类，我们展示了如何通过将数据点投影到$O(\log k/ε^2)$维度来实现$(9+ε)$近似。这给出了利用$k$的特定结构的第一个结果--在$k$中实现与输入大小无关的维度和次线性。
2015-04-03 cs.DS cs.LG
Sliced Inner Product Gromov-Wasserstein Distances
Center for Applied Mathematics, Cornell University（康奈尔大学应用数学中心）；Department of Mathematics, Imperial College London（伦敦帝国理工学院数学系）；School of Electrical and Computer Engineering, Cornell University（康奈尔大学电气与计算机工程学院）
本文提出切片内积Gromov-Wasserstein距离，解决高维问题的统计和计算扩展性问题，通过旋转不变性性质进行结构和计算性质研究，并在文本聚类和语言模型比较中验证。
2026-05-08 cs.LG math.OC stat.ML
Explaining Kernel Clustering via Decision Trees
Technical University of Munich（慕尼黑工业大学）；Amazon Research（亚马逊研究院）
本文研究可解释核聚类，提出用决策树逼近核k-means诱导的划分，并通过合适的特征选择在保持可解释性的同时不牺牲逼近保证。
2024-02-15 cs.LG
PECANN: Parallel Efficient Clustering with Graph-Based Approximate Nearest Neighbor Search
MIT（麻省理工学院）
本文提出统一密度峰值聚类变体的并行框架 PECANN，通过基于图的近似最近邻搜索和倍增搜索技术实现高效谓词搜索，在高维大规模数据上相比现有方法实现最高两个数量级的加速。
2025-06-03 cs.DC cs.DS cs.LG
Inner Product Aware Quantization: Provably Fast, Accurate, and Adaptive Algorithms
University of Pennsylvania（宾夕法尼亚大学）
本文提出内积感知量化方法，通过优化目标函数并利用自适应随机量化（ASQ）理论，开发出快速且无偏的量化算法，在保证质量的同时比现有方法快2-10倍。
2026-05-29 cs.DS cs.LG
Asymmetric LSH (ALSH) for Sublinear Time Maximum Inner Product Search (MIPS)
Cornell University（康奈尔大学）；Rutgers University（罗格斯大学）
提出了近似\emph{Maximum Inner Product Search}（MIPS）的第一个可证次线性时间算法.我们的建议也是第一个哈希算法搜索（非规范化）的内积作为基础的相似性度量。寻找MIPS的散列方案被认为是困难的。我们正式表明，现有的局部敏感哈希（LSH）框架是不够的，解决MIPS，然后我们扩展现有的LSH框架，允许非对称哈希方案。我们的建议是基于一个有趣的数学现象，其中的内积，独立的非对称变换后，可以转换成近似近邻搜索的问题。这个关键的观察使MIPS的有效次线性哈希方案成为可能。在扩展的非对称LSH（ALSH）框架下，给出了MIPS可证快速哈希方案的显式构造。建议的建设和扩展的LSH框架可能是独立的理论利益。我们提出的算法简单，易于实现。我们评估的方法，检索内部产品，在Netflix和Movielens数据集上的项目推荐的协同过滤任务。
2014-05-22 cs.DS cs.IR cs.LG
