Graph Connectivity in Noisy Sparse Subspace Clustering
Carnegie Mellon University（卡内基梅隆大学）
子空间聚类是将数据点聚类到低维线性/仿射子空间的并集中的问题。它是计算机视觉、图像处理和机器学习中许多重要问题的数学抽象。最近的一系列工作（4，19，24，20）为稀疏子空间聚类（4）提供了强有力的理论保证，稀疏子空间聚类是子空间聚类的最新算法，适用于无噪声和噪声数据集。它表明，在温和的条件下，以高概率没有两个点从不同的子空间聚集在一起。然而，由于臭名昭著的“图连通性问题”（15），这种保证不足以使聚类正确。在本文中，我们调查的图形连接性问题的噪声稀疏子空间聚类，并表明，一个简单的后处理过程是能够提供一致的聚类在一定的“一般位置”或“限制特征值”的假设。我们还表明，我们的条件几乎是紧对抗噪声扰动通过构建一个反例。这些结果提供了第一个确切的聚类保证嘈杂SSC的子空间的尺寸大于3。
2016-04-11 cs.LG stat.ML
Free Gap Information from the Differentially Private Sparse Vector and Noisy Max Mechanisms
Pennsylvania State University（宾夕法尼亚州立大学）
Noisy Max和Sparse Vector是用于差分隐私的选择算法，并且用作更复杂算法的构建块。在本文中，我们表明，这两种算法可以释放额外的信息免费（即，没有额外的隐私成本）。Noisy Max用于返回一组查询中的近似最大值。我们表明，它还可以免费释放近似最大化者和亚军之间的噪音差距。这些免费信息可以将某些后续计数查询的准确性提高高达50%。稀疏向量用于返回一组大约大于固定阈值的查询。我们表明，它可以自适应地控制其隐私预算（使用更少的预算查询，很可能是远远大于阈值），以增加它可以处理的查询量。这些结果来自仔细的隐私分析。
2019-09-15 cs.CR cs.DB cs.LG
Noisy $\ell^{0}$-Sparse Subspace Clustering on Dimensionality Reduced Data
Baidu Research（百度研究院）；Arizona State University（亚利桑那州立大学）
研究表明，基于$\ell^{0}$范数的稀疏子空间聚类方法（$\ell^{0}$-SSC）~ \citep{YangFJYH16-L0SSC-ijcv}比稀疏子空间聚类方法（SSC）~ $\ell^{1}$更有效.然而，$\ell^{0}$ -SSC的理论分析仅限于完全位于子空间中的干净数据。真实数据经常受到噪声的影响，并且它们可能位于子空间附近。在本文中，我们表明，噪声$\ell^{0}$ -SSC的优化问题的最佳解决方案实现子空间检测性能（SDP），一个关键因素，从不同的子空间的数据分离，在确定性和半随机模型。我们的结果首次从理论上保证了噪声$\ell^{0}$ -SSC在噪声数据上的SDP的正确性，从而揭示了噪声$\ell^{0}$ -SSC在对子空间亲和度的限制条件少得多方面的优势.为了提高噪声$\ell^{0}$ -SSC的效率，我们提出了Noisy-DR- $\ell^{0}$ -SSC，它可证明地恢复降维数据上的子空间。Noisy-DR- $\ell^{0}$ -SSC首先通过随机投影将数据投影到低维空间，然后对投影数据执行Noisy $\ell^{0}$ -SSC以提高效率。实验结果证明了Noisy-DR- $\ell^{0}$ -SSC的有效性。
2022-06-22 cs.LG stat.ML
Query-Efficient Correlation Clustering with Noisy Oracle
CENTAI Institute（CENTAI研究所）；Eurecat（欧雷特卡特研究中心）；Microsoft Research（微软研究院）
针对相似度计算成本高且带噪的聚类场景，研究者基于组合多臂老虎机纯探索范式提出两种在线学习问题构造，设计了结合采样策略与经典相关聚类近似算法的方案，首次给出底层问题为NP难的该类场景多项式时间算法。
2024-11-03 cs.DS cs.LG stat.ML
Clustering Noisy Signals with Structured Sparsity Using Time-Frequency Representation
the Hebrew University of Jerusalem（耶路撒冷希伯来大学）
我们提出了一个简单而有效的时间序列聚类框架，特别适合于低信噪比（SNR），同时平滑和降维，旨在保留聚类信息。我们扩展了稀疏K-均值算法，将结构稀疏，并使用它来利用小波的多尺度特性和多变量信号的组结构。最后，我们用散射变换提取对平移和缩放不变的特征，这对应于一个卷积网络，其滤波器由小波算子给出，并在稀疏聚类中使用网络的结构。通过提高稀疏性，这种变换可以产生信号的低维表示，从而在多个真实数据集上提供改进的聚类结果。
2015-10-18 cs.LG stat.ML
Active Imitation Learning with Noisy Guidance
University of Maryland（马里兰大学）；Microsoft Research（微软研究院）
模仿学习算法通过学习接近最优的搜索策略，在许多结构化预测任务上提供最先进的结果。这样的算法假设训练时间访问专家，可以在任何查询状态下提供最佳动作;不幸的是，这样的查询的数量往往是禁止的，经常使这些方法不切实际。为了对抗这种查询的复杂性，我们考虑一个主动学习设置中，学习算法有额外的访问一个便宜得多的嘈杂启发式，提供嘈杂的指导。我们的算法，LEAQI，学习一个差异分类器，预测当专家可能不同意的启发式，并询问专家只有在必要的时候。我们将LEAQI应用于三个序列标签任务，展示了对专家的查询显着减少，并且与被动方法相比具有相当（或更好）的准确性。
2020-05-26 cs.AI cs.CL cs.LG
COBRAS: Fast, Iterative, Active Clustering with Pairwise Constraints
Department of Computer Science, KU Leuven（比利时鲁汶大学计算机科学系）
基于约束的聚类算法利用背景知识来构造与特定用户的兴趣一致的聚类。这种背景知识通常是通过允许聚类系统向用户提出成对查询来获得的：这两个元素是否应该在同一个聚类中？主动聚类方法的目标是通过首先查询信息量最大的对来最小化获得良好聚类所需的查询数量。理想情况下，用户应该能够回答其中的几个查询，检查结果聚类，并重复这两个步骤，直到获得满意的结果。我们提出了COBRAS，一种主动聚类与成对的约束，适合这样一个互动的聚类过程。COBRAS中的一个核心概念是超级实例：数据中的一个局部区域，其中所有实例都被假设属于同一个集群。COBRAS构建这样的超级实例在一个自上而下的方式产生高质量的结果在聚类过程的早期，并不断完善这些超级实例，更多的成对查询，以获得更详细的clustrings.We实验证明，COBRAS产生良好的聚类在快速运行时间，使其成为一个很好的候选人的迭代聚类场景上面概述。
2018-03-29 cs.AI cs.LG stat.ML
Noisy Blackbox Optimization with Multi-Fidelity Queries: A Tree Search Approach
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Carnegie Mellon University（卡内基梅隆大学）
我们研究的问题，黑盒优化的噪声函数的存在下，低成本的近似或qualities，这是出于超参数调整等问题。在超参数调整中，在一个点上评估黑盒函数涉及在特定超参数下在大型数据集上训练学习算法并评估验证误差。即使是一次这样的评估也可能是昂贵的。因此，使用低成本近似是有益的，例如在整个数据集的子采样版本上训练学习算法。然而，这些低成本近似/近似值可以提供函数值的有偏和有噪声的估计。在这项工作中，我们将多保真度设置在强大的框架，嘈杂的黑盒优化，通过树状分层分区。我们提出了一个多保真度强盗树搜索算法的问题，并提供简单的遗憾界我们的算法。最后，我们验证了我们的算法在真实和合成数据集上的性能，它优于几个基准。
2018-10-24 cs.LG stat.ML
Noisy subspace clustering via matching pursuits
ETH Zurich（苏黎世联邦理工学院）
基于稀疏性的子空间聚类算法因其在实际应用中的优异性能而受到广泛关注。一个突出的例子是Elhamifar和Vidal的稀疏子空间聚类（SSC）算法，该算法基于通过Lasso稀疏地表示每个数据点的所有其他数据点获得的邻接矩阵来执行谱聚类。当数据点的数量很大或周围空间的维数很高时，SSC的计算复杂性很快变得令人望而却步。Dyer等人观察到，通过用贪婪正交匹配追踪（OMP）算法替换Lasso获得的SSC-OMP导致显著更低的计算复杂性，同时通常产生相当的性能。本文的中心目标是分析性能表征的SSC-OMP噪声数据。此外，我们介绍和分析的SSC-MP算法，它采用匹配追踪（MP）代替OMP。SSC-OMP和SSC-MP都被证明是成功的，即使当子空间相交，当数据点被严重的噪声污染。聚类条件，我们得到的SSC-OMP和SSC-MP是类似的SSC和基于阈值的子空间聚类（TSC）算法由于Heckel和Bölcskei。分析结果与数值结果相结合表明，SSC-OMP和SSC-MP与数据相关的停止标准自动检测的数据下的子空间的尺寸。此外，合成和真实数据上的实验表明，SSC-MP相比非常有利的SSC，SSC-OMP，TSC，和最近子空间邻居算法，无论是在聚类性能和运行时间。此外，我们发现，相比于SSC-OMP，SSC-MP的性能是非常强大的停止标准中的参数的选择。
2018-06-08 cs.IT cs.LG math.IT
Noisy Sparse Subspace Clustering
研究了噪声环境下的子空间聚类问题。具体来说，我们研究了稀疏子空间聚类（SSC）的行为时，无论是敌对或随机噪声被添加到未标记的输入数据点，这是假设在低维子空间的联合。我们表明，修改后的版本的SSC是\emph{provably effective}在正确识别的基础子空间，即使有噪音的数据。这将该算法的理论保证扩展到更实际的设置，并为SSC在一类实际应用中的成功提供了理由。
2015-01-22 stat.ML
A Data-Informed Variational Clustering Framework for Noisy High-Dimensional Data
Department of Mathematics, Fu Jen Catholic University, Taipei, Taiwan（辅仁大学数学系，台北，台湾）
本文提出DIVI框架，结合全局特征门控与基于分割的自适应结构生长，以稳定优化并学习特征相关性，提升高维噪声环境下聚类性能。
2026-04-08 cs.LG stat.ML
Improving clustering quality evaluation in noisy Gaussian mixtures
School of Computer Science and Electronic Engineering, University of Essex（埃塞克斯大学计算机科学与电子工程学院）；Département d’informatique, Université du Québec à Montréal（魁北克大学蒙特利尔分校计算机科学系）；Mila - Quebec AI Institute（魁北克AI研究院）
本文提出FIR方法，通过调整特征贡献提升聚类验证质量，尤其在高维或噪声数据中增强评估可靠性。
2026-03-10 cs.LG stat.ML
Exact Recovery of Mangled Clusters with Same-Cluster Queries
Sapienza University of Rome（罗马第一大学）；Univ. of Milan（米兰大学）；Google（谷歌）；Istituto Italiano di Tecnologia（意大利理工学院）
研究了半监督主动聚类框架下的聚类恢复问题。给定一组有限的输入点，以及揭示任何两个点是否位于同一个簇中的预言，我们的目标是使用尽可能少的查询来精确地恢复所有簇。为此，我们放松了Ashtiani等人的球形$k$ -均值聚类假设。以允许具有边缘的任意椭圆形簇。这消除了聚类是基于中心的假设（即，通过优化问题定义），并且包括通过旋转、轴缩放和点删除的任何组合单独变换球形簇的所有那些情况。我们表明，即使在这个更一般的设置，它仍然是可以恢复的潜在的聚类使用的查询数量，规模仅与输入点的数量几何。更确切地说，我们设计了一个算法，给定$n$点被划分成$k$集群，使用$O(k^3 \ln k \ln n)$ oracle查询和$\tilde{O}(kn + k^3)$时间来恢复聚类，具有零误分类错误。的$O(\cdot)$符号隐藏了指数依赖的簇的维数，这是必要的，从而表征查询的复杂性的问题。我们的算法是简单的，易于实现，也可以学习集群使用低拉伸分离器，一类椭球体与额外的理论保证。在大规模人工数据集上的实验表明，该算法能够准确、高效地重构聚类。
2020-10-30 cs.LG stat.ML
Iterative Subsampling in Solution Path Clustering of Noisy Big Data
我们开发了一种迭代子采样方法，以提高我们以前的工作解决方案路径聚类（SPC）的计算效率。SPC方法通过对聚类中心之间的成对距离进行凹正则化来实现聚类。这种聚类方法具有识别噪声和提供聚类解决方案的短路径的重要能力;然而，它对于大数据集不够快。因此，我们提出了一种方法，该方法在聚类完整数据的一个小子样本和顺序分配其他数据点之间进行迭代，以获得数量级的计算节省。新方法保留了隔离噪声的能力，包括一个解决方案选择机制，最终提供一个聚类解决方案的估计数量的集群，并被证明能够从嘈杂的数据中提取小的紧密集群。该方法的准确性相对较小的损失，证明通过模拟研究，并通过基因表达数据集的应用程序来说明其处理大型数据集的能力。可在www.example.com上获得用于具有迭代子采样的SPC方法的R包SPClustering。
2015-07-16 stat.ME stat.ML
Provable Noisy Sparse Subspace Clustering using Greedy Neighbor Selection: A Coherence-Based Perspective
稀疏子空间聚类（SSC）使用基于贪婪的邻居选择，如匹配追踪（MP）和正交匹配追踪（OMP），已被称为是一种流行的计算效率高的替代传统的基于L1最小化的方法。在确定性有界噪声腐败，在本文中，我们推导出基于相干性的充分条件，保证正确的邻居识别使用MP/OMP。我们的分析利用了两个噪声数据点之间的最大/最小内积受到一个已知的上限的噪声水平。所得到的充分条件清楚地揭示了噪声对基于贪婪的邻居恢复的影响。具体地说，它断言，只要噪声足够小，使得所得到的扰动残差向量保持接近所需的子空间，MP和OMP都成功地返回正确的邻居子集。一个惊人的发现是，当地面真值子空间彼此分离并且噪声不大时，基于MP的迭代在享受较低算法复杂度的同时，产生较小的残差扰动，从而能够更好地识别正确的邻居，进而实现更高的全局数据聚类精度。大量的数值实验被用来证实我们的理论研究。
2020-02-02 cs.LG stat.ML
Query K-means Clustering and the Double Dixie Cup Problem
UIUC（伊利诺伊大学厄巴纳-香槟分校）
我们考虑的问题近似$K$ -均值聚类离群值和侧信息提供了相同的集群查询和可能的噪音答案。我们的解决方案表明，在一些温和的假设下，最小的集群大小，可以获得一个$(1+ε)$ -近似的概率至少$1-δ$，其中$ε>0$和$δ\in(0,1)$的最佳潜力，使用预期数量的$O(\frac{K^3}{εδ})$无噪声同簇查询和基于比较的聚类的复杂性$O(ndK + \frac{K^3}{εδ})$，在这里，$n$表示点的数量和$d$空间的维度。与少数其他已知的方法，执行重要性采样，以考虑小集群的大小相比，所提出的查询技术减少了查询的数量的一个因素，大约$O(\frac{K^6}{ε^3})$，在可能丢失非常小的集群的成本。我们将此设置扩展到对Oracle的某些查询产生错误信息的情况，以及某些点（称为离群值）不属于任何聚类的情况。我们的证明技术不同于以前的方法用于$K$ -均值聚类分析，因为它们依赖于估计的集群的大小和精确的质心估计和随后的非平凡的双迪克西杯问题的推广所需的点的数量。我们说明了所提出的算法在合成和真实数据集，包括MNIST和CIFAR $10$的性能。
2018-11-12 cs.LG stat.ML
Local Graph Clustering with Noisy Labels
University of Waterloo（滑铁卢大学）
本文研究如何利用含噪节点标签进行局部图聚类，提出基于标签构建加权图并执行图扩散的方法，从理论上证明其恢复优势，并在多个真实数据集上将F1最高提升13%。
2024-03-04 cs.LG cs.SI stat.ML
A Theoretical Analysis of Noisy Sparse Subspace Clustering on Dimensionality-Reduced Data
Carnegie Mellon University（卡内基梅隆大学）
子空间聚类是将未标记的数据点划分为多个簇的问题，使得一个簇内的数据点近似位于低维线性子空间上。在许多实际应用中，由于测量、计算或隐私等方面的限制，待聚类数据点的维数被压缩。本文研究了一种流行的子空间聚类算法稀疏子空间聚类（SSC）的理论性质，建立了稀疏子空间聚类在降维数据上的形式化成功条件。我们的分析适用于最一般的完全确定性模型，其中每个子空间内的底层子空间和数据点都是确定性定位的，并且还适用于各种降维技术（例如，高斯随机投影，均匀子采样，草图），落入子空间嵌入框架（Meng & Mahoney，2013; Avron等人，2014年）。最后，我们将我们的分析应用于差分私有SSC算法，并建立了所提出的方法的隐私和效用保证。
2016-10-24 cs.LG stat.ML
A Nested Matrix-Tensor Model for Noisy Multi-view Clustering
本文提出嵌套矩阵-张量模型，通过最佳秩一张量近似解决噪声多视图聚类问题，并从理论上刻画其大维性能与相变现象，实验证明其准确率优于忽略低秩结构的展开算法。
2023-05-31 cs.LG stat.ML
A flexible EM-like clustering algorithm for noisy data
Laboratoire des Signaux et Systèmes (L2S)（信号与系统实验室）；CentraleSupélec-CNRS-Université Paris-Sud（巴黎中央理工-高等电力学院-法国国家科学研究中心-巴黎第十一大学）；Université Paris-Saclay（巴黎萨克雷大学）；Instituto de Cálculo（计算研究所）；Universidad de Buenos Aires（布宜诺斯艾利斯大学）；IMAS-CONICET（阿根廷国家科学技术研究委员会数学应用研究所）
虽然EM for GMM算法非常流行，但众所周知，EM for GMM算法具有非高斯分布形状，离群值和高维性。在本文中，我们设计了一个新的强大的聚类算法，可以有效地处理不同的数据集的噪声和离群点。作为一种类EM算法，它同时基于聚类中心和协方差的估计。此外，使用半参数范例，该方法估计每个数据点的未知尺度参数。这使得算法能够适应较重的尾部分布和离群值，而不会在各种经典场景中显着降低效率。我们首先推导和分析所提出的算法的背景下，椭圆分布，特别是重要的不敏感性的基本数据分布。然后，我们研究的收敛性和精度的算法，考虑第一合成数据。然后，我们表明，该算法优于其他经典的无监督方法的文献，如k-均值，EM高斯混合模型及其最近的修改或谱聚类时，应用到真实的数据集MNIST，NORB，和20新闻组。
2020-10-05 cs.LG stat.ML
Adaptive Noisy Clustering
研究了自适应噪声聚类问题。给定一组噪声观测值$Z_i=X_i+ε_i$、$i=1,...,n$，目标是设计与$X_i$定律相关的聚类，其中关于勒贝格测度具有未知密度$f$。由于我们观察到一个损坏的样本，在这种情况下，流行的{ \it $k$ -means}的直接方法不适用。在本文中，我们提出了一个噪声$k$ -均值最小化，这是基于$k$ -均值损失函数和密度$f$的反卷积估计。特别地，该方法受到对反卷积核中涉及的带宽的依赖性的影响。快速收敛速度的超额风险提出了一个特定的选择的带宽，这取决于密度$f$的平滑度。然后，我们转入本文的主要问题：数据驱动的带宽选择。我们状态的自适应上限的一个新的选择规则，称为ERC（经验风险比较）。该选择规则基于Lepski原理，其中比较了与不同带宽相关联的经验风险。最后，我们说明，这种自适应规则可以用于许多统计问题的$M$估计的经验风险取决于一个冗余参数。
2013-06-10 math.ST stat.ML stat.TH
How to Design Robust Algorithms using Noisy Comparison Oracle
基于度量的比较操作，如寻找最大值，最近和最远邻居是研究各种聚类技术，如$k$ -中心聚类和凝聚层次聚类的基础。这些技术关键依赖于记录之间的成对距离的准确估计。然而，计算记录的确切特征及其成对距离通常具有挑战性，有时甚至不可能。我们通过以比较预言的形式利用弱监督来规避这一挑战，该比较预言比较查询点之间的相对距离，例如"点u更接近v还是w更接近x？“'.但是，使用比较Oracle可能会发现某些查询比其他查询更容易回答。我们通过引入两种不同的噪声模型来捕捉这一点，称为对抗性噪声和概率噪声。在本文中，我们研究了各种问题，包括寻找最大值，最近/最远邻居搜索这些噪声模型。建立在我们开发的这些比较操作的技术，我们给强大的算法k-中心聚类和凝聚层次聚类。我们证明了我们的算法实现了很好的近似保证的概率很高，并分析其查询复杂度。我们在各种真实世界的数据集上凭经验评估我们的技术的有效性和效率。
2021-05-12 cs.DB cs.DS stat.ML
On Margin-Based Cluster Recovery with Oracle Queries
Univ. of Milan（米兰大学）；Google（谷歌）；Istituto Italiano di Tecnologia（意大利技术研究院）
我们研究了一个积极的集群恢复问题，给定一组$n$点和一个oracle回答查询，如“这两个点在同一个集群？“，任务是使用尽可能少的查询来精确恢复所有群集。首先，我们引入一个简单但一般的概念，集群之间的利润率，捕捉，作为特殊情况下，在以前的工作中使用的利润率，经典的SVM利润率，和基于中心的聚类的稳定性的标准概念。然后，根据我们的利润假设，我们设计的算法，在各种设置，恢复所有的集群完全使用$O(\log n)$查询。对于欧几里德的情况下，$\mathbb{R}^m$，我们给出了一个算法，恢复任意凸簇，在多项式时间内，并与查询的数量是低于现有的最佳算法的$Θ(m^m)$因素。对于一般的伪度量空间，集群可能不是凸的或可能没有任何概念的形状，我们给出了一个算法，实现了$O(\log n)$查询界，并证明是近最优的包装数量的空间的函数。最后，聚类实现的二进制概念类，我们给出了一个组合表征的可恢复性与$O(\log n)$查询，我们表明，在欧氏空间中的许多概念类，这种表征是等价于我们的边际条件。我们的研究结果表明，集群边缘和活跃的集群可恢复性之间有很深的联系。
2021-06-09 cs.LG stat.ML
Active Diagnosis via AUC Maximization: An Efficient Approach for Multiple Fault Identification in Large Scale, Noisy Networks
University of Michigan（密歇根大学）；University of Texas Medical Branch（德克萨斯大学医学部）；Institute for Translational Sciences（转化科学研究所）；Electrical Engineering and Computer Science（电气工程与计算机科学学院）
主动诊断的问题出现在诸如疾病诊断和计算机网络中的故障诊断的若干应用中，其中目标是快速识别一组对象的二进制状态（例如，故障或工作）通过顺序地选择和观察对二进制值查询的（噪声）响应。目前在这方面的算法依赖于循环的信念传播主动查询选择。这些算法具有指数级的时间复杂度，这使得它们在大型网络中变得缓慢甚至难以处理。我们提出了一个基于排名的贪心算法，顺序选择查询，使基于排名的输出的ROC曲线下的面积最大化。AUC准则允许我们做出一个简化的假设，显著降低了主动查询选择的复杂性（从指数到接近二次），而对性能质量几乎没有影响。
2012-02-14 cs.AI cs.LG stat.ML
Semi-crowdsourced Clustering with Deep Generative Models
Tsinghua University（清华大学）
我们考虑半监督聚类问题，其中众包提供关于数据的小子集上的成对比较的噪声信息，即，样本对是否在同一个聚类中。我们提出了一种新的方法，包括一个深度生成模型（DGM）来表征数据的低级特征，以及一个统计关系模型，用于在其子集上进行噪声成对注释。这两部分共享潜在变量。为了使模型在其复杂性和拟合数据之间自动权衡，我们还开发了其完全贝叶斯变体。推理的挑战是解决快速（自然梯度）随机变分推断算法，在那里我们有效地结合了变分消息传递的关系部分和摊销学习的DGM在一个统一的框架下。在合成数据集和真实数据集上的实证结果表明，我们的模型优于以前的众包聚类方法。
2018-10-29 cs.LG stat.ML
Kernelized Weighted SUSAN based Fuzzy C-Means Clustering for Noisy Image Segmentation
Jadavpur University（贾达普大学）；Indian Statistical Institute（印度统计研究所）
本文提出了一种新的核化图像分割方案的噪声图像，利用最小单值段同化核（SUSAN）的概念，并通过计算圆形彩色地图诱导的权重，结合空间约束。基于相应的加权SUSAN面积值获得每个核或中心像素的模糊阻尼系数，权重等于从中心像素到达邻域像素所需的水平和垂直移动的数量的倒数。这些权重用于改变基于内核的框架中不同核的贡献。本文还提出了一种边缘质量度量，通过基于模糊决策的边缘候选选择和边缘选择后的模糊度的最终计算来获得。现有的算法无法保留边缘信息和结构的细节，在其分割的地图有必要计算的边缘质量因子（EQF）的所有竞争算法。定性和定量分析已经呈现相对于国家的最先进的算法和图像充满了不同类型的噪声。斑点噪声缠身的SAR图像和Rician噪声缠身的磁共振图像也被认为是评估所提出的算法在提取重要的分割信息的有效性。
2016-03-28 cs.CV stat.ML
Faster DBSCAN via subsampled similarity queries
Google Research（谷歌研究）；Waymo
DBSCAN是一种流行的基于密度的聚类算法。它计算数据集的$ε$ -邻域图，并使用高度节点的连通分量来确定聚类。然而，全邻域图可能太昂贵而无法以$O(n^2)$的最坏情况复杂度来计算。在本文中，我们提出了一个简单的变种称为SNG-DBSCAN，它集群的基础上的一个子采样$ε$ -邻域图，只需要访问相似性查询对点，特别是避免了任何复杂的数据结构，需要嵌入的数据点本身。程序的运行时间为$O(sn^2)$，其中$s$为采样率。我们表明，在一些自然的理论假设下，$s \approx \log n/n$是足够的统计集群恢复保证导致$O(n\log n)$的复杂性。我们提供了一个广泛的实验分析，表明在大型数据集上，可以对邻域图的$0.1\%$进行子采样，与scikit-learn的DBSCAN实现相比，可以实现超过200倍的加速和250倍的RAM消耗减少，同时仍然保持有竞争力的聚类性能。
2020-10-22 cs.LG stat.ML
Optimal Clustering from Noisy Binary Feedback
School of Electrical Engineering and Computer Science, KTH（KTH皇家理工学院电气工程与计算机科学学院）；CyberAgent（CyberAgent公司）；Department of Computer Science and Engineering, POSTECH（浦项科技大学计算机科学与工程系）；Graduate School of AI, KAIST（韩国科学技术院人工智能研究生院）
研究从带噪声二值用户反馈中聚类物品的问题，提出基于K-means的均匀选择算法和受信息论下界启发的自适应算法，后者通过更频繁选择难聚类物品和相关问题高效分配预算，显著降低簇恢复错误率。
2024-02-05 cs.LG stat.ML
Active embedding search via noisy paired comparisons
Georgia Institute of Technology（佐治亚理工学院）
假设我们希望从形式为“用户$w$更喜欢项目$p$还是项目$q$？”的配对比较来估计用户的偏好向量$w$，其中用户和项目都嵌入在低维欧几里得空间中，其距离反映了用户和项目的相似性。这种观察出现在许多环境中，包括心理测量学和心理学实验，搜索任务，广告和推荐系统。在这样的任务中，查询可能是非常昂贵的，并受到不同程度的响应噪声;因此，我们的目标是积极选择对最翔实的先前比较的结果。我们提供了新的理论见解贪婪的信息最大化在这种情况下的好处和挑战，并开发了两种新的策略，最大限度地提高信息增益的下限，更简单的分析和计算。我们使用来自真实世界数据集的模拟响应来验证我们的策略，通过它们与贪婪信息最大化相似的性能，以及它们优于最先进的选择方法和随机查询的偏好估计。
2019-05-24 cs.LG stat.ML
Semi-Supervised Active Clustering with Weak Oracles
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
半监督主动聚类（SSAC）利用领域专家的知识，通过交互式地进行成对的“同类”查询来聚类数据点。然而，要求人类预言机回答每个成对查询是不切实际的。在本文中，我们研究的影响，允许“不确定”的答案从一个弱的预言，并提出算法，以有效地处理不确定性。不同类型的模型假设进行了分析，以涵盖现实的情况下，甲骨文抽象。在第一个模型中，随机弱预言机，预言机以一定的概率随机弃权。我们还提出了两个距离弱预言机模型，模拟了两点之间的距离在成对查询混淆的情况。对于每个弱预言模型，我们表明，一个小的查询复杂度是足够的有效的$k$手段聚类的概率高。用于保证的充分条件包括数据的$γ$ -余量属性，以及存在接近每个聚类中心的点。此外，我们提供了一个样本的复杂性，降低了集群的利润率的影响，只有对数依赖于数据维度。我们的研究结果允许显着减少相同的集群查询的数量，如果集群的边缘是紧的，即$γ\approx 1$。合成数据的实验结果表明，我们的方法在克服不确定性的有效性能。
2017-09-11 cs.LG stat.ML
Clustering With Side Information: From a Probabilistic Model to a Deterministic Algorithm
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google（谷歌）
在本文中，我们提出了一种基于模型的聚类方法（TVClust），鲁棒地将噪声边信息作为软约束，旨在寻求边信息和观测数据之间的共识。我们的方法是基于一个非参数贝叶斯分层模型，该模型结合了数据实例的概率模型和边信息的概率模型。提出了一种有效的吉布斯抽样后验推理算法。使用我们的概率模型的小方差渐近性，然后，我们推导出一个新的确定性聚类算法（RDP-means）。它可以被视为K均值的扩展，允许包含边信息，并具有不需要先验指定聚类数的附加属性。已经进行了实证研究，比较我们的工作与许多约束聚类算法的文献上的各种数据集和各种条件下，如使用嘈杂的边信息和错误的k值。我们的实验结果表明，在这些条件下，我们的概率和确定性的方法相比，在文献中的其他算法强有力的结果。
2015-10-31 cs.AI cs.LG stat.CO
Curriculum Learning for Deep Generative Models with Clustering
Xiaomi AI Lab（小米人工智能实验室）；Chinese University of Hong Kong（香港中文大学）；Peking University（北京大学）
训练像生成对抗网络（GAN）这样的生成模型对于噪声数据来说是一个挑战。提出了一种新的基于聚类的课程学习算法。课程建设是基于数据点的底层集群的中心性。在训练期间，高中心性的数据点优先被馈送到生成模型中。为了使我们的算法可扩展到大规模数据，设计了活动集，在这个意义上，每一轮的训练只在包含一小部分已经训练过的数据和较低中心度的增量数据的活动子集上进行。此外，本文还从几何学的角度分析了集群课程生成模式的必要性。在猫和人脸数据上的实验验证了我们的算法能够学习最佳生成模型（例如ProGAN），并针对噪声数据的指定质量度量。一个有趣的发现是，最佳集群课程是密切相关的临界点的几何渗流过程中制定的文件。
2019-09-26 cs.CV cs.LG stat.ML
Estimating Information Flow in Deep Neural Networks
Massachusetts Institute of Technology（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
我们研究了深度神经网络（DNN）训练过程中的信息流和内部表示的演变，旨在揭开信息瓶颈理论的压缩方面的神秘面纱。该理论表明，DNN训练包括快速拟合阶段，然后是较慢的压缩阶段，其中输入$X$和内部表示$T$之间的互信息$I(X;T)$减少。几篇论文观察到不同DNN模型上的估计互信息的压缩，但这些网络上的真实$I(X;T)$可以证明是常数（离散$X$）或无限（连续$X$）。这项工作解释了理论和实验之间的差异，并澄清了这些过去的工作实际测量的内容。为此，我们引入了一个辅助（噪声）DNN框架，其中$I(X;T)$是一个依赖于网络参数的有意义的量。这个嘈杂的框架被证明是一个很好的代理原始（确定性）DNN的性能和学习的表示。然后，我们开发了一个严格的估计$I(X;T)$在嘈杂的DNN和观察各种模型中的压缩。通过将噪声DNN中的$I(X;T)$与信息论通信问题相关联，我们表明压缩是由来自同一类的输入的隐藏表示的渐进聚类驱动的。几种方法来直接监测聚类的隐藏表示，无论是在嘈杂的和确定性的DNN，显示有意义的集群形成的$T$空间。最后，我们回到估计$I(X;T)$在过去的作品中，并证明，虽然它不能捕捉到真正的（空洞的）互信息，它确实作为聚类的措施。这澄清了过去对压缩的观察，并将隐藏表示的几何聚类隔离为真正的感兴趣现象。
2019-05-30 cs.LG stat.ML
Relaxed Oracles for Semi-Supervised Clustering
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
成对“同簇”查询是半监督聚类中最广泛使用的监督形式之一。然而，要求人类神谕正确回答每个查询是不切实际的。在本文中，我们研究的影响，允许“不确定”的答案从一个弱的预言，并提出了一个有效的算法来处理这种不确定性的查询响应。两个现实的弱预言模型被认为是在回答的歧义取决于两点之间的距离。我们表明，一个小的查询复杂度是足够的有效聚类的概率高，提供更好的对弱预言。合成和真实数据的实验结果表明，我们的方法在克服监督的不确定性，产生高质量的集群的有效性。
2017-11-20 cs.LG stat.ML
COBRA: A Fast and Simple Method for Active Clustering with Pairwise Constraints
KU Leuven（鲁汶大学）
聚类本质上是不适定的：单个数据集通常存在多个有效的聚类，如果没有任何额外的信息，聚类系统就无法知道它应该生成哪个聚类。这促使在聚类中使用约束，因为它们允许用户将他们的兴趣传达给聚类系统。基于主动约束的聚类算法选择最有用的约束进行查询，旨在使用尽可能少的约束产生良好的聚类。我们提出了COBRA，一个积极的方法，第一次过集群的数据运行K-means与$K$，这是打算太大，随后合并产生的小集群成较大的成对约束的基础上。在其合并步骤中，COBRA是能够保持成对查询的数量低，最大限度地利用约束传递性和蕴涵。我们的实验表明，COBRA优于国家的最先进的聚类质量和运行时间，而不需要预先的集群数量。
2018-01-30 cs.AI cs.LG stat.ML
Optimal construction of k-nearest neighbor graphs for identifying noisy clusters
研究了基于邻域图的随机样本数据点聚类算法。我们要问的问题是如何构建这样的图，以获得最佳的聚类结果。应该选择哪种类型的邻域图，相互k-最近邻还是对称k-最近邻？最佳参数k是多少？在我们的设置中，聚类被定义为底层概率分布的t水平集的连通分量。如果图中的连通分量对应于真正的底层聚类，则聚类被称为在邻域图中被标识。使用随机几何图论的技术，我们证明了成功识别集群的概率上的界限，无论是在一个无噪声和嘈杂的设置。这些界限导致了几个结论。首先，k必须选择得出奇的高（而不是n阶，而不是log n阶），以最大化聚类识别的概率。其次，当人们试图只检测最重要的聚类时，相互和对称k-最近邻图之间的主要差异发生。
2009-12-17 math.ST stat.ML stat.TH
