Breaking Privacy in Federated Clustering: Perfect Input Reconstruction via Temporal Correlations
本文揭示联邦聚类中质心披露存在新的时间相关性泄漏机制,并提出轨迹感知重建(TAR)攻击,首次证明可通过时间分配信息与代数分析完美恢复原始输入,揭示隐私与效率的根本矛盾。
2025-11-10 cs.LG
Generalized Clustering and Multi-Manifold Learning with Geometric Structure Preservation
Zhejiang University(浙江大学);Westlake University(西湖大学)
虽然基于流形的聚类已经成为一个热门的研究课题,我们观察到,一个重要的因素已经被忽略了这些作品,即定义的聚类损失可能会损坏潜在空间的局部和全局结构。在本文中,我们提出了一种新的广义聚类和多流形学习(GCML)框架与广义数据的几何结构保持,即,不限于二维图像数据,在语音、文本和生物学领域有广泛的应用。在所提出的框架中,流形聚类是在潜在空间中进行的,由聚类损失指导。为了克服面向聚类的损失可能会恶化潜在空间的几何结构的问题,提出了等距损失的局部保持内部流形结构和排名损失的内部流形结构的全局。大量的实验结果表明,GCML表现出优越的性能,同行的定性可视化和定量指标,这表明保持几何结构的有效性。
2021-10-09 cs.AI cs.LG stat.ML
Two-layer clustering-based sparsifying transform learning for low-dose CT reconstruction
University of Michigan - Shanghai Jiao Tong University Joint Institute, Shanghai Jiao Tong University(上海交通大学密西根学院);Michigan State University(密歇根州立大学)
从低剂量计算机断层扫描(LDCT)测量中获得高质量的重建在临床环境中非常重要。基于模型的图像重建方法已被证明是有效的消除LDCT中的伪影。在这项工作中,我们提出了一种方法来学习一个丰富的基于两层聚类的稀疏化变换模型(MCST 2),其中图像补丁及其后续的特征图(滤波器残差)被聚类成组,每组具有不同的学习稀疏化滤波器。我们研究了一种惩罚加权最小二乘法(PWLS)的LDCT重建方法,将学习MCST 2先验。实验结果表明,所提出的PWLS-MCST 2方法相比,其他相关的最新计划的优越性能。
2020-11-01 cs.CV cs.LG eess.IV
Higher-Order Spectral Clustering for Geometric Graphs
Inria Sophia Antipolis(法国国家信息与自动化研究所索菲亚·安蒂波利斯分部)
本文主要研究几何图的聚类问题。虽然标准的谱聚类往往是无效的几何图形,我们提出了一个有效的推广,我们称之为高阶谱聚类。它在概念上类似于经典的谱聚类方法,但用于划分与高阶特征值相关联的特征向量。我们建立了一个广泛的一类几何图,我们称之为软几何块模型的算法的弱一致性。算法的小调整提供了强一致性。我们还表明,我们的方法是有效的数值实验,即使是适度的大小的图形。
2021-03-15 cs.LG cs.SI math.PR
Spectral Robustness for Correlation Clustering Reconstruction in Semi-Adversarial Models
Sapienza University(罗马第一大学);Bocconi University(博科尼大学)
相关聚类是一个重要的聚类问题,有着广泛的应用。我们研究了这个问题的重建版本,其中一个是寻求重建一个潜在的聚类,已被随机噪声和对抗性修改损坏。关于后者,在文献中有一个标准的“后对抗”模型,其中对抗性修改在噪声之后。在这里,我们介绍并分析了一个“预对抗”模型,其中对抗性修改先于噪声。给定来自这种半对抗生成模型的输入,目标是几乎完美地重建潜在聚类,并且具有很高的概率。我们专注于隐藏聚类具有几乎相等大小的情况,并显示以下内容。在对抗前的环境中,谱算法是最佳的,因为它们一直重建到信息论阈值,超过该阈值就不可能重建。这与后对抗设置相反,在后对抗设置中,它们恢复隐藏聚类的能力在阈值之前停止,但基于SDP的算法最佳地填补了这一空白。这些结果突出了迄今为止未知的光谱算法的鲁棒性,表明它们比以前认为的更脆弱。
2022-02-08 cs.DS cs.LG
Learning idempotent representation for subspace clustering
College of Information Engineering, Shanghai Maritime University(上海海事大学信息工程学院)
谱型子空间聚类算法成功的关键是寻找能真实反映数据集子空间结构的重构系数矩阵。理想的重构系数矩阵应该具有两个性质:1)它是块对角的,每个块指示子空间; 2)每个块是完全连接的。虽然已经提出了各种谱型子空间聚类算法,但这些算法构造的重构系数矩阵仍存在一些缺陷。我们发现,一个归一化的隶属度矩阵自然满足上述两个条件。因此,在本文中,我们设计了一个幂等表示(IDR)算法,以追求重建系数矩阵近似归一化隶属度矩阵。IDR为重构系数矩阵设计了一个新的幂等约束。结合双随机约束条件,可以直接得到接近于归一化隶属度矩阵的系数矩阵。给出了求解IDR问题的优化算法,分析了算法的计算量和收敛性。通过与相关算法的比较,说明了IDR算法的优越性.在人工数据集和真实数据集上进行的大量实验证明,IDR是一种有效的子空间聚类算法。
2022-07-29 cs.LG
OmniFC: Rethinking Federated Clustering via Lossless and Secure Distance Reconstruction
Central University of Finance and Economics(中央财经大学)
针对联邦聚类中的隐私泄露与Non-IID数据鲁棒性问题,提出模型无关框架OmniFC,利用拉格朗日编码计算实现无损安全距离重构,兼顾隐私与聚类性能。
2025-10-25 cs.LG
Contrastive Graph Clustering in Curvature Spaces
North China Electric Power University(华北电力大学);Beijing University of Posts and Telecommunications(北京邮电大学);Beihang University(北京航空航天大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
该研究首次将异质曲率空间引入图聚类,提出基于Ricci曲率的端到端对比图聚类模型CONGREGATE,采用无需增强的重加权对比策略,在真实图数据上性能超越现有最优方法。
2023-05-05 cs.LG stat.ML
Multi-view Subspace Clustering via An Adaptive Consensus Graph Filter
Shanghai Maritime University(上海海事大学)
提出一种多视图子空间聚类方法,通过构建共识图滤波器并联合优化共识重构系数矩阵与各视图系数,提升聚类性能。
2024-01-30 cs.CV cs.LG
Dual-Optimized Adaptive Graph Reconstruction for Multi-View Graph Clustering
School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院)
针对传统图神经网络不适用于异质性图的多视图图聚类难题,提出基于双优化自适应图重构的DOAGC方法,在保留传统GNN优势的同时有效缓解异质性图问题。
2024-10-30 cs.LG
RHEA: Reliability-Harmonized Reconstruction and Assignment for Robust Multimodal-Attributed Graph Clustering
针对多模态属性图聚类中属性含噪或缺失时性能下降的问题,提出RHEA框架,通过估计节点特定模态可靠性并结合邻域信息提升聚类效果,在基准测试中表现优于最强基线。
2026-08-04 cs.LG
SCAN: Enhance Time Series Anomaly Detection via Multi-Scale Neighborhood-Centered Clustering
East China Normal University(东华大学);APPLab, Huawei(2012 APPLab,华为);Huawei(华为)
提出SCAN方法,通过多尺度聚类增强重建型异常检测,在表示层集成正常模式聚类中心约束重建,在异常判据层结合聚类概率与重建误差,并利用邻域中心表示改进聚类性能,在多个真实数据集上达到最优。
2026-06-18 cs.LG
Unsupervised Spatial-spectral Hyperspectral Image Reconstruction and Clustering with Diffusion Geometry
City University of Hong Kong(香港城市大学);Hong Kong Centre for Cerebro-Cardiovascular Health Engineering(香港脑心血管健康工程中心);Tufts University(塔夫茨大学);Wake Forest University(维克森林大学)
高光谱图像是自然科学和社会科学的重要数据源,它存储了上百个或更多的光谱波段。高光谱图像通常以相对粗糙的空间分辨率大量生成。因此,需要在高光谱图像中结合已知结构的无监督机器学习算法来自动分析这些图像。本文介绍了空间光谱图像重建和扩散几何聚类(DSIRC)算法,用于分割高度混合的高光谱图像。DSIRC通过形状自适应重建过程降低测量噪声。特别是,对于每个像素,DSIRC定位光谱相关的像素内的数据自适应的空间邻域和重建像素的光谱特征使用其邻居。然后,DSIRC将高密度、高纯度像素定位在远离其他高密度、高纯度像素的扩散距离(一种依赖于数据的距离度量)上,并将这些像素视为聚类样本,为每个像素提供唯一的标签。非模态像素被分配其扩散距离的标签-已经标记的具有更高密度和纯度的最近邻。强有力的数值结果表明,通过图像重建的空间信息,大大提高了性能的像素级聚类。
2022-04-28 cs.CV cs.LG stat.AP
Novel Approaches for ML-Assisted Particle Track Reconstruction and Hit Clustering
High-Energy Physics department, Radboud University, the Netherlands(荷兰拉德堡德大学高能物理系);National Institute for Subatomic Physics (Nikhef), the Netherlands(荷兰国家亚原子物理研究所);SURF, the Netherlands(荷兰SURF);Instituto de Física Corpuscular, University of Valencia, Spain(西班牙瓦伦西亚大学 Corpuscular 物理研究所);Valencian Graduate School and Research Network of AI (ValgrAI), Spain(西班牙人工智能研究生学院和研究网络);Computer Architecture for Embedded Systems, University of Twente, The Netherlands(荷兰埃因霍温理工大学嵌入式系统计算机架构)
本文利用简化模拟器REDVID生成训练数据,并探索图像分割网络与Transformer架构,将径迹重建视为命中序列到径迹序列的翻译问题,为高能物理粒子径迹重建与命中聚类提供新方法。
2024-05-27 cs.LG hep-ex
Geometric Affinity Propagation for Clustering with Network Knowledge
Texas A&M University(德克萨斯农工大学)
将数据聚类成有意义的子集是科学数据分析中的一项主要任务。迄今为止,各种策略,从基于模型的方法,以数据驱动的计划,已被设计为高效和准确的聚类。一类重要的聚类方法,是一个特别感兴趣的是类基于样本的方法。这种兴趣主要源于这些样本中编码的压缩信息量,这些样本有效地反映了相应聚类的主要特征。亲和传播(AP)已被证明是一个强大的基于样本的方法,通过迭代的成对消息更新来细化最佳样本集。然而,一个关键的限制是它无法利用已知的数据点之间的网络关系,往往可用于各种科学数据集。为了缓解这一缺点,我们提出了几何AP,一种新的聚类算法,有效地扩展AP利用网络拓扑结构。Geometric-AP遵守网络约束,并使用最大和信念传播来利用可用的网络拓扑在网络上生成平滑的聚类。广泛的性能评估显示,一个显着的增强质量的聚类结果相比,基准聚类方案。特别是,我们证明了几何AP执行非常好,即使在原始AP彻底失败的情况下。
2021-03-26 cs.LG
Binding via Reconstruction Clustering
The Swiss AI lab IDSIA, USI-SUPSI(瑞士人工智能实验室IDSIA,意大利语区大学-瑞士南部应用科学与艺术大学)
数据的非纠缠分布式表示对于机器学习是理想的,因为它们更有表现力,并且可以从更少的示例中概括。然而,对于复杂数据,存在于同一输入中的多个对象的分布式表示可能会干扰并导致歧义,这通常被称为绑定问题。我们认为绑定问题的重要性,表示学习领域,并开发一个概率框架,明确模型的输入作为一个组成的多个对象。我们提出了一种无监督算法,该算法使用去噪自动编码器通过类似期望最大化的聚类过程将多对象输入中的特征动态绑定在一起。在人工生成的二值图像数据集上证明了这种方法的有效性,表明它甚至可以推广到将自动编码器在训练期间从未见过的新对象绑定在一起。
2016-01-20 cs.LG cs.NE
Clustering Signed Networks with the Geometric Mean of Laplacians
Saarland University(萨尔兰大学);University of Padua(帕多瓦大学)
本文提出利用拉普拉斯矩阵几何均值改进谱聚类,解决传统算术均值方法在无噪声正负网络结构中无法准确聚类的问题。
2017-01-03 cs.LG cs.NA math.NA
Rhomboid Tiling for Geometric Graph Deep Learning
Division of Mathematical Sciences School of Physical and Mathematical Sciences(数学科学系物理与数学科学学院);School of Mathematics(数学学院);Data Science Institute(数据科学研究所)
针对几何图中消息传递难以利用几何信息的问题,提出基于菱形铺砌的RT聚类及层次化池化模型RTPool,并在7个基准上超过21种SOTA方法。
2025-05-14 cs.LG
Circular Clustering with Polar Coordinate Reconstruction
Columbia University(哥伦比亚大学)
本文提出一种基于柱坐标投影的环形数据聚类分析框架,利用周期重复保证在重建数据中找到正确聚类,并可融入现有先进聚类算法,在合成与真实数据上取得更准确一致的结果。
2023-09-15 cs.LG eess.SP stat.AP
Dynamic Deep Graph Learning for Incomplete Multi-View Clustering with Masked Graph Reconstruction Loss
针对现有不完整多视图聚类方法中静态图噪声大、梯度噪声多的问题,提出DGIMVCM,通过构建鲁棒全局图补全缺失视图、图自注意力编码器提取特征并结合掩码图重构损失优化,实验验证其有效性与优越性。
2025-11-14 cs.LG
The information bottleneck and geometric clustering
Princeton University(普林斯顿大学);CUNY Graduate Center(纽约市立大学研究生中心)
聚类的信息瓶颈(IB)方法采用联合分布$P\!\left(X,Y\right)$,并将数据$X$映射到保留关于$Y$的最大信息的聚类标签$T$(Tishby等人,1999年)。该目标导致基于数据点的条件分布$P\!\left(Y\mid X\right)$的相似性来聚类数据点的算法。这与经典的“几何聚类”算法(例如$k$ -均值和高斯混合模型(GARCH))形成对比,该算法采用一组观察到的数据点$\left\{ \mathbf{x}_{i}\right\} _{i=1:N}$,并基于它们彼此的几何(通常为欧几里德)距离对它们进行聚类。在这里,我们展示了如何使用确定性信息瓶颈(DIB)(Strouse和Schwab,2017),IB的一种变体,通过选择保留平滑数据集上数据点位置信息的聚类标签来执行几何聚类。我们还介绍了一种新的方法来选择集群的数量,识别解决方案的基础上,使用的集群和空间信息之间的权衡是最强的。我们将这种方法应用于各种简单的聚类问题,表明DIB与我们的模型选择程序恢复生成集群标签。我们还表明,在我们的模型参数的限制,DIB和IB的聚类相当于$k$ -手段和EM拟合的GMM硬和软分配,分别。因此,聚类(D)IB推广,并提供了一个信息理论的角度来看,这些经典的算法。
2020-05-31 cs.AI cs.IT cs.LG
k-MS: A novel clustering algorithm based on morphological reconstruction
Universidade Federal Fluminense(弗卢米嫩塞联邦大学);The Petroleum Institute(石油学院)
本文提出了一种基于形态重构和聚类分析的聚类算法k-Morphological Sets(k-MS)。在最坏的情况下,k-MS比CPU并行k-Means更快,并产生增强的数据集可视化以及非常明显的聚类。它也比对密度和形状敏感的类似聚类方法(如有丝分裂和TRICLUST)更快。此外,k-MS是确定性的,并且具有可以针对给定输入样本和输入参数创建的最大聚类的内在意义,不同于k-Means和其他聚类算法。换句话说,给定常数k、结构元素和数据集,k-MS在不使用随机/伪随机函数的情况下产生k个或更少的聚类。最后,所提出的算法还提供了一种简单的方法,用于从图像或数据集中去除噪声。
2022-08-30 cs.AI cs.GR cs.LG
An Adaptive Spatiotemporal Clustering Framework for 3D Ocean Subsurface Temperature Reconstruction
本文提出自适应时空聚类框架,结合深度学习模型实现全球尺度的 subsurface 温度重建,提升精度和泛化能力。
2026-04-21 cs.LG physics.ao-ph
Unsupervised Deep Clustering of MNIST with Triplet-Enhanced Convolutional Autoencoders
本研究提出基于两阶段三元组增强卷积自编码器的MNIST无监督深度聚类方法,结合重构误差与KMeans聚类损失,辅以批量归一化等技术,在多项聚类指标上取得优异性能,兼顾精度与可扩展性。
2025-06-11 cs.LG
Iterated geometric harmonics for data imputation and reconstruction of missing data
Cal Poly, San Luis Obispo(加州州立理工大学圣路易斯奥比斯波分校)
几何调和方法通过迭代几何调和(IGH)格式,适用于数据不完整的情况。该方法在自然和合成数据集上进行了测试,数据点为50- 500,维数为400- 10,000。实验表明,该算法收敛到一个近最优的解决方案,在4- 6迭代,运行时间小于30分钟的中级台式计算机。缺失数据值的插补应用于受损图像的集合(遭受高达70%的数据湮灭率),其以令人惊讶的准确度重建。
2014-11-04 cs.LG stat.ML
Agglomerative Bregman Clustering
UCSD(加州大学圣迭戈分校)
本文用Bregman分歧发展了凝聚聚类理论。几何平滑技术的发展,以处理退化集群。为了使集群模型的基础上,指数家庭与过完备表示,布雷格曼分歧的不可微凸函数。
2012-06-27 cs.LG stat.ML
svcR: An R Package for Support Vector Clustering improved with Geometric Hashing applied to Lexical Pattern Discovery
INRA(法国国家农业研究院)
我们提出了一个新的R包,它需要一个数值矩阵格式作为数据输入,并使用支持向量聚类方法(SVC)计算集群。我们已经实现了一个原始的2D网格标记方法,以加快聚类提取。从这个意义上说,SVC可以被看作是一个有效的聚类提取,如果集群是可分离的2-D地图。其次,我们表明,这种SVC方法使用Jaccard径向基内核可以帮助分类足够好的一组术语到本体类,并帮助定义正则表达式规则的信息抽取的文件,我们的案例研究涉及一组术语和文件的发展和分子生物学。
2015-04-23 cs.CL cs.LG
Deep Clustering with Incomplete Noisy Pairwise Annotations: A Geometric Regularization Approach
Oregon State University(俄勒冈州立大学)
本文针对深度约束聚类中标注噪声问题,先分析逻辑DCC损失的理论性质,再提出基于几何因子分析的损失函数,在未知标注混淆下仍可证明地识别数据成员身份,并在多个数据集上验证有效性。
2023-05-30 cs.LG
Clustering with Uniformity- and Neighbor-Based Random Geometric Graphs
Department of Mathematics and Statistics(数学与统计学系)
本文提出基于Cluster Catch Digraphs的聚类方法,通过引入基于最近邻距离的蒙特卡洛空间随机性检验,解决高维数据下的聚类问题,方法在中等维度数据中表现稳定且参数少。
2026-04-14 cs.LG stat.ME stat.ML
Multi-Community Spectral Clustering for Geometric Graphs
INRIA, NEO Team, Sophia Antipolis - Méditerranée(法国国家信息与自动化研究所,NEO团队,索菲亚-地中海)
本文针对软几何块模型提出一种谱聚类算法,利用邻接矩阵特征向量嵌入并应用k-means,证明弱一致性和强一致性,并分析极限谱。
2025-07-27 cs.LG cs.SI math.PR
A geometric analysis of subspace clustering with outliers
Stanford University(斯坦福大学)
本文考虑了一组未标记的数据点的聚类问题,假设这些数据点位于低维平面的联合附近。正如计算机视觉或无监督学习应用中常见的那样,我们事先不知道有多少个子空间,也不知道它们的维数。我们开发了一种新的几何分析的算法命名为稀疏子空间聚类(SSC)[在IEEE会议计算机视觉和模式识别,2009年。CVPR 2009(2009)2790-2797。IEEE],这大大拓宽了它被证明有效的问题的范围。例如,我们表明,SSC可以恢复多个子空间,每一个维度可比的环境尺寸。我们还证明了SSC可以正确聚类数据点,即使当感兴趣的子空间相交。此外,我们开发了一个扩展的SSC,成功的数据集被破坏时,可能压倒性的许多离群值。我们的分析是明确的几何见解,这可能会影响其他稀疏恢复问题。数值研究补充了我们的理论分析,并证明了这些方法的有效性。
2013-01-30 cs.IT cs.LG math.IT
Deep Clustering Based on a Mixture of Autoencoders
Bar-Ilan University(巴伊兰大学)
在本文中,我们提出了一种基于深度自动编码器混合的深度自动编码器混合聚类(DAMIC)算法,其中每个聚类由一个自动编码器表示。聚类网络将数据转换到另一个空间,然后选择其中一个聚类。接下来,使用与该聚类相关联的自动编码器来重建数据点。聚类算法联合学习非线性数据表示和自编码器集合。通过最小化混合自编码器网络的重构损失来寻找最优聚类。与其他深度聚类算法不同,不需要正则化项来避免数据崩溃到单个点。我们对图像和文本语料库的实验评估表明,国家的最先进的方法显着改善。
2019-03-27 cs.AI cs.LG stat.ML
Deep Clustering via Joint Convolutional Autoencoder Embedding and Relative Entropy Minimization
University of Pittsburgh(匹兹堡大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校);Xidian University(西安电子科技大学);University of Sydney(悉尼大学)
图像聚类是计算机视觉最重要的应用之一,在文献中得到了广泛的研究。然而,现有的聚类方法在处理大规模、高维数据时,大多缺乏效率和可扩展性。在本文中,我们提出了一个新的聚类模型,称为DEeP嵌入正则化的聚类(DEPICT),它有效地将数据映射到一个有区别的嵌入子空间,并精确地预测聚类分配。DEPICT通常由堆叠在多层卷积自动编码器顶部的多项式逻辑回归函数组成。我们定义了一个聚类的目标函数,使用相对熵(KL发散)最小化,正则化的集群分配的频率之前。一个交替的策略,然后推导出优化的目标,通过更新参数和估计集群分配。此外,我们在自动编码器中使用重建损失函数作为数据相关的正则化项,以防止深度嵌入函数过拟合。为了从端到端优化中获益并消除逐层预训练的必要性,我们引入了一个联合学习框架来最小化统一的聚类和重建损失函数,并同时训练所有网络层。实验结果表明,DEPICT的优越性和更快的运行时间在现实世界的聚类任务,其中没有标记的数据可用于超参数调整。
2017-08-09 cs.LG
On Geometric Analysis of Affine Sparse Subspace Clustering
Beijing University of Posts and Telecommunications(北京邮电大学);Johns Hopkins University(约翰斯·霍普金斯大学)
稀疏子空间聚类(SSC)是一种最先进的方法,用于将从子空间的并集中提取的一组数据点分割到它们各自的子空间中。现在很好地理解,SSC在广泛的几何条件下产生子空间保持数据亲和性,但遭受连接问题。在本文中,我们开发了一种新的几何分析的SSC的变体,命名为仿射SSC(ASSC),从仿射子空间的联合聚类数据的问题。我们的贡献包括一个新的概念,称为仿射独立捕获的仿射子空间的集合的安排。在仿射独立的假设下,我们证明了ASSC保证产生子空间保持的亲和力。此外,灵感的现象,即$\ell_1$正则化不再引起稀疏的解决方案是非负的,我们进一步表明,子空间保持恢复可以实现在更弱的条件下,所有数据点以外的极端点,从每个子空间。此外,我们证实了一个奇怪的观察,由ASSC产生的亲和力可能是子空间密集的-这可以保证子空间保持的亲和力ASSC产生正确的聚类条件下,相当弱。我们验证了精心设计的合成数据的理论研究结果,并评估ASSC的性能在几个真实的数据集。
2018-11-21 cs.CV cs.LG eess.SP
Modeling Normal Is All You Need: Joint Latent Clustering for Anomaly Detection in Multimodal Cyber-Physical Systems
Holon Institute of Technology (HIT)(霍隆技术学院);Afeka Academic College of Engineering(阿法卡工程学院)
研究多模态网络物理系统异常检测,提出联合潜在聚类方法,通过MIIM假设集、公平协议及潜在评分建模正常行为,在三个真实数据集上表现优异,优于其他深度检测器。
2026-08-11 cs.LG
Contrastive learning for unsupervised medical image clustering and reconstruction
University of Rome Tor Vergata(罗马第二大学);University of Cambridge(剑桥大学);Athinoula A. Martinos Center for Biomedical Imaging(阿西诺拉·A·马蒂诺斯生物医学成像中心)
与临床建立的疾病类别相比,缺乏大型标记的医学成像数据集以及显著的个体间变异性,对在精确医学范例中利用医学成像信息提出了重大挑战,其中原则上可以采用密集的患者特异性数据来制定个体预测和/或将患者分层为更精细的-颗粒组可能遵循更均匀的轨迹,因此可以进行临床试验。为了有效地探索有效的自由度潜在的变化,在医学图像中的无监督的方式,在这项工作中,我们提出了一个无监督的自动编码器框架,增强了对比度损失,以鼓励高分离的潜在空间。该模型在(医学)基准数据集上进行了验证。由于根据聚类分配将聚类标签分配给每个示例,因此我们将性能与监督迁移学习基线进行比较。我们的方法实现了类似的性能,监督架构,表明在潜在空间中的分离再现专家的医疗卫生机构分配的标签。所提出的方法可能是有益的患者分层,探索新的细分较大的类或病理连续,或由于其采样能力的变化设置,数据增强在医学图像处理。
2022-09-24 cs.CV cs.LG
Deep Temporal Contrastive Clustering
South China Agricultural University(华南农业大学);Sun Yat-sen University(中山大学)
近年来,深度学习在时间序列数据的表示学习和聚类方面显示出了其优势。尽管取得了相当大的进展,但现有的深度时间序列聚类方法大多寻求通过基于实例重构或基于聚类分布的目标来训练深度神经网络,然而,这些方法缺乏利用样本方面(或扩增方面)的对比信息或甚至更高级别(例如,集群级)对比性,用于学习区分性和集群友好的表示。鉴于此,本文提出了一种深度时间对比聚类(DTCC)方法,首次将对比学习范式引入到深度时间序列聚类研究中。具体来说,通过从原始时间序列及其增强生成的两个并行视图,我们利用两个相同的自动编码器来学习相应的表示,同时通过结合k-means目标来执行聚类分布学习。此外,两个级别的对比学习同时实施,以捕获实例级和集群级的对比信息,分别。通过对自动编码器的重构损失、聚类分布损失和两级对比度损失进行联合优化,以自监督的方式训练网络结构,从而得到聚类结果。各种时间序列数据集上的实验表明,我们的DTCC方法的优越性,在国家的最先进的。
2022-12-29 cs.LG
Learning Continuous 3D Reconstructions for Geometrically Aware Grasping
University of Utah(犹他大学);NVIDIA Research(英伟达研究)
深度学习已经使得从部分对象视图对先前看不见的对象进行抓取合成的显著改进成为可能。然而,现有的方法缺乏能力,明确的原因,在选择一个把握的对象的完整的3D几何形状,依赖于间接的几何推理时,学习把握成功的网络。这放弃了显式几何推理,例如避免不期望的机器人对象碰撞。我们建议利用一种新的,学习3D重建,使几何意识在抓持系统。我们利用重建网络的结构来学习抓取成功分类器,该分类器作为连续抓取优化的目标函数。我们还明确地约束优化,以避免不必要的接触,直接使用重建。我们研究的作用,几何形状在把握指标的培训,并通过96个机器人把握审判。我们的结果可以在https://sites.google.com/view/reconstruction-grasp/上找到。
2020-03-18 cs.CV cs.LG cs.RO
The Condition-Number Principle for Prototype Clustering
Department of Economics, Duke University(杜克大学经济系);Department of Economics, Northeastern University(东北大学经济系)
本文提出一个几何框架,将目标准确性与结构恢复联系起来,定义了聚类条件数,并揭示了鲁棒性与聚类不平衡之间的根本权衡,提供了可靠的聚类结构解释。
2026-04-09 cs.LG econ.EM math.ST
Deep Geometric Prior for Surface Reconstruction
New York University(纽约大学)
从点云数据重建离散曲面是一个基本的几何处理问题,已经研究了几十年,有很多方法。我们建议使用一个深神经网络作为几何表面重建的先验。具体来说,我们过拟合的神经网络表示局部图表参数化的输入点云的一部分,使用Wasserstein距离作为近似的措施。通过将许多这样的网络联合拟合到点云的重叠部分,同时强制执行一致性条件,我们计算出一个流形图集。通过对该图谱进行采样,我们可以生成近似输入云的表面的密集重建。整个过程不需要任何训练数据或显式正则化,然而,我们表明,它能够表现得非常好:不引入典型的过拟合工件,并在同一时间接近尖锐的功能。我们的实验表明,这种几何先验产生良好的结果,人造物体包含尖锐的功能和平滑的有机物体,以及嘈杂的输入。我们比较我们的方法与一些著名的重建方法在一个标准的表面重建基准。
2019-04-05 cs.CV cs.GR cs.LG
Geometrical Homogeneous Clustering for Image Data Reduction
IIT Gandhinagar(印度理工学院甘地纳加尔分校)
在本文中,我们提出了一种新的变化的早期方法称为同质聚类算法,以减少数据集的大小。本文提出的方法背后的直觉是将数据集划分为同质聚类,并选择一些对准确性有显着贡献的图像。所选图像是训练数据的真子集,因此是人类可读的。我们提出了四个变化的基线算法-RHC。第一种方法RHCKON背后的直觉是,边界点对聚类的表示有很大的贡献。它涉及选择聚类的质心的k个最远和一个最近的邻居。在以下两种方法(KONCW和CWKC)中,我们引入了聚类权重的概念。它们是基于这样一个事实,即较大的集群比较小规模的集群贡献更多。最后一个变体是GHCIDR,它根据数据分布的几何方面选择点。我们在两个深度学习模型上进行了实验-全连接网络(FCN)和VGG 1。我们在三个数据集上试验了这四种变体- MNIST,CIFAR 10和Fashion-MNIST。我们发现GHCIDR在MNIST、CIFAR 10和Fashion-MNIST上分别给出了99.35%、81.10%和91.66%的最佳准确率和87.27%、32.34%和76.80%的训练数据减少率。
2022-08-27 cs.LG
Merged-GHCIDR: Geometrical Approach to Reduce Image Data
IIT Gandhinagar(印度理工学院甘地纳加尔分校)
自深度网络出现以来,训练模型所需的计算资源一直在增加。在海量数据集上训练神经网络已经成为一项具有挑战性且耗时的任务。因此,需要在不影响准确性的情况下减少数据集。在本文中,我们提出了新的变化,早期的方法称为减少通过同质聚类减少数据集的大小。所提出的方法是基于将数据集划分为同质聚类并选择对准确性有显着贡献的图像的想法。我们提出了两种变化:几何均匀聚类图像数据缩减(GHCIDR)和合并GHCIDR基于基线算法-通过均匀聚类(RHC)进行缩减,以实现更好的准确性和训练时间。GHCIDR背后的直觉涉及通过训练集的聚类权重和几何分布来选择数据点。Merged-GHCIDR涉及使用完全连锁聚类来合并具有相同标签的聚类。我们使用了三种深度学习模型-全连接网络(FCN)、VGG 1和VGG 16。我们在四个数据集上试验了这两个变体- MNIST,CIFAR 10,Fashion-MNIST和Tiny-Imagenet。具有与RHC相同百分比减少的Merged-GHCIDR在MNIST、Fashion-MNIST、CIFAR 10和Tiny-Imagenet上分别显示出2.8%、8.9%、7.6%和3.5%的准确性增加。
2022-09-06 cs.LG
Hierarchical clustering in particle physics through reinforcement learning
New York University(纽约大学);Bloomberg(彭博)
粒子物理实验通常需要通过对观测到的末态粒子进行分级聚类来重建衰变模式。我们表明,这个任务可以被描述为一个马尔可夫决策过程,并适应强化学习算法来解决它。特别是,我们表明,蒙特卡罗树搜索指导下的神经政策,可以构建高质量的层次聚类,并优于建立贪婪和束搜索基线。
2020-12-18 cs.AI cs.LG hep-ph
Federated Geometric Monte Carlo Clustering to Counter Non-IID Datasets
University of Luxembourg(卢森堡大学);University of Oxford(牛津大学);Delft University of Technology(代尔夫特理工大学)
联邦学习允许客户在不同位置获取的数据集上协作训练模型,这些数据集由于其大小或法规而无法交换。这种收集的数据越来越不独立和不相同分布(非IID),对训练准确性产生负面影响。以前的工作试图减轻非IID数据集对训练精度的影响,主要集中在非IID标签上,但实际数据集通常也包含非IID特征。为了解决非IID标签和功能,我们提出了FedGMCC,一个新的框架,中央服务器聚合客户端模型,它可以集群在一起。FedGMCC聚类依赖于蒙特卡洛过程,该过程对客户端模型的输出空间进行采样,推断它们在损失流形上的权重空间中的位置,并通过仿射曲线参数化计算它们的几何连接。FedGMCC沿着其路径连接性聚合连接模型,以产生更丰富的全局模型,并结合所有连接的客户端模型的知识。FedGMCC在EMNIST 62和基因组序列分类数据集的收敛速度方面优于FedAvg和FedProx(高达+63%)。在高非IID特征空间设置和标签不一致性中,FedGMCC相对于CFL在基因组数据集上产生了更高的准确性(+4%)。
2022-04-23 cs.DC cs.LG
CVRecon: Rethinking 3D Geometric Feature Learning For Neural Reconstruction
Clemson University(克莱姆森大学);City University of New York(纽约城市大学);Carnegie Mellon University(卡内基梅隆大学)
针对神经重建中2D特征复制导致遮挡空间产生噪声的问题,提出端到端框架CVRecon,利用射线上下文补偿代价体(RCCV)学习3D几何特征,显著提升了重建质量与细节恢复。
2023-09-14 cs.AI cs.CV cs.LG
Nest-DGIL: Nesterov-optimized Deep Geometric Incremental Learning for CS Image Reconstruction
Xiangtan University(湘潭大学);The University of Liverpool(利物浦大学);University of Strathclyde(思克莱德大学)
提出基于Nesterov近端梯度优化的深度几何增量学习框架Nest-DGIL,用于压缩感知图像重建,通过级联几何增量恢复和后处理减少伪影,实现快速收敛并优于现有方法。
2023-10-12 cs.CV cs.LG eess.IV
LoGeR: Long-Context Geometric Reconstruction with Hybrid Memory
LoGeR通过混合记忆模块实现长序列的高精度3D重建,无需后优化,有效解决长视频中的上下文一致性问题,优于现有方法。
2026-04-27 cs.CV cs.LG
Concatenated Matrix SVD: Compression Bounds, Incremental Approximation, and Error-Constrained Clustering
Institute of Mathematics of NAS of Ukraine(乌克兰国家科学院数学研究所);MacPaw Research(MacPaw研究)
针对拼接后截断SVD压缩中哪些矩阵可安全合并的问题,提出基于谱界和增量SVD的聚类框架,实现显式误差约束下的压缩感知矩阵分组。
2026-06-15 cs.LG cs.NA math.NA