LINC: Decoupling Local Consequence Scoring from Hidden Matching in Constructive Neural Routing
Beijing University of Posts and Telecommunications(北京邮电大学)
LINC通过显式计算局部后果,解耦局部评分与隐藏匹配,提升构造性神经路由在CVRPTW、TSP和CVRP中的性能,缩小与基准算法的差距。
2026-11-05 cs.LG
RELAGRAM: Recursive Latent Graph Model for the Capacitated Vehicle Routing Problem
Delft University of Technology(代尔夫特理工大学)
本文提出RELAGRAM模型,将潜在递归引入图组合优化,在CVRP-100等实例上取得优于PyVRP基准的性能,且可零样本泛化至更大规模CVRP实例,验证了潜在递归在神经路由中的潜力。
2026-10-14 cs.LG cs.NE math.OC
GNN-Guided Graph Coarsening and Adaptive QUBO Penalties for the Capacitated Vehicle Routing Problem with Time Windows on a Quantum Annealer
Alamein International University(阿拉曼国际大学);Jagiellonian University(雅盖隆大学);Fundacja Quantum AI(量子人工智能基金会)
本研究针对量子退火器上的带时间窗带容量车辆路径问题,提出GNN引导图粗化与自适应QUBO惩罚方法,提升了解的可行性,且在实例规模较大时效果显著。
2026-09-10 cs.LG
An Efficient Learning-based Solver Comparable to Metaheuristics for the Capacitated Arc Routing Problem
Beijing University of Posts and Telecommunications(北京邮电大学);University of Trento(特伦托大学)
针对现有神经网络方法求解容量约束弧路径问题性能不及元启发式算法的问题,本文提出含方向感知注意力模型、监督强化学习方案和路径优化的求解器,效率更优且决策质量首次比肩顶尖元启发式算法。
2024-03-11 cs.AI cs.LG math.OC
Neural Coordination and Capacity Control for Inventory Management
Amazon(亚马逊公司);Google(谷歌公司);Harvard University(哈佛大学)
针对共享资源受限的多品类周期盘点库存控制问题,本文提出基于神经协调器的容量控制方法,结合改进的深度强化学习算法,在大规模回测中实现了比经典基线更优的收益与容量合规表现。
2024-09-24 cs.LG cs.SY eess.SY
Hypergraph convolutional neural network-based clustering technique
Ho Chi Minh City University of Technology (HCMUT)(胡志明市理工大学);Vietnam National University Ho Chi Minh City (VNU-HCM)(越南胡志明市国家大学)
提出了一种基于超图卷积神经网络的聚类方法。该技术被用来解决Citeseer数据集和Cora数据集的聚类问题。每个数据集包含超图的特征矩阵和关联矩阵(即,由特征矩阵构造)。这种新的聚类方法利用这两个矩阵。首先,采用超图自动编码器将关联矩阵和特征矩阵从高维空间变换到低维空间。最后,我们将k-means聚类技术应用于变换后的矩阵。基于超图卷积神经网络(CNN)的聚类技术在实验过程中表现出比其他经典聚类技术更好的性能。
2022-09-03 cs.LG
Clustering with Neural Network and Index
Tsinghua University(清华大学)
论文提出 CNNI 聚类模型,以内部聚类指标为损失训练神经网络,并通过与 K-means、GMM 对比验证其可行性,结合 MMJ-SC 实现首个可处理非凸数据的参数化归纳聚类模型。
2024-12-01 cs.LG
Simplifying Clustering with Graph Neural Networks
UiT the Arctic University of Norway(挪威北极大学);NORCE Norwegian Research Centre(NORCE挪威研究中心)
谱聚类中使用的目标函数通常由两项组成:i)最小化图上聚类分配的局部二次变化的项; ii)平衡聚类分区并有助于避免退化解决方案的项。本文表明,一个图神经网络,配备了适当的消息传递层,可以产生良好的集群分配优化只有一个平衡项。属性图数据集上的结果表明,所提出的方法在聚类性能和计算时间方面的有效性。
2022-11-27 cs.LG
Nonlinear subspace clustering by functional link neural networks
Southwestern University of Finance and Economics(西南财经大学)
本研究提出基于 functional link neural network 的非线性子空间聚类方法,通过单层网络实现高计算效率,结合局部相似性正则化提升聚类质量,并引入凸组合方案动态平衡线性与非线性表示。
2024-08-27 cs.LG
NeurCAM: Interpretable Neural Clustering via Additive Models
University of Toronto(多伦多大学)
提出NeurCAM,一种利用神经广义加性模型提供模糊簇隶属度和加性解释的可解释聚类方法,通过引入选择门促进解释稀疏性,在表格数据上性能媲美黑盒方法,在文本数据上显著优于其他可解释方法。
2024-08-23 cs.LG
Max-Entropy Feed-Forward Clustering Neural Network
Tsinghua University(清华大学)
非线性前馈神经网络的输出为正,当归一化为1时,可以将其视为概率。如果我们考虑基于熵的原则,每个样本的输出可以表示为该样本在不同聚类中的分布。熵原理是在一定条件下估计未知分布的原理。由于本文定义了前馈神经网络的两个过程,我们的限制条件是样本的抽象特征,这些特征是在抽象过程中得到的。最后的输出是聚类过程中不同类的概率分布。将熵原理引入前向神经网络,产生了一种聚类方法。我们在六个开放的UCI数据集上进行了一些实验,与一些基线进行了比较,并使用纯度作为度量。结果表明,我们的方法优于所有其他基线,是最流行的聚类方法。
2015-06-11 cs.LG
Reducing Neural Architecture Search Spaces with Training-Free Statistics and Computational Graph Clustering
ETH Zürich(苏黎世联邦理工学院);Università di Bologna(博洛尼亚大学)
神经结构搜索(NAS)算法的计算需求通常与其目标搜索空间的大小成正比。因此,限制搜索到高质量的子集可以大大减少NAS算法的计算负荷。在本文中,我们提出了一种新的技术,以减少NAS的搜索空间的大小基于简化的缩减(C-BRED)。C-BRED通过聚类与其架构相关的计算图并使用与网络准确性相关的代理统计信息选择最有希望的集群来减少NAS空间。当考虑NAS-Bench-201(NB 201)数据集和CIFAR-100任务时,C-BRED选择了平均准确度为70%的子集,而不是整个空间的平均准确度为64%。
2022-04-29 cs.LG
Neural Normalized Cut: A Differential and Generalizable Approach for Spectral Clustering
School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院);Intellifusion(旷视科技(注:Intellifusion 常见译名为旷视科技))
本文提出神经归一化割(NeuNcut)方法,通过神经网络重新参数化聚类隶属关系并以松弛归一化割损失进行随机梯度下降训练,实现了可泛化、可扩展的谱聚类,能够直接处理超大规模数据。
2025-03-12 cs.LG
Robustness to Missing Features using Hierarchical Clustering with Split Neural Networks
Massachusetts Institute of Technology(麻省理工学院);BITS Pilani Goa Campus(BITS Pilani果阿校区)
数据缺失的问题已经持续了很长一段时间,并且在机器学习和统计数据分析中构成了主要障碍。过去在这一领域的工作已经尝试使用各种数据填补技术来填补缺失的数据,或训练神经网络(NN)与缺失的数据。在这项工作中,我们提出了一个简单而有效的方法,聚类相似的输入功能一起使用层次聚类,然后训练成比例分裂神经网络与联合损失。我们在一系列基准数据集上评估了这种方法,即使使用简单的插补技术,也显示出有希望的改进。我们将此归因于通过模型架构中的相似特征集群进行学习。源代码可在https://github.com/usarawgi911/Robustness-to-Missing-Features上获得
2020-11-19 cs.LG
Research on the application of graph data structure and graph neural network in node classification/clustering tasks
本文研究图数据结构、经典图算法与GNN,在节点分类和聚类任务上比较评估,证明GNN准确率提升43%至70%,并提出二者融合策略。
2025-07-20 cs.LG
Stationary Diffusion State Neural Estimation for Multiview Clustering
School of Information Science and Engineering, Lanzhou University(兰州大学信息科学与工程学院)
虽然许多基于图的聚类方法试图在其目标中对稳态扩散状态进行建模,但它们的性能限制于使用预定义的图。我们认为,稳态扩散状态的估计可以通过梯度下降在神经网络。我们专门设计了稳态扩散状态神经估计(SDSNE),以利用多视图结构图信息进行协同监督学习。我们探索如何设计一个专门用于无监督多视图学习的图神经网络,并通过一个共享的自我注意模块将多个图集成为一个统一的共识图。视图共享的自我注意模块利用图结构来学习视图一致的全局图。同时,SDSNE采用一种带结构信息的协同监督策略来监督模型的学习,而不是大多数无监督学习图神经网络中的自动编码器。作为损失函数的协同监督策略引导SDSNE达到稳态。在损失和自我注意模块的帮助下,我们学习获得一个图,其中每个连接组件中的节点都以相同的权重完全连接。多个多视图数据集上的实验证明了SDSNE在六个聚类评价指标方面的有效性。
2021-12-02 cs.LG
ACTGNN: Assessment of Clustering Tendency with Synthetically-Trained Graph Neural Networks
University of California Riverside(加州大学河滨分校)
提出基于图的框架ACTGNN,通过LSH构建节点特征和RBF等相似度指标构建边特征,并利用仅在合成数据集上训练的图神经网络来评估数据集聚类趋势,在高维和噪声环境下显著优于传统基线方法。
2025-01-30 cs.LG
Unsupervised clustering of series using dynamic programming and neural processes
Visium(Visium公司);Schlumberger-Doll Research(斯伦贝谢-多尔研究中心);University of Geneva(日内瓦大学)
在arXiv:2101.09512的工作之后,我们有兴趣以无监督的方式对给定的多变量序列进行聚类。我们希望对系列进行分段和聚类,使得每个聚类中存在的结果块相对于预定义的模型结构(例如,具有由多个参数定义的函数形式的物理模型)是一致的。然而,这种方法可能有其局限性,部分原因是可能存在描述相同数据的多个模型,部分原因是数据背后的确切模型可能无法立即知道。因此,它是有用的,以建立一个通用的框架,使合理的模型的整合,也容纳数据驱动的方法到一个近似的模型,以协助聚类任务。因此,在这项工作中,我们研究了使用神经过程来构建近似模型,同时产生与arXiv:2101.09512中提出的算法所需的相同假设。
2021-01-26 cs.LG
Auto-clustering Output Layer: Automatic Learning of Latent Annotations in Neural Networks
在本文中,我们讨论了一种不同类型的半监督设置:对所有观测值都可以使用粗略的标记,但模型必须为每个观测值学习精细的潜在注释。在文本分类、蛋白质功能预测、图像分类以及医学和基因组学研究等探索性科学研究中,可能会遇到这种情况下的问题。我们认为这种设置是同时执行监督分类(根据可用的粗标签)和无监督聚类(在每个粗标签内),并提出了一种新的输出层修改称为自动聚类输出层(ACOL),允许并发分类和聚类基于图的活动正则化(GAR)技术。由于所提出的输出层修改在输出层为每个类复制softmax节点,因此GAR允许在传统纠错学习框架上的这些副本之间进行竞争学习,以最终使神经网络能够在这种部分监督设置中学习潜在注释。我们演示了粗糙标签监督如何影响性能,并有助于传播子类之间的有用聚类信息。三个最流行的图像数据集MNIST,SVHN和CIFAR-100的比较测试严格证明了所提出的方法的有效性和竞争力。
2017-08-09 cs.LG
Refining Heuristic-Based Bitcoin Address Clustering with Graph Neural Networks
École Polytechnique(巴黎综合理工学院);Institut Polytechnique de Paris(巴黎理工学院);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本研究针对比特币地址聚类的启发式方法模块化不足、易合并不同用户的问题,提出用图神经网络的对比嵌入优化聚类的方法,发布相关数据集并提供可疑合并的定量标记标准。
2026-09-03 cs.LG
LSEnet: Lorentz Structural Entropy Neural Network for Deep Graph Clustering
North China Electric Power University(华北电力大学);Beihang University(北京航空航天大学);Didi Chuxing(滴滴出行);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
针对簇数未知的深度图聚类问题,本文提出连续可微结构信息DSI,并在双曲Lorentz空间中构建融合节点特征的LSEnet,实现无需预设簇数的最优聚类。
2024-05-20 cs.LG
Clustering Node Attributed Networks with Graph Neural Networks and Self Learning
Systems Engineering and Computer Science (PESC), Federal University of Rio de Janeiro (UFRJ)(里约热内卢联邦大学系统工程与计算机科学系)
提出一种基于图神经网络和自学习的无监督图聚类框架,通过多轮自学习交替优化节点表示和聚类,利用上下文图提升性能,在合成和真实数据上表现优异。
2026-06-12 cs.LG
Towards Generalizable Neural Solvers for Vehicle Routing Problems via Ensemble with Transferrable Local Policy
Nanjing University(南京大学);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对神经VRP求解器在真实大规模、未知分布问题上泛化差的问题,本文提出将学习局部可迁移拓扑特征的局部策略与全局构造策略集成的联合训练方法,在TSPLIB和CVRPLIB上显著提升了跨分布和跨规模泛化性能。
2024-05-05 cs.LG
Leader Reward for POMO-Based Neural Combinatorial Optimization
Fudan University(复旦大学)
本文提出领导者奖励方法,通过在POMO模型的两个训练阶段应用,提升模型生成最优解的能力,尤其在TSP100上显著缩小了与最优解的差距。
2026-06-29 cs.LG
NeuralFLoC: Neural Flow-Based Joint Registration and Clustering of Functional Data
Institute of Mathematical Sciences, ShanghaiTech University(上海科技大学数学科学研究所)
本文提出NeuralFLoC,一种基于神经ODE驱动的 diffeomorphic 流和谱聚类的端到端深度学习框架,解决函数数据相位变化下的联合注册与聚类问题,实现相位和幅度变化的有效分离。
2026-04-29 cs.LG stat.ML
A clustering approach to time series forecasting using neural networks: A comparative study on distance-based vs. feature-based clustering methods
Jet Propulsion Laboratory(喷气推进实验室)
时间序列预测最近得到了很多关注,这是因为许多现实世界的现象可以建模为时间序列。大量的数据和计算机处理能力的最新进展使研究人员能够开发更复杂的机器学习算法,如神经网络来预测时间序列数据。在本文中,我们提出了各种神经网络架构来预测的时间序列数据使用的动态测量,此外,我们介绍了各种架构如何结合静态和动态测量预测。我们还调查了执行技术,如异常检测和聚类预测精度的重要性。我们的研究结果表明,聚类可以提高整体的预测时间,以及提高神经网络的预测性能。此外,我们表明,基于特征的聚类可以优于基于距离的聚类的速度和效率。最后,我们的研究结果表明,增加更多的预测因子来预测目标变量并不一定会提高预测精度。
2021-03-31 cs.LG stat.ML
A Polynomial-Time Approximation for Pairwise Fair $k$-Median Clustering
Portland State University(波特兰州立大学);Ben Gurion University(本古里安大学);University of Alberta(阿尔伯塔大学);Toyota Technological Institute at Chicago (TTIC)(芝加哥丰田理工学院)
本文针对多群体成对公平k-中位数聚类问题,提出了首个不违反公平约束的多项式时间O(k²·ℓ·t)近似算法,并证明了即使ℓ=2时该问题也几乎与均匀容量约束k-中位数同样困难。
2025-02-27 cs.AI cs.DS cs.LG
Detecting Backdoor Poisoning Attacks on Deep Neural Networks by Heatmap Clustering
University of Konstanz(康斯坦茨大学)
神经网络做出的预测可以被所谓的中毒攻击欺骗性地改变。一个特殊的情况是后门中毒攻击。我们研究了合适的检测方法,并介绍了一种新的方法,称为热图聚类。在那里,我们将$k$均值聚类算法应用于由最先进的可解释AI方法分层相关传播产生的热图。目标是将数据集中的中毒数据与未中毒数据分开。我们比较这种方法与类似的方法,称为激活聚类,它也使用$k$均值聚类,但适用于激活的某些隐藏层的神经网络作为输入。我们测试了这两种方法的性能标准后门中毒攻击,标签一致的中毒攻击和标签一致的中毒攻击,减少幅度贴纸。我们表明,热图聚类始终优于激活聚类。然而,当考虑标签一致的中毒攻击,后者的方法也产生良好的检测性能。
2022-04-27 cs.CR cs.LG
XAI Beyond Classification: Interpretable Neural Clustering
Sichuan University(四川大学)
在本文中,我们研究了可解释人工智能(XAI)和数据聚类中的两个具有挑战性的问题。第一个是如何直接设计一个具有内在可解释性的神经网络,而不是对黑箱模型进行事后解释。第二个是实现离散的$k$ -意味着一个可微的神经网络,包括并行计算,在线聚类,聚类有利的表示学习的优点。为了解决这两个挑战,我们设计了一个新的神经网络,这是一个可微的香草$k$ -手段,称为inInterpretable nEuraL cLustering(TELL)的重新制定。我们的贡献是三方面的。首先,据我们所知,大多数现有的XAI作品都集中在监督学习范式上。这项工作是XAI对无监督学习的少数研究之一,特别是数据聚类。第二,TELL是一个可解释的,或者说是所谓的内在可解释和透明的模型。相比之下,大多数现有的XAI研究采取各种手段来理解具有事后解释的黑箱模型。第三,从数据聚类的角度来看,TELL具有$k$ -means所期望的许多特性,包括但不限于在线聚类、即插即用模块、并行计算和可证明收敛性。大量的实验表明,我们的方法取得了优越的性能相比,14聚类方法在三个具有挑战性的数据集。可在\url{www.pengxi.me}访问源代码。
2022-04-22 cs.LG stat.ML
Neural Ordinary Differential Equation Model for Evolutionary Subspace Clustering and Its Applications
The University of Sydney(悉尼大学);Fudan University(复旦大学)
神经元常微分方程(neural odular differential equation,简称neural ODE)模型由于其处理不规则时间步长的能力,在时间序列分析中受到越来越多的关注,在等间隔的时间间隔上没有观察到数据。在多维时间序列分析中,一个任务是进行进化子空间聚类,目的是根据时间数据的低维子空间结构进行聚类。现有的时间序列分析方法只能处理具有规则时间步长的时间序列,而时间序列在很多情况下是不均匀采样的,比如数据缺失。在本文中,我们提出了一个进化子空间聚类的神经ODE模型,以克服这一限制,并引入了一个新的目标函数与子空间的自我表达约束。我们证明,该方法不仅可以插值数据在任何时间步的进化子空间聚类任务,但也实现了更高的精度比其他国家的最先进的进化子空间聚类方法。合成和真实世界的数据来说明我们所提出的方法的有效性。
2021-07-22 cs.AI cs.LG
Neural Manifold Clustering and Embedding
Redwood Center(雷德伍德中心);Facebook AI Research(脸书人工智能研究院);UC Berkeley(加州大学伯克利分校)
给定非线性流形的并集,非线性子空间聚类或流形聚类旨在基于流形结构对数据点进行聚类,并且还学习将每个流形参数化为特征空间中的线性子空间。深度神经网络具有在高度非线性设置下实现这一目标的潜力,因为它们具有很大的容量和灵活性。我们认为,实现流形聚类与神经网络需要两个基本成分:一个特定于域的约束,以确保识别的流形,和一个学习算法嵌入每个流形的线性子空间中的特征空间。这项工作表明,许多约束可以通过数据增强来实现。对于子空间特征学习,可以使用最大编码速率降低(MCR $^2$)目标。将它们放在一起产生{ \em神经流形聚类和嵌入}(NMCE),这是一种用于通用流形聚类的新方法,其性能显着优于基于自动编码器的深度子空间聚类。此外,在更具挑战性的自然图像数据集上,NMCE也可以优于其他专门为聚类设计的算法。定性,我们证明,NMCE学习一个有意义的和可解释的特征空间。由于NMCE的形成与几种重要的自监督学习(SSL)方法密切相关,我们相信这项工作可以帮助我们更深入地理解SSL表示学习。
2022-01-24 cs.CV cs.LG
Neural Contrastive Clustering: Fully Unsupervised Bias Reduction for Sentiment Classification
工作背景:神经网络由于相关性偏差而产生有偏差的分类结果(它们学习输入和输出之间的相关性以分类样本,即使这些相关性不代表因果关系)。目的:这项研究引入了一种完全无监督的方法来减轻相关性偏差,并在COVID-19社交媒体数据上进行了情感分类。方法:情感分类中的相关偏差经常出现在关于有争议话题的对话中。因此,本研究使用对抗性学习来对比基于情感分类标签的聚类,以及由无监督主题建模产生的聚类。这阻碍了神经网络学习产生有偏见的分类结果的主题相关特征。结果如下:与基线分类器相比,神经对比聚类对人类标记的COVID-19社交媒体数据的倾向于偏见的句子的准确性大约增加了一倍,而不会对分类器的整体F1得分产生不利影响。尽管是一种完全无监督的方法,但神经对比聚类在倾向于偏见的句子上的准确性比监督掩蔽方法有更大的提高。结论:神经对比聚类减少了情感文本分类中的相关性偏差。需要进一步的研究来探索将这种技术推广到其他神经网络架构和应用领域。
2022-04-22 cs.CL cs.LG
G-NAC: Graph Neural Automata Clustering via Emergent Domain Formation
提出G-NAC,一种基于循环图神经细胞规则的无监督聚类方法,在73个任务中达到0.7951的平均ARI,并实现线性扩展与规则迁移。
2026-11-03 cs.LG eess.SP
Spectral Clustering with Graph Neural Networks for Graph Pooling
NORCE, the Norwegian Research Centre(挪威研究中心NORCE);Università della Svizzera italiana(意大利语区大学(瑞士));Politecnico di Milano(米兰理工大学)
谱聚类(SC)是一种流行的聚类技术,用于发现图上的强连接社区。SC可以在图神经网络(GNN)中使用,以实现聚合属于同一集群的节点的池化操作。然而,拉普拉斯算子的特征分解是昂贵的,并且由于聚类结果是特定于图的,因此基于SC的池化方法必须对每个新样本执行新的优化。在本文中,我们提出了一个图聚类的方法,解决这些限制SC。我们制定了一个连续放松的归一化minCUT问题和训练GNN计算集群分配,最大限度地减少这一目标。我们基于GNN的实现是可微的,不需要计算谱分解,并学习可以在样本外图上快速评估的聚类函数。从所提出的聚类方法,我们设计了一个图池运营商,克服了一些重要的限制国家的最先进的图池技术,并在几个监督和无监督的任务中实现最佳性能。
2020-12-29 cs.LG stat.ML
DeepCluE: Enhanced Image Clustering via Multi-layer Ensembles in Deep Neural Networks
South China Agricultural University(华南农业大学);Sun Yat-sen University(中山大学)
本文提出DeepCluE方法,通过从无监督对比学习训练的网络中提取多层特征并构建多样化基础聚类,再基于熵准则和加权二分图迁移割获得共识聚类,在六个图像数据集上验证了其优于现有深度聚类方法。
2023-09-17 cs.CV cs.LG
Scalable Neural Network Compression and Pruning Using Hard Clustering and L1 Regularization
University of Texas at Dallas(德克萨斯大学达拉斯分校)
我们提出了一个简单,易于实现的神经网络压缩算法,实现了更复杂的国家的最先进的方法的竞争力的结果。其关键思想是通过在网络参数上添加K个独立的高斯先验(对应于k-means目标)来修改原始优化问题,以实现参数量化,以及L1惩罚来实现修剪。与许多现有的基于量化的方法不同,我们的方法使用网络参数的硬聚类分配,这对标准网络训练增加了最小的变化或开销。我们还通过实验证明,捆绑神经网络参数比完全改变网络架构和连接模式在泛化性能方面提供的增益更少。
2018-06-14 cs.LG stat.ML
Interpretable Clustering on Dynamic Graphs with Recurrent Graph Neural Networks
Carnegie Mellon University(卡内基梅隆大学)
我们研究了动态图中节点的聚类问题,其中节点之间的连接和节点的聚类成员资格可能会随着时间的推移而变化,例如,由于社区移民。我们首先提出了一个动态的随机块模型,捕捉这些变化,和一个简单的基于衰减的聚类算法,集群节点之间的加权连接的基础上,其中的权重随着时间的推移以固定的速度下降。这个衰减率可以被解释为表示在聚类中包括历史连接信息的重要性。然而,对于具有不同周转率的簇,最佳衰减率可能不同。我们表征每个集群的最佳衰减率,并提出了一种聚类方法,实现几乎精确的恢复真正的集群。然后,我们证明了我们的聚类算法的有效性与优化的衰减率模拟图形数据。递归神经网络(RNN)是一种流行的序列学习算法,使用类似的基于衰减的方法,我们利用这一见解提出了两种新的RNN-GCN(图卷积网络)架构用于半监督图聚类。最后,我们证明了所提出的架构在实际数据上表现良好相比,国家的最先进的图聚类算法。
2021-06-22 cs.LG cs.SI
Style-based Clustering of Visual Artworks and the Play of Neural Style-Representations
TCS Research(塔塔咨询服务研究中心)
本文针对视觉艺术品基于风格聚类这一未充分研究的问题,探索了从风格分类、风格迁移到大型语言视觉模型的多种神经特征表示,并通过定性和定量分析评估了这些聚类方法的有效性,为该领域提供了广泛框架与新见解。
2025-02-03 cs.CV cs.LG
Understanding the Message Passing in Graph Neural Networks via Power Iteration Clustering
Harbin Institute of Technology(哈尔滨工业大学)
图神经网络的消息传递机制至今仍是一个谜。除了卷积神经网络之外,没有提出GNN的理论起源。令我们惊讶的是,消息传递最好用幂迭代来理解。通过完全或部分去除GNN的激活函数和层权重,我们提出了子空间幂迭代聚类(SPIC)模型,该模型仅使用一个聚合器进行迭代学习。实验表明,我们的模型扩展了GNN,增强了它们处理随机特征网络的能力。此外,我们展示了一些最先进的GNN在设计中的冗余性,并通过消息传递的随机聚合器定义了模型评估的下限。我们的发现推动了对神经网络理论理解的边界。
2021-01-11 cs.LG stat.ML
A Recurrent Neural Network based Clustering Method for Binary Data Sets in Education
Electronics Engineering Dept. Hosei University Koganei, Tokyo, 184-8584, Japan(电子工程系 豨洲大学)
本文针对教育领域S-P图随学生人数增加而难以处理的问题,提出一种基于递归神经网络动力学和吸引域的聚类方法,并引入平均注意指数评估聚类性能,实验验证了其有效性。
2025-08-17 cs.CY cs.LG
Higher-order Clustering and Pooling for Graph Neural Networks
Université Paris-Saclay(巴黎萨克雷大学);CentraleSupélec(中央理工-高等电力学院);Inria(法国国家信息与自动化研究所)
图神经网络在大量的图分类任务上实现了最先进的性能,特别是由于池运算符,它将学习到的节点嵌入分层聚合到最终的图表示中。然而,他们不仅受到质疑,最近的工作显示,与随机池的性能相当,但也完全忽略了高阶连接模式。为了解决这个问题,我们提出了HoscPool,一个基于聚类的图池操作符,它可以分层捕获高阶信息,从而产生更丰富的图表示。事实上,我们通过在目标函数中最小化基序谱聚类的松弛公式来学习端到端的概率聚类分配矩阵,然后将其扩展到池化算子。我们评估了HoscPool在图分类任务上的性能,以及它在具有真实社区结构的图上的聚类组件,实现了最佳性能。最后,我们对联营体的内部运作进行了深入的实证分析。
2022-09-02 cs.AI cs.LG
Meta-learning representations for clustering with infinite Gaussian mixture models
NTT Communication Science Laboratories(NTT通信科学实验室)
为了获得更好的聚类性能,适当的表示至关重要。虽然已经提出了许多基于神经网络的度量学习方法,但它们并不直接训练神经网络来提高聚类性能。我们提出了一种元学习方法,训练神经网络获得表示,使聚类性能提高时,表示聚类的变分贝叶斯(VB)推理与无限高斯混合模型。所提出的方法可以聚类看不见的未标记的数据使用知识元学习与标记的数据是从未标记的数据不同。对于目标函数,我们提出了一个连续的近似调整兰德指数(ARI),我们可以评估软聚类分配的聚类性能。由于近似的ARI和VB推理过程是可微的,我们可以通过VB推理过程反向传播目标函数来训练神经网络。通过使用文本和图像数据集的实验,我们证明了我们提出的方法具有更高的调整后的Rand指数比现有的方法。
2021-03-01 cs.LG stat.ML
An Investigation of Quantum Deep Clustering Framework with Quantum Deep SVM & Convolutional Neural Network Feature Extractor
Amity Institute of Information Technology(阿米提信息技术学院);Amity University(阿米提大学);Coventry University(考文垂大学)
在本文中,我们提出了一种深度量子SVM公式,并进一步展示了基于量子深度SVM公式、深度卷积神经网络和量子K-Means聚类的量子聚类框架。我们研究了所提出的量子深度聚类框架的运行时间计算复杂性,并与可能的经典实现进行了比较。我们的调查表明,所提出的量子版本的深度聚类公式显示出显着的性能增益(在许多部分指数加速增益)对可能的经典实现。所提出的理论量子深度聚类框架也是有趣的,是对量子经典机器学习公式的新颖研究,以表达最大的性能。
2019-09-21 cs.AI cs.LG stat.ML
Federated Incomplete Multi-View Clustering with Heterogeneous Graph Neural Networks
Guangdong University of Foreign Studies(广东外语外贸大学);School of Engineering, Westlake University(西湖大学工程学院);East China University of Science and Technology(华东理工大学)
针对联邦场景下多视图数据的特征异构与视图不完整问题,提出FIM-GNNs框架,通过客户端异构图自编码器、服务器重叠特征聚合及全局伪标签引导提升聚类性能。
2024-06-12 cs.DC cs.LG
Clustering Guided Residual Neural Networks for Multi-Tx Localization in Molecular Communications
NETLAB, Department of Computer Engineering, Bogazici University, Istanbul(NETLAB,计算机工程系,博雅大学,伊斯坦布尔)
针对扩散分子通信中多发射器定位因扩散随机性和分子分布重叠导致的挑战,提出聚类引导的残差神经网络(AngleNN和SizeNN)及质心校正方法,较K-means降低定位误差43%-69%。
2025-11-11 cs.ET cs.LG
Agglomerative Neural Networks for Multi-view Clustering
传统的多视图聚类方法通过最小化一致视图和子视图之间的成对差异来寻求视图一致性。然而,成对比较不能精确地描绘视图间的关系,如果一些子视图可以进一步聚集。为了解决上述问题,我们提出了凝聚分析近似的最佳共识视图,从而描述了一个视图结构内的子视图关系。我们提出了基于约束拉普拉斯秩的聚集神经网络(ANN)来直接聚类多视图数据,同时避免了专用的后处理步骤(例如,使用K-means)。我们进一步扩展ANN与可学习的数据空间来处理复杂场景的数据。我们的评估对几个国家的最先进的多视图聚类方法在四个流行的数据集显示了有前途的观点一致性分析能力的人工神经网络。我们进一步证明了人工神经网络的能力,在分析复杂的视图结构和可扩展性,在我们的案例研究,并解释其鲁棒性和有效性的数据驱动的修改。
2020-05-12 cs.LG stat.ML
Online High-Frequency Trading Stock Forecasting with Automated Feature Clustering and Radial Basis Function Neural Networks
Business School, University of Edinburgh(爱丁堡大学商学院)
本文提出一种结合双重竞争特征重要性机制与k-means聚类的高频交易股票预测方法,通过将k-means引入RBFNN实现自动特征选择与聚类,在20只标普500股票上验证了其有效性,消除了手动网格搜索并提升了中间价预测效率。
2024-12-27 cs.LG q-fin.ST
Learning Hierarchical Graph Neural Networks for Image Clustering
Amazon Web Services(亚马逊云科技)
我们提出了一个分层的图神经网络(GNN)模型,学习如何聚类一组图像到一个未知数量的身份使用一个训练集的图像标注标签属于一个不相交的身份集。我们的分层GNN使用一种新的方法来合并在层次结构的每个级别预测的连接组件,以在下一级形成一个新的图形。与完全无监督的层次聚类不同,分组和复杂性标准的选择自然源于训练集中的监督。由此产生的方法,Hi-LANDER,实现了平均54%的F-分数和8%的增加归一化互信息(NMI)相对于当前基于GNN的聚类算法。此外,最先进的基于GNN的方法依赖于单独的模型来预测链接概率和节点密度作为聚类过程的中间步骤。相比之下,我们的统一框架实现了计算成本的七倍降低。我们在https://github.com/dmlc/dgl/tree/master/examples/pytorch/hilander上发布我们的训练和推理代码。
2021-07-17 cs.CV cs.LG
Amharic Text Clustering Using Encyclopedic Knowledge with Neural Word Embedding
在这个数字时代,几乎在每个学科中,人们都在使用自动化系统,这些系统生成以不同自然语言的文档格式表示的信息。因此,人们对寻找、组织和分析这些文档的更好解决方案越来越感兴趣。在本文中,我们提出了一个系统,集群阿姆哈拉语文本文件使用百科知识(EK)与神经词嵌入。EK使相关概念的表征和神经词嵌入允许我们处理的相关性的上下文。在聚类过程中,所有的文本文件通过预处理阶段。通过EK映射和词嵌入模型,从每个文档中提取丰富的文本文档特征。生成TF-IDF加权特征向量。最后,使用流行的球形K-means算法对文本文档进行聚类。所提出的系统进行了测试,阿姆哈拉语文本语料库和阿姆哈拉语维基百科数据。测试结果表明,使用EK与词嵌入的文档聚类提高了平均精度比单独使用EK。此外,改变类的大小对准确性有很大影响。
2022-09-22 cs.CL cs.LG
Dink-Net: Neural Clustering on Large Graphs
National University of Defense Technology(国防科技大学);Westlake University(西湖大学)
针对深度图聚类难以扩展至百万节点图的问题,本文提出端到端 Dink-Net,通过自监督表示学习及对抗优化扩张与收缩损失,在 ogbn-papers100M 上较第二名提升 9.62% NMI。
2023-07-14 cs.AI cs.LG
Explaining Deep Neural Networks using Unsupervised Clustering
Google Cloud(谷歌云)
我们提出了一种新的方法来解释训练过的深度神经网络(DNN),通过使用无监督聚类将其提取为代理模型。我们的方法可以灵活地应用于DNN架构的任何层子集,并且可以合并低级和高级信息。在给定预训练DNN的图像数据集上,我们展示了我们的方法在寻找相似训练样本方面的优势,并阐明了DNN基于其决策的概念。通过用户研究,我们表明我们的模型可以提高用户对模型预测的信任度。
2020-07-16 cs.AI cs.CV cs.LG
Speaker Clustering With Neural Networks And Audio Processing
AIPCloud(艾普云)
说话人聚类是区分录音中的说话人的任务。在某种程度上,目的是回答“谁在什么时候说话”的录音。工业中使用的常用方法是由于MFCC特征而直接从记录中提取特征提取,并且通过使用诸如高斯混合模型(GMM)和隐马尔可夫模型(HMM)的公知技术。在本文中,我们研究了神经网络(特别是CNN),然后进行聚类和音频处理,以达到与最先进的方法相似的精度。
2018-03-22 cs.LG cs.SD eess.AS
Learning Latent Representations in Neural Networks for Clustering through Pseudo Supervision and Graph-based Activity Regularization
University of South Florida(南佛罗里达大学)
在本文中,我们提出了一种新的无监督聚类方法,利用隐藏的信息,是间接引入通过一个伪分类目标。具体来说,我们随机地为每个观察分配一个伪父类标签,然后通过应用与所分配的标签相关联的特定于域的变换来修改该标签。生成的伪观测标记对随后用于训练具有自动聚类输出层(ACOL)的神经网络,该自动聚类输出层为每个伪父类引入多个softmax节点。由于基于基于图的活动正则化(GAR)项的无监督目标,每个父类的softmax副本都是专门的,因为通过特定于域的变换捕获的隐藏信息在训练期间传播。最终我们得到一个k-means友好的潜在表示。此外,我们还演示了所选择的转换类型如何影响性能,并有助于传播有助于揭示未知聚类的潜在信息。我们的研究结果显示了MNIST,SVHN和USPS数据集上无监督聚类任务的最新性能,具有迄今为止文献中报道的最高精度。
2018-02-08 cs.LG stat.ML
Semi-Supervised Clustering with Neural Networks
IIIT-Delhi(德里英德拉普拉斯塔信息技术学院)
最近,使用神经网络的聚类在机器学习和计算机视觉应用中表现出有前途的性能。然而,现有方法的性能受到无监督学习或依赖于大量标记数据样本的限制。在本文中,我们提出了一种新的聚类方法,它使用来自很少的标记数据样本(<总数据的5%)的成对语义约束,并利用大量的未标记数据来驱动聚类方法。我们定义了一个新的损失函数,它使用对象之间的成对语义相似性结合约束k均值聚类,有效地利用标记和未标记的数据在同一个框架。所提出的网络使用卷积自动编码器来学习将数据分组为k个指定聚类的潜在表示,同时还学习聚类中心。我们评估和比较了几个数据集和最先进的深度聚类方法的性能。
2018-07-10 cs.CV cs.LG stat.ML