Stagewise Learning for Sparse Clustering of Discretely-Valued Data
EM在学习乘积分布的混合物时的性能通常取决于初始化。这在众包和其他应用中可能是有问题的，例如，当少量的“专家”被大量嘈杂的、不可靠的参与者稀释时。我们开发了一个新的期望最大化算法，是由这些专家。与其他方法不同的是，我们从一个单一的混合类开始。然后，该算法开发的一组“专家”在一个阶段的方式的基础上的互信息标准。在每个阶段，EM都对参与者的这个子集进行操作，有效地规范了E而不是M步骤。实验表明，分阶段EM优于众包和神经科学应用的其他初始化技术，并可以引导一个完整的EM获得的结果与那些知道确切的分布。
2016-05-28 cs.LG q-bio.QM stat.ML
An Efficient $k$-modes Algorithm for Clustering Categorical Datasets
Iowa State University（爱荷华州立大学）
从数据中挖掘聚类是许多应用中的重要工作。$k$ -均值方法是一种流行的、有效的、不受分布限制的数值数据聚类方法，但不适用于分类值观测。$k$ -模式方法通过用汉明距离替换欧几里德并用$k$ -均值目标函数中的模式替换均值来解决该缺陷。我们提供了一种新颖的，计算效率高的$k$模式，称为OTQT的实现。我们证明，OTQT发现更新，以改善现有的$k$模式算法无法检测到的目标函数。虽然由于算法复杂性，每次迭代的速度稍慢，但OTQT每次迭代总是更准确，并且几乎总是更快（在某些数据集上仅略慢）到达最终最优值。因此，我们推荐OTQT作为$k$模式优化的首选默认算法。
2021-06-23 cs.CV stat.AP stat.CO
A Random Finite Set Model for Data Clustering
数据聚类的目标是将数据点划分成组，以最小化给定的目标函数。虽然大多数现有的聚类算法将每个数据点视为向量，但在许多应用中，每个数据不是向量，而是点模式或点集。此外，许多现有的聚类方法需要用户指定聚类的数量，这是事先不可用的。本文提出了一类新的数据聚类模型，解决集值数据以及未知数量的集群，使用泊松随机有限集的Dirichlet过程混合。我们还开发了一个有效的马尔可夫链蒙特卡罗后验推理技术，可以学习的集群和混合参数的数量自动从数据。数值研究表明，这种新模型的显着特点，特别是它的能力，发现数据中的极不平衡的集群。
2017-03-14 stat.ML
An Approximation Ratio for Biclustering
双聚类的问题包括矩阵的行和列的同时聚类，使得由一对行和列聚类引起的每个子矩阵尽可能均匀。在本文中，我们近似的最佳双聚类应用单向聚类算法独立的行和列的输入矩阵。我们证明了这样的解在0-1值矩阵的L1-范数下产生1+sqrt（2）的最坏情况逼近比，在实值矩阵的L2-范数下产生2的最坏情况逼近比。
2008-08-22 cs.DS stat.ML
Evaluation of Complex-Valued Neural Networks on Real-Valued Classification Tasks
University of York（约克大学）
复值神经网络不是一个新概念，然而，由于训练和性能方面的困难，实值模型的使用往往优于复值模型。当比较实值与复值神经网络时，现有文献通常忽略参数的数量，导致比较的神经网络具有巨大的不同大小。我们发现，当真实的和复杂的神经网络的类似能力进行比较，复杂的模型表现等于或略差于一系列的实值分类任务的实值模型。复数的使用允许神经网络处理复平面上的噪声。当用复值神经网络对实值数据进行分类时，权重的虚部跟随其实部。此行为指示不需要复值模型的任务。我们在一个综合分类任务中进一步研究了这一点。我们可以使用不同的策略将许多激活函数从实数域转移到复数域。然而，复杂神经网络的权重初始化仍然是一个重要的问题。
2018-11-29 cs.LG stat.ML
Koopman-based spectral clustering of directed and time-evolving graphs
虽然用于无向图的谱聚类算法已经很好地建立，并且已经成功地应用于从图像分割和基因组测序到信号处理和社会网络分析的无监督机器学习问题，但是聚类有向图仍然非常困难。两个主要的挑战是与有向图相关的图拉普拉斯算子的特征值和特征向量通常是复值的，并且在有向图中没有普遍接受的簇定义。我们首先利用图形拉普拉斯算子和传输操作员之间的关系，特别是集群之间的无向图和亚稳态集的随机动力系统，然后使用一个概括的概念亚稳态来推导出聚类算法的有向和时间演化图。由此产生的集群可以被解释为相干集，这在流体流动中的传输和混合过程的分析中起着重要的作用。
2022-10-19 math.DS stat.ML
Block Toeplitz Sparse Precision Matrix Estimation for Large-Scale Interval-Valued Time Series Forecasting
School of Economics and Management, Beihang University（北京航空航天大学经济管理学院）；Key Laboratory of Complex System Analysis, Management and Decision (Beihang University), Ministry of Education（北京航空航天大学复杂系统分析与管理决策教育部重点实验室）
本文提出一种针对大规模区间值时间序列的特征提取方法，通过将自动分割与聚类转化为Toeplitz稀疏精度矩阵估计，并结合JRP与神经网络提取不变特征，有效提升了预测性能。
2025-04-04 cs.LG stat.ML
Neural Networks with Complex-Valued Weights Have No Spurious Local Minima
Simon Fraser University（西蒙菲莎大学）
研究证明具有二次激活的浅层复神经网络无伪局部极小值，而相同条件下的实神经网络存在无限多个，复值权重能将差的局部极小值转化为鞍点。
2024-11-12 cs.LG stat.ML
Constrained variable clustering and the best basis problem in functional data analysis
Institut Télécom（电信研究院）；Télécom ParisTech（巴黎高等电信学院）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）
函数数据分析涉及由常规函数描述的数据，而不是由有限数量的实值变量描述的数据。虽然一些稳健的数据分析方法可以直接应用于从功能数据的细网格采样获得的非常高维的向量，但是所有方法都受益于减少由规律性引起的冗余的功能的先前简化。在本文中，我们建议使用一个聚类方法，目标变量，而不是个人设计一组函数的分段常数表示。由变量的函数性质引起的邻近约束允许多项式复杂度算法给出最优解。
2012-01-04 cs.LG stat.ML
Complex-Valued vs. Real-Valued Neural Networks for Classification Perspectives: An Example on Non-Circular Data
ONERA（法国国家航空航天研究中心）
本文的贡献是双重的。首先，我们展示了复值神经网络（CVNN）对复值数据集分类任务的潜在兴趣。为了突出这一论断，我们研究了一个复值数据的例子，其中实部和虚部通过非圆特性在统计上是相关的。在这种情况下，完全连接的前馈CVNN的性能进行比较，对一个实值等效模型。结果表明，CVNN表现更好的各种体系结构和数据结构。与实值神经网络（RVNN）相比，CVNN的准确性在统计学上具有更高的平均值和中位数以及更低的方差。此外，如果不使用正则化技术，CVNN表现出较低的过拟合。第二个贡献是使用Tensorflow作为后端发布了一个Python库（Barrachina 2019），该库支持CVNN的实现和训练，希望能够激励对该领域的进一步研究。
2021-04-13 cs.LG stat.ML
Fairness in Clustering with Multiple Sensitive Attributes
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Queen’s University Belfast（贝尔法斯特女王大学）
如果每个聚类中的敏感属性组的比例反映了数据集中的敏感属性组的比例，则可以认为聚类对预先指定的敏感属性是公平的。在本文中，我们考虑的任务，公平聚类的情况下，涉及多个多值或数值敏感属性。我们提出了一个公平的聚类方法，\textit{FairKM}（公平K均值），这是受流行的K均值聚类公式。我们概述了一个计算的公平性的概念，这是一起使用的集群的一致性目标，产生的FairKM聚类方法。我们根据经验评估我们的方法，其中我们量化了真实世界数据集上聚类的质量和公平性。我们的实验评估表明，由FairKM票价显着更好的聚类质量和公平的代表性的敏感属性组相比，从一个国家的最先进的基线公平聚类方法的集群。
2020-01-24 cs.AI cs.LG stat.ML
Quaternion-Valued Recurrent Projection Neural Networks on Unit Quaternions
University of Campinas（坎皮纳斯大学）
超复值神经网络，包括四元数值神经网络，可以将多维数据视为单个实体。本文提出了四元数递归投影神经网络（QRPNNs）。简而言之，QRPNN是通过将非局部投影学习与四元数值递归相关神经网络（QRCNN）相结合来获得的。我们表明，QRPNN克服了QRCNN的串扰问题。因此，它们适合于实现联想记忆。此外，计算实验表明，QRPNN表现出更大的存储容量和噪声容忍度比相应的QRCNN。
2020-01-30 cs.LG cs.NE stat.ML
Randomized spectral co-clustering for large-scale directed networks
Northwest University（西北大学）；Carnegie Mellon University（卡内基梅隆大学）
有向网络广泛用于表示单元之间的非对称关系。联合聚类的目标是同时对有向网络的接收者和接收者进行聚类。特别地，著名的谱聚类算法可以被修改为谱共聚类到共聚类有向网络。然而，大规模网络对它提出了巨大的计算挑战，本文利用草图技术，推导了两种随机谱联合聚类算法，一种是\emph{random-projection-based}，另一种是\emph{random-sampling-based}，用于加速大规模有向网络的联合聚类.我们从理论上分析了两个生成模型下的算法-随机co-block模型和度校正随机co-block模型，并建立其近似错误率和误聚类错误率，表明更好的界限比国家的最先进的结果的共同聚类文献。在数值上，我们设计并进行模拟来支持我们的理论结果，并在具有数百万节点的真实网络上测试算法的效率。一个公开可用的R包\textsf{RandClust}的开发更好的可用性和重现性所提出的方法。
2022-04-09 cs.LG cs.SI stat.ME
Hypercomplex-Valued Recurrent Correlation Neural Networks
Institute of Mathematics, Statistics, and Scientific Computing（数学、统计与科学计算研究所）；University of Campinas（坎皮纳斯大学）
循环相关神经网络（RCNNs）是Chiueh和Goodman提出的基于双极相关的Hopfield神经网络的改进型，可用于实现大容量的联想记忆。在本文中，我们扩展了双极RCNN处理超复值数据。准确地说，我们提出了一个广泛的超复值RCNN类的数学背景。然后，我们提供了必要条件，确保超复值RCNN总是使用同步或异步更新模式稳定在平衡点。双极，复杂，双曲，四元数和八元数值RCNN的例子来说明理论结果。最后，计算实验证实了超复值RCNN作为联想记忆设计的存储和调用灰度图像的潜在应用。
2020-01-31 cs.LG cs.NE stat.ML
Bayesian Sparsification Methods for Deep Complex-valued Networks
随着不断的小型化，在嵌入式系统中可以发现越来越多的深度学习应用，其中通常会遇到具有自然复域表示的数据。为此，我们扩展稀疏变分辍学复值神经网络和验证所提出的贝叶斯技术进行了大量的数值研究的性能压缩权衡的C值网络上的两个任务：图像识别MNIST类和CIFAR 10数据集和音乐转录MusicNet。我们在MusicNet上复制了Trabelsi等人[2018]的最新结果，其中复值网络被压缩了50- 100倍，性能损失很小。
2020-06-28 cs.LG stat.ML
Algebraic function based Banach space valued ordinary and fractional neural network approximations
University of Memphis（孟菲斯大学）；Department of Mathematical Sciences（数学科学系）；Memphis, TN 38152, U.S.A.（美国田纳西州孟菲斯市 38152）
本文研究了拟插值Banach空间值神经网络算子对紧区间或所有实直线上的Banach空间值连续函数的一元定量逼近，包括普通逼近和分式逼近.这些逼近是通过建立Jackson型不等式导出的，这些不等式涉及到所涉及的函数或其Banach空间值分数阶导数的高阶导数的连续模。我们的运营商是通过使用由代数sigmoid函数生成的密度函数定义的。近似是逐点的和一致的规范。相关的Banach空间值前馈神经网络具有一个隐层。
2022-02-11 cs.LG math.CA stat.ML
Theory and Implementation of Complex-Valued Neural Networks
ONERA（法国航空航天研究院）；Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（巴黎中央理工-高等电力学院）
这项工作详细解释了复杂值神经网络（CVNN）背后的理论，包括Wirtinger演算，复杂的反向传播，以及复杂层，复杂激活函数或复杂权重初始化等基本模块。我们还显示了不适应权重初始化正确的复域的影响。这项工作重点关注使用cvnn工具箱在Python上实现这些模块。我们还对实值数据进行了模拟，通过Hilbert变换将其投射到复域，并验证了CVNN即使对于非复杂数据的潜在兴趣。
2023-02-16 cs.LG stat.ML
Optimal Clustering of Multi-layer Networks under Mixture Block Models
Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong Polytechnic University（香港理工大学）
本文研究了多层网络及离散混合分布的最优聚类问题，提出了基于张量初始化和似然Lloyd算法的两阶段聚类方法，实现了由Renyi散度刻画的极小化最优聚类错误率。
2026-10-23 cs.LG cs.SI math.ST
A clustering approach to time series forecasting using neural networks: A comparative study on distance-based vs. feature-based clustering methods
Jet Propulsion Laboratory（喷气推进实验室）
时间序列预测最近得到了很多关注，这是因为许多现实世界的现象可以建模为时间序列。大量的数据和计算机处理能力的最新进展使研究人员能够开发更复杂的机器学习算法，如神经网络来预测时间序列数据。在本文中，我们提出了各种神经网络架构来预测的时间序列数据使用的动态测量，此外，我们介绍了各种架构如何结合静态和动态测量预测。我们还调查了执行技术，如异常检测和聚类预测精度的重要性。我们的研究结果表明，聚类可以提高整体的预测时间，以及提高神经网络的预测性能。此外，我们表明，基于特征的聚类可以优于基于距离的聚类的速度和效率。最后，我们的研究结果表明，增加更多的预测因子来预测目标变量并不一定会提高预测精度。
2021-03-31 cs.LG stat.ML
Hermitian matrices for clustering directed graphs: insights and applications
University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）；Fudan University（复旦大学）；University of Edinburgh（爱丁堡大学）；University of Cambridge（剑桥大学）
图聚类是机器学习中的一项基本技术，在不同的领域有着广泛的应用。虽然谱技术已经成功地应用于聚类无向图，有向图（有向图）的谱聚类算法的性能一般是不令人满意的：这些算法通常需要对称的矩阵表示有向图，和典型的目标函数无向图聚类不捕捉集群结构中的信息给出的方向的边缘是至关重要的。为了克服这些缺点，我们提出了一个基于复值矩阵表示的有向图的谱聚类算法。我们分析其理论性能的随机块模型的有向图中的集群结构，不仅给出了边缘密度的变化，但也由边缘的方向。我们的工作的重要性在一组有关美国国内移民的数据中得到了强调：虽然以前的有向图谱聚类算法只能揭示人们更有可能在地理上接近的县之间移动，但我们的方法能够将具有相似社会经济概况的县聚类在一起，即使它们在地理上远离，并说明了人们如何倾向于从农村迁移到更城市化的地区。
2019-08-06 cs.LG stat.ML
Higher-order clustering in networks
复杂网络的一个基本属性是边缘聚集的趋势。聚类的程度通常由聚类系数量化，聚类系数是长度为2的路径闭合的概率，即，在网络中形成三角形。然而，三角形之外的高阶集团对于理解复杂网络至关重要，并且关于这种高阶网络结构的聚类行为还没有得到很好的理解。在这里，我们引入了高阶聚类系数来衡量高阶网络集团的闭合概率，并提供了复杂网络边缘如何聚类的更全面的视图。我们的高阶聚类系数是传统聚类系数的自然推广。我们推导了高阶聚类系数的几个性质，并在常见的随机图模型下进行了分析。最后，我们使用高阶聚类系数从几个领域获得对现实世界网络结构的新见解。
2018-01-05 cond-mat.stat-mech cs.SI physics.soc-ph
A mathematical motivation for complex-valued convolutional networks
Facebook Artificial Intelligence Research（脸书人工智能研究院）
复值卷积网络（convnet）实现了以下三个操作的组合的重复应用，递归地将组合应用于非负实数的输入向量：（1）与复值向量的卷积，然后是（2）取结果向量的每个条目的绝对值，然后是（3）局部平均。对于处理实值随机向量，复值卷积网可以被视为“数据驱动的多尺度加窗功率谱”、“数据驱动的多尺度加窗绝对谱”、“数据驱动的多小波绝对值”或（在其最一般的配置中）“数据驱动的非线性多小波包”。“事实上，当convnet滤波器是窗口化复值指数时，复值convnet可以计算多尺度窗口化频谱。标准实值convnets，使用整流线性单元（ReLU），sigmoidal（例如，logistic或tanh）非线性，最大。汇集等，并没有明显地表现出与数据驱动小波相同的精确对应（而对于复值convnets，对应关系不仅仅是一个模糊的类比）。由于精确对应，小波的数学分析非常丰富和严格，直接适用于（复值）convnets。
2015-12-12 cs.LG cs.NE stat.ML
Local Graph Clustering with Network Lasso
Aalto University（阿尔托大学）；Sharif University of Technology（谢里夫理工大学）
我们研究了局部图聚类的网络Lasso方法的统计和计算特性。nLasso提供的集群可以通过集群边界和种子节点之间的网络流来优雅地表征。虽然谱聚类方法是由图形拉普拉斯二次型的最小化来指导的，但nLasso最小化了聚类指示符信号的总变化。正如理论和数值所证明的那样，nLasso方法可以处理非常稀疏的聚类（链状），这对于谱聚类来说是困难的。我们还验证了一个原始-对偶方法的非光滑优化允许近似nLasso的解决方案，最佳的最坏情况下的收敛速度。
2020-10-03 cs.LG stat.ML
Network Clustering Via Kernel-ARMA Modeling and the Grassmannian The Brain-Network Case
University at Buffalo, The State University of New York (SUNY)（纽约州立大学布法罗分校）；Drexel University（德雷塞尔大学）；Perelman School of Medicine, University of Pennsylvania（宾夕法尼亚大学佩雷尔曼医学院）
本文介绍了一个聚类框架的节点与时间序列数据注释的网络。该框架解决了所有类型的网络聚类问题：状态聚类，状态内的节点聚类（也称为状态聚类）。拓扑识别或社区发现），甚至子网络状态序列识别/跟踪。通过自下而上的方法，首先从原始节点时间序列数据中提取特征，通过内核自回归移动平均建模来揭示非线性依赖关系和低秩表示，然后映射到格拉斯曼流形（格拉斯曼）。所有的聚类任务都是通过以一种新颖的方式利用格拉斯曼的基本黎曼几何来执行的。为了验证所提出的框架，脑网络聚类被认为是，在合成和真正的功能磁共振成像（fMRI）数据的广泛的数值测试表明，倡导的学习框架相比有利的几个国家的最先进的聚类方案。
2020-02-18 cs.LG cs.SI stat.ML
A Broad Class of Discrete-Time Hypercomplex-Valued Hopfield Neural Networks
Federal Institute of Education, Science and Technology of Espírito Santo（圣埃斯皮里图联邦教育、科学与技术学院）；University of Campinas（坎皮纳斯大学）
在本文中，我们讨论了一类离散时间超复值Hopfield型神经网络的稳定性。为了保证属于这一类的神经网络总是稳定在一个稳定的状态，我们引入了新的超复数系统称为实部联想超复数系统。实部结合超复数系是对著名的Cayley-Dickson代数和实Clifford代数的推广，包括实数系、复数系、对偶数系、双曲数系、四元数系、正方形系和八元数系。除了新的超复数系统，我们引入了一个家庭的超复值激活函数称为$\mathcal{B}$ -投影函数。一般来说，$\mathcal{B}$ -投影函数将激活电位投影到超复值神经元的所有可能状态的集合上。利用本文提出的理论，我们证实了几个离散时间超复值Hopfield型神经网络的稳定性分析，从文献。此外，我们还引入并给出了Cayley-Dickson代数上的一类Hopfield型神经网络的稳定性分析。
2019-10-31 cs.LG math.DS stat.ML
Concentration inequalities for correlated network-valued processes with applications to community estimation and changepoint analysis
网络值时间序列是目前网络数据的一种常见形式。然而，网络值随机过程生成的网络序列的聚集行为的研究相对较少。大多数现有的研究集中在简单的设置，其中网络在时间上是独立的（或条件独立的），并且所有的边在每个时间步同步更新。本文研究了由惰性网络值随机过程生成的网络序列的聚集邻接矩阵和相应的Laplacian矩阵的集中性质，其中边的更新是异步的，每条边的更新都遵循惰性随机过程，且与其它边的更新无关.我们证明了这些浓度的有用结果证明社区估计和变点估计问题的标准估计的一致性。我们还进行了模拟研究，以证明懒惰参数，它控制的时间相关性的程度，社区和变点估计的准确性的效果。
2022-08-02 math.PR math.ST stat.ML
KCoreMotif: An Efficient Graph Clustering Algorithm for Large Networks by Exploiting k-core Decomposition and Motifs
China University of Geosciences (Beijing)（中国地质大学（北京））；University of Naples Federico II（那不勒斯费德里科二世大学）
聚类分析在无线传感器网络、在线社交网络等复杂网络的信任评估中得到了广泛的应用。谱聚类是图结构数据（网络）最常用的算法之一。然而，传统的谱聚类本质上是难以与大规模的网络，由于它需要计算昂贵的矩阵操作的事实。为了处理大型网络，在本文中，我们提出了一个有效的图聚类算法，KCoreMotif，专门针对大型网络，利用k-核心分解和图案。所提出的聚类算法背后的基本思想是在k-核心子图上执行高效的基于模体的谱聚类算法，而不是在整个图上。更具体地说，（1）我们首先对大输入网络进行k-核心分解;（2）然后对顶部k-核心子图进行基于模体的谱聚类;（3）将其余（k-1）-核心子图中的剩余顶点分组到先前找到的聚类中;最后获得大输入网络的期望聚类。为了评估所提出的图聚类算法KCoreMotif的性能，我们使用传统的和基于模体的谱聚类算法作为基线，并比较我们的算法与他们的18组真实世界的数据集。比较结果表明，该算法对大型网络具有较高的准确性和有效性，可进一步用于评估大型网络的簇内和簇间信任度。
2020-08-21 cs.LG cs.SI stat.ML
Modularity-Based Clustering for Network-Constrained Trajectories
Télécom ParisTech（巴黎电信学院）；Université Paris I（巴黎第一大学）
我们提出了一种新的聚类方法的移动对象的轨迹，受到约束的底层道路网络。该方法建立了一个相似性图的基础上，这些轨迹，然后使用模块化优化层次图聚类重新组轨迹相似的配置文件。我们的实验研究表明，所提出的方法优于经典的层次聚类，并给出了一个简短的洞察可视化的聚类结果。
2012-10-05 cs.LG physics.data-an stat.ML
Automatic Clustering of a Network Protocol with Weakly-Supervised Clustering
Graz University of Technology（格拉茨技术大学）
抽象是学习系统行为模型的基本部分。抽象的过程通常由领域专家手动定义。提出了一种对网络协议进行自动抽象的方法。特别是一个弱监督聚类算法被用来建立一个广泛使用的TLS协议的抽象与一个小的词汇量。为了显示所提出的方法的有效性，我们将得到的抽象消息与手动构造的（参考）抽象进行比较。通过少量的边信息（以几个带标签的示例的形式），该方法可以找到一个与引用抽象完美匹配的抽象。
2018-06-04 cs.CR cs.LG stat.ML
Spectral Complexity-scaled Generalization Bound of Complex-valued Neural Networks
JD Explore Academy, JD.com Inc.（京东探索研究院）；Faculty of Science, University of Hong Kong（香港大学理学院）
复值神经网络在信号处理和图像识别等领域有着广泛的应用。然而，很少有工作集中在CVNN的推广，虽然它是至关重要的，以确保性能的CVNN上看不见的数据。本文首次证明了复值神经网络的一个推广界。该界与谱复杂度成比例，而谱复杂度的主导因素是权矩阵的谱范数积。此外，当训练数据是连续的时，我们的工作提供了CVNN的推广界，这也受到谱复杂度的影响。理论上，这些界限是由Maurey稀疏化引理和Dudley熵积分导出的。从经验上讲，我们通过在不同的数据集上训练复值卷积神经网络来进行实验：MNIST，FashionMNIST，CIFAR-10，CIFAR-100，Tiny ImageNet和IMDB。Spearman的秩序相关系数和相应的p值在这些数据集上给出了强有力的证据，即由权重矩阵谱范数乘积度量的网络的谱复杂性与泛化能力具有统计上显著的相关性。
2021-12-07 cs.AI cs.LG stat.ML
Complex-valued neural networks for machine learning on non-stationary physical data
Technical University of Denmark（丹麦技术大学）
深度学习已经成为包括物理科学在内的大多数科学领域的兴趣领域。现代网络对数据进行实值变换。特别地，卷积神经网络中的卷积完全丢弃相位信息。许多确定性信号，例如地震数据或电信号，在信号的相位中包含重要信息。我们探索复值深度卷积网络，以利用非线性特征映射。地震数据通常具有应用的低截止滤波器，以衰减来自海浪和类似的长波长贡献的噪声。丢弃相位信息会导致低频混叠，类似于高频的Nyquist-Shannon定理。在非平稳数据中，相位含量可以稳定训练，提高神经网络的泛化能力。虽然已经证明相位内容可以在深度神经网络中恢复，但我们展示了在特征映射中包含相位信息如何改善确定性物理数据的训练和推理。此外，我们还证明了复杂网络中参数的减少优于较大的实值网络。
2019-11-26 cs.CV cs.LG physics.comp-ph
Vector-Valued Reproducing Kernel Banach Spaces for Neural Networks and Operators
Mathematics of Imaging & AI, Department of Applied Mathematics, University of Twente（图像与人工智能数学、应用数学系、特文特大学）
研究神经网络背后函数空间，提出向量值再生核巴拿赫空间伴随对概念，扩展核定义，证明浅度\(\mathbb{R}^d\)值神经网络及神经算子模型属于积分vv - RKBS，并建立表示定理，揭示函数空间优化与神经架构的关系。
2026-07-27 cs.AI cs.LG math.FA
Spectral clustering via adaptive layer aggregation for multi-layer networks
Columbia University（哥伦比亚大学）；Michigan State University（密歇根州立大学）；New York University（纽约大学）
网络分析中的一个基本问题是发现多层网络中的社团结构，其中每一层代表节点之间的一种边信息。我们提出了基于有效凸层聚合的综合谱聚类方法。我们的聚合方法的强烈动机是一个微妙的渐近分析的频谱嵌入加权邻接矩阵和下游$k$ -手段聚类，在一个具有挑战性的制度，社区检测一致性是不可能的。事实上，该方法被示出来估计最优凸聚集，该最优凸聚集在一些专门的多层网络模型下使误聚类误差最小化。我们的分析进一步表明，使用高斯混合模型的聚类一般优于常用的$k$ -均值谱聚类。大量的数值研究表明，我们的自适应聚合技术，再加上高斯混合模型聚类，使新的谱聚类显着的竞争力相比，几个常用的方法。
2022-10-06 cs.LG cs.SI math.ST
